Scrapowanie podstron

golum · 28 Lutego 2012

Czego używacie do scrapowania adresów podstron w domenie.

W przypadku domen z mapą, to nie ma problemu - ScrapeBox.

Jak miałem mało stron to załatwiałem sprawę dodatkiem do Chrome Scrape Similar.

Teraz chcę wyciągnąć podstrony z bloga umieszczonego w katalogu (jakaśdomena.pl/jakiśkatalog/), który nie ma mapy, a rss wyświetla tylko kilkanaście ostatnich postów. Komenda sitemap: wyświetla kilkaset. Chciałbym zebrać je wszystkie, tylko nie na piechotę

bielu · 28 Lutego 2012

A może site:xxxx.pl -view ***

w scrabboxie custom footoprint

Stwor · 28 Lutego 2012

idealne narzędzie do scrapowania stron bez mapy:

https://www.auditmypc.com/free-sitemap-generator.asp

nie dziękuj

golum · 28 Lutego 2012

Stwor

Też tak chciałem odpalić mapę i z mapy zgrać, też znalazłem ten generator, zapuściłem, mielił chyba ze dwie godziny i wypluł błąd, po czym przeładował stronę... i zabawa od początku.

Aplikacja ciekawa, tylko że w javie i przy moich dodatkach do przeglądarki, chyba nie wyrabia.

Spróbuję jeszcze raz... może na ie pójdzie

Wiem że nie miałem ale masz za chęć pomocy

Bielu

po fotprincie nie pójdzie, bo jest czysty, a w samej domenie jest kilkaset blogów w katalogach, więc scrapowanie wszystkich rozmija się z celem,

a ręcznie przez site: i -view *** przy odpaleniu scrape similar to za dużo roboty.

Edit: literówka

Edytowane 28 Lutego 2012 przez golum

Andddrew · 28 Lutego 2012

jak zwykle polecam Xenu, darmowy i bardzo szybki https://home.snafu.de/tilman/xenulink.html - lepszego do tego celu nie znajdziesz, no chyba że chcesz od razu zrobić mapę strony wtedy polecam płatny https://www.sitemapwriter.com

golum · 28 Lutego 2012

jak zwykle polecam Xenu, darmowy i bardzo szybki https://home.snafu.de/tilman/xenulink.html - lepszego do tego celu nie znajdziesz...

Anddrew wielkie dzięki o to chodziło

Aplikacja wielowątkowa, 4 minuty pracy i wszystkie podstrony zebrane

I ma jeszcze jedną ciekawą funkcję

Można zbierać linki do stron, które pozycjonuje konkurencja

cinmar · 28 Lutego 2012

https://wonderwebware.com/sitemap-generator/ - też w miare szybkie narzędzie z tym że bardziej rozbudowane od Xenu warte uwagi. Wady i zalety można ocenić po własnych testach.

Andddrew · 28 Lutego 2012

Nie ma sprawy Właśnie w tym jego siła że działa szybko i robi to co trzeba.

@cinmar - tego nie znałem, dzięki - też wygląda fajnie, aczkolwiek do sitemap kupiłem https://www.sitemapwriter.com - można fajne sitemapy do obrazków generować - ładnie mi Google ją łyknęło - 2 strony o podobnej ilości zdjęc po 2 tygodniach, ta z sitemapą ma 500 fotek w indeksie, ta bez 130.