Scrapebox v 1.0 - 2.0

[Indiana]

Witam, po parsacji domeny w scrapie (site:www.nazwadomeny.pl) wyświetla tylko ~400 adresów URL, gdy w Google widocznych jest 36000 zindeksowanych podstron. Test przeprowadziłem na kilku domenach i zawsze site ze scrapeboxa był o kilka tysięcy mniejszy.

Skąd ta różnica ??

Może problem tkwi w ustawianiach??

[salab]

Witam, po parsacji domeny w scrapie (site:www.nazwadomeny.pl) wyświetla tylko ~400 adresów URL, gdy w Google widocznych jest 36000 zindeksowanych podstron. Test przeprowadziłem na kilku domenach i zawsze site ze scrapeboxa był o kilka tysięcy mniejszy.

Skąd ta różnica ??

Może problem tkwi w ustawianiach??

Nam też miło Cię powitać...

[arve_lek]

Skąd ta różnica ??

Prześlij mi na priv adres, to sprawdzę u siebie. Ale przypuszczam, że Google oszukuje z sitem. Jak będziesz klikał w kolejne podstrony w paginacji, to może okazać się, że site jest w rzeczywistości mniejszy. Pewnie dlatego SB pokazał Ci tylko 400 adresów.

Edytowane 3 Stycznia 2011 przez arve_lek

[D_S]

@Indiana

Może bez www spróbuj

[Indiana]

Cała przyjemność po mojej stronie salab.

D_S - zarówno z www jak i bez efekt ten sam, więc raczej ta możliwość odpada.

arve_lek - przeklikałem na sam koniec sita w G. i faktycznie 36000 wyników, liczba sita wyświetlana przez googla nie zawsze zgadza się z jego ilością jednak w tym wypadku jest ok, poza tym sprawdzałem na innych domenach i również scrape nie zwrócił mi oczekiwanych wyników.

Edytowane 3 Stycznia 2011 przez wedrowiec
nie cytuj bez potrzeby

[mahjong]

może różnica jest pomiędzy google.com a google.pl?

[Indiana]

mahjong - test przeprowadzony za pierwszym razem na com później dodałem google.pl, jednak to nie to.

[buhabuha]

Witam, po parsacji domeny w scrapie (site:www.nazwadomeny.pl) wyświetla tylko ~400 adresów URL, gdy w Google widocznych jest 36000 zindeksowanych podstron

zaraz bo nie rozumiem.... wpisałeś w custom footprint: site:nazwadomeny.pl i kliknąłeś start harvesting?

[buhabuha]

Witam,

Dokładnie tak, scrapeboxa posiadam dopiero jeden dzień, więc nie wykluczam błędu po mojej stronie, potrzebuje pilnie sparsować serwis, inne skrypty z których korzystam wywalają się na 1800 sita więc postanowiłem użyć scrapeboxa

aha, no to:

1. sb ma limit 1000 results dla jednej frazy/zapytania - to cos przy use proxies

2. sb ma limit 1.000.000 wyników w harvesterze

3. google, nawet jeśli wpiszesz site:nazwadoemny.pl, nie pokaże ci wszystkich wyników - wejdz w wyszukiwanie zaawansowane i kliknij, zeby pokazal Ci 100 wyników na stronie. nawet dla onetu masz tylko 1000 (10 stron po 100) z 85 milionów...

4. użyj np. tego i przeleć się po linkach wew - będziesz mieć wszystkie. takie rozwiązanie zadziała oczywiście tylko wtedy jeśli strony są polinkowane ze soba w jakikolwiek sposób...

edyta:

5. dopiero wtedy sb sprawdz czy są zaindeksowane te urle... - innymi słowy najpierw trzeba mieć "mapę strony" a potem sprawdzić co jest zaindeksowane.

Edytowane 3 Stycznia 2011 przez buhabuha

[przemeks]

Do jakich celów wykorzystujecie Rapid Indexera, tylko i wyłącznie do przyspieszenia indeksacji nowych domen? Przynajmniej ta defaultowa lista dołączona do RI pozwala dodać (w praktyce) tylko domeny główne.

Czy może stosujecie do indeksowania podstron, jak np. wpisy w katalogach? Jeśli tak to na jakiej bazie pracujecie, bo jedna z tych, które się pojawił w tym wątku ma w sobie jakieś serwisy do odsyłają do stron porno...

[sagittariuspl]

@przemeks - ja chyba mam wszystkie listy jakie pojawily sie na BHT - lacznie ponad 100k adresow unikalnych.

prawda jest taka, ze - tylko ok. 3k cos daje, a jak chcesz "linkowac" podstrony - to jeszcze duuuzo mniej do tego sie nadaje

no ale - baza mniejsza - ale efekt jest baardzo dobry

[Indiana]

- buhabuha dzięki za pomoc o site mapie nie pomyślałem, wyciągnąłem ponad 10000 adresów, pozdr

[salab]

4. użyj np. tego i przeleć się po linkach wew - będziesz mieć wszystkie. takie rozwiązanie zadziała oczywiście tylko wtedy jeśli strony są polinkowane ze soba w jakikolwiek sposób...

Przy okazji spytam czy zna ktoś jakiś soft (linuxowy lub windowsowy), który zrobi listę podstron z wielu domen jednocześnie? Podaję mu po prostu listę domen a on je sobie mieli i na koniec podaje listę wszystkich podstron jako wynik. Najchętniej jakby działał wielowątkowo, ale nie jest to warunek konieczny

[Goleo7]

Czy ktoś zamawiał w ostatnim czasie Scrapeboxa? Ile czasu czekał na aktywacje konta?

[el_polako]

Ja zamawiałem z 3 dni temu. Zapłaciłem przez PayPal około 23, a gdy wstałem już był aktywny