Wysoka aktywnosc robota

[jamesisko]

Witam,

nie wiem czy tylko u mnie ale bot nazwie:

Mozilla/5.0 (compatible; Yahoo! Slurp; https://help.yahoo.com/help/us/ysearch/slurp)

molestuje moje strony masakrycznie. dziennie na dodajfirme.pl mam srednio od 13 do 15 tys wizyt ;/ tabela w mysqlu gdzie jest to zapisywane rosnie jak na drozdzach. U kogos jeszcze tak ten bot szaleje?

Jest on wazny czy mzona mu ukrocic to co wyrabia?...

[nawigator]

Jeśli nie chcesz go całkowicie wyciąć, to zapodaj mu w robots.txt takie coś:

User-agent: Slurp

Crawl-delay: 300

To go zwolni do tempa 1 strona na 5 min.

[jamesisko]

o... to jest w specyfikacji robots.txt ? humm musze doczytac

[nawigator]

Nie ma (validatory się czepiają), ale działa dobrze...

[jamesisko]

validatory to olewam.. ale jak nie ma w specyfikacji to sam nie wiem..., gdzie jest wiecej info na ten temat?

bo patrz co sie dzieje:

https://www.dodajfirme.pl/roboty.php

o 8.40 czyscilem znow baze... ;/

[nawigator]

gdzie jest wiecej info na ten temat?

https://help.yahoo.com/help/us/ysearch/slur...p/slurp-03.html

msnbot też na to reaguje.

Oczywiście ilość sekund można ustawić mniejszą, ale dla tych wyszukiwarek (przynajmniej na razie) chyba jest to nie celowe.

[jamesisko]

oki ustawnione, zobaczymy jak to poskutkuje;)

dzieki za info.

[jamesisko]

heh ustawilem na 5 sek i raczej sobie to ten bot olewa, co 2, co 1 sek mi indeksuje ;/

tzn. by nie bylo watpliwosci - nie chodzi mi o transfer, tylko o to czy serwer wydoli podawanie stron. nie chce by bot zaindeksowal pusta strone albo strone bledu bo serwer nie wydolil - nie znam mozliwosci serwera, wiec wolalbym by to wolniej indeksowalo. Procz botow mam jeszcze ludzi na stronie w liczbie ok 3, 4 tys na dobe wiec.. jak do tego boty dojda rozne to moze sie zdarzyc ze robot dostanie pusta strone?....

[nawigator]

Musisz poczekać parę godzin, aż bot znowu łyknie robots.txt. Przecież nie czyta go za każdym razem, ale co jakiś czas.

5 sek. to mało. I tak Ci będzie obciążał serwer. Ja dałem duż więcej i naprawdę działa. Nawet się nie pośpieszy 1 sek. Czeka cierpliwie skubaniec te swoje 5 min.

[jamesisko]

humm, no faktycznie nie zawsze czyta oki to czekam.

[szy]

Jeśli nie chcesz go całkowicie wyciąć, to zapodaj mu w robots.txt takie coś: 

Kod:

User-agent: Slurp 

Crawl-delay: 300

Fajna informacja, dzięki.

Szy.

[EDDY]

Google też na to reaguje?

[zebol]

User-agent: Slurp  

Crawl-delay: 300

Piękne rozwiązanie - zaoszczędziłem sporo na transferze dla tego robota.

Google też na to reaguje?

Edit:

Walidatory się dowalają, ale powinno działać dla G-boota.

Wartość nie może być mniejsza od 10

User-agent: googlebot 

Crawl-delay: 60 

https://www.searchengineworld.com/cgi-bin/r.../robotcheck.cgi