Skocz do zawartości

Googlebot 1.000.000 wejść w ciągu 5 dni...


wree
 Udostępnij

Rekomendowane odpowiedzi

Witam,

Od ok 2 tygodni googleboty uwalają mi serwer, w tym miesiącu wlazły na ponad 1000000 podstron... do tej pory to nie było problemem bo nie wchodziły w godzinach szczytu ale teraz uwalają mi serwer. Przez nie Load Average sięga nawet 330% chociaż serwer to 2xi7 12gb ramu itd... jest dość mocny. Jak powiedzieć googlebotom aby wchodziły w nocy lub nad ranem? jest jakiś sposób? zazwyczaj wszystkie googleboty (jest ich ok 4-7) wychodzą ok 22.20 i wtedy load spada do kilku procent, ale do tej pory zdążą uwalić mi serwer kilka razy. Zablokować ich nie chcę bo ruch głównie mam dzięki wyszukiwarce google.

Edytowane przez wree

Zarabiaj na wyświetleniach reklam - wszystkie serwisy akceptowane

Odnośnik do komentarza
Udostępnij na innych stronach

Z poziomu Webmaster Central kazać mu zwolnić.

Gdy dla losowych zapytań w szczycie zwracasz nagłówek 503 i Retry-After, też ograniczy indeksowanie.

Ale jest to mniej bezpieczna metoda dla pozycji.

Edytowane przez mkr
Odnośnik do komentarza
Udostępnij na innych stronach

Może ktoś pinguje Twoje strony albo sam to robiłeś?

Raczej wątpie, nikt nie miałby interesu w pingowaniu moich stron. Jak zablokuje specyficznie całe klasy ip na których są googleboty to spada do granic rosądku obciążenie. Tylko dziwne.. rok czasu było ok i teraz nagle zaczął się taki huragan. Cwane google widzę że zaczęło podsyłać boty z innych ip bo 2 godziny po blokadzie znowu rośnie obciążenie i load jest już ok 50%, nie mam strony w webmaster center, bawiłem się tam jakieś 2-3 lata temu ale nie zauważyłem kompletnie żadnych pozytywnych rezultatów z korzystania z niego a wręcz przeciwnie, spadki pozycji dla wszystkich stron które miałem tam. Z tego co pamiętam zmiany tam nie przyśpieszały mi indexowania to dlaczego miałyby zwolnić. Spróbuje tego nagłówka, dzięki za odpowiedź.

----

update:

Napisałem skrypt co banuje wszystkie boty zostawiłem tylko 4 boty google (te najbardziej aktywne). Wszystkie inne uwalam. Można powiedzieć, że może być... obciążenie ok 15.

Edytowane przez wree

Zarabiaj na wyświetleniach reklam - wszystkie serwisy akceptowane

Odnośnik do komentarza
Udostępnij na innych stronach

Tylko dziwne.. rok czasu było ok i teraz nagle zaczął się taki huragan. Cwane google widzę że zaczęło podsyłać boty z innych ip bo 2 godziny po blokadzie znowu rośnie obciążenie i load jest już ok 50%, nie mam strony w webmaster center, bawiłem się tam jakieś 2-3 lata temu ale nie zauważyłem kompletnie żadnych pozytywnych rezultatów z korzystania z niego a wręcz przeciwnie, spadki pozycji dla wszystkich stron które miałem tam.

Pierwsze pytanie, ile adresów IP ma ten serwer?

Google lubi sobie czasami prze indeksować jakiś portal, zauważyłem dodatkową skłonność do tego od jakiegoś pół roku. Chyba jest to związane z jakąś zmianą w algorytmie, bo lubi szczególnie przejść się po serwisach z dużą ilością podstron.

Edytowane przez T-K

Quas Primas

Odnośnik do komentarza
Udostępnij na innych stronach

Jeśli chcesz dodać odpowiedź, zaloguj się lub zarejestruj nowe konto

Jedynie zarejestrowani użytkownicy mogą komentować zawartość tej strony.

Zarejestruj nowe konto

Załóż nowe konto. To bardzo proste!

Zarejestruj się

Zaloguj się

Posiadasz już konto? Zaloguj się poniżej.

Zaloguj się
 Udostępnij

  • Ostatnio przeglądający   0 użytkowników

    • Brak zarejestrowanych użytkowników przeglądających tę stronę.
×
×
  • Dodaj nową pozycję...

Powiadomienie o plikach cookie

Umieściliśmy na Twoim urządzeniu pliki cookie, aby pomóc Ci usprawnić przeglądanie strony. Możesz dostosować ustawienia plików cookie, w przeciwnym wypadku zakładamy, że wyrażasz na to zgodę. Warunki użytkowania Polityka prywatności