Hm, 403 dla Googlebota na KEI

[Daniel Kędzierski]

Z ciekawosci dlaczego moj serwis tak znacznie zostal wyindeksowany zaczelem sie przygladac logi.

Ku mojemu zdumieniu strony które normalnie się ładują dostaja 403 dla Googlebota co kilka połączeń.

Czyli wychodzi na to że serwer KEI ogranicza ilość wizyt googlebota i MEDIA PARTNERSA ! Co powoduje brak reklam badz reklamy serwowane z przypadku.

Moje logi wygladaja tak te ktore dostaja 403

66.249.65.193 - - [17/May/2006:12:29:32 +0200] "GET /domy+drewniane-9.htm HTTP/1.1" 403 - "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"

66.249.65.193 - - [17/May/2006:12:29:22 +0200] "GET /plan+miasta-6.htm HTTP/1.1" 403 - "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"

Jestem lekko wkkk. i zaraz zrobie zadymę bo dla mnie to w PALE SIĘ NIE MIESCI

Dosyc ze moj serwis nie generuje obciazenia serwera to jeszcze sobie blokady zakladaja ograniczajac smiganie robota.

DOSTALEM ODPOWIEDZ

Ze względu na specyficzną własciwość naszych serwerów wirtualnych

(serwer www dziala z uprawnieniami uzytkownika FTP do ktorego się

odwołuje) podczas indexowania stron przez robota Google, ktory na jednym

połączeniu indexuje kilka różnych serwisów w obrębie tego samego

serwera virtualnego, serwer www moze zwrocic blad 403.

Wprowadzimy odpowiednią modyfikację do konfiguracji serwera www, która w

przypadku połaczeń z klasy adresowej google wyłączy keepallive.

W razie dalszych pytań pozostaję do Państwa dyspozycji.

Kurde juz wiem o co bede pytal przy zakupach nastepnych wirtualek .

Tak czy tak, czy moim problemem jest jak jest serwer z konfigurowany ? ile jest na nim serwerow wirtualnych i czy to bylo powodem czy cos innego bo indeksowane byly inne to moje juz nie.

Dla mnie to troszke ................

Szkoda gadać.

[Gość MiKeyCo]

Szook, sprawa się już wyjaśniła? Czy dalej dostęp botom jest blokowany? Właśnie zastanawiam sie nad ich ofertą.

[Daniel Kędzierski]

a wyjasnila.

Musisz im zwrocic z gory uwage na utawienia serwera na ktorym bedziesz wyzej w poscie dalem ich odpowiedz

[darek]

A dużo miałeś tych błędów w logu?

Ja przekopałem kwietniowe logi i generalnie na każdy log dzienny (średnio ~2MB) mam po kilkanaście problematycznych wpisów (od 3 do 15).

U mnie serwer odpowiada mu błędem 503 (Service Unavailable).

[Daniel Kędzierski]

dosc sporo, nawet bardzo sporo.

Tzn dla mnie osobiscie stracila wiarygodnosc KEI skoro dopiero po mojej interwencji laskawie zaprzestali blokowania Googlebota.

Dziwilo mnie to dlaczego googlebot odwiedza moja strone 10 razy mniej, pozniej zaczelem analizowac fakt przeniesienia sie do KEI, po okolo miesiaca czasu od przeniesienia serwera do KEI wyindeksowalo mi jakies 90% stron.

Dziennie jak analizowalem ile razy googlebot dostal 403 - to bylo jakies 30%, lecz jak wiadomo, raz drugi dostal i potraktowal to jak wpis w robot.txt ze ma tego nie indeksowac wiec wroci moze za 6 msc.

Łaskawa KEI nie była łaskawa nawet przeprosić za swoje poczynania tak więc to była moja ostatnia wirtualka na tym serwerku.

Nie zdaja sobie sprawy nawet na jakie straty narazaja takimi działaniami.

Moj traffic wiec powinienem miec swobodna ilosc polaczen w celu wyczerpania traficu nigdzie nie wycztalem ze moge miec 10 gosc na stronie bo 11 dostanie 403.

Druga sprawa nie przekonal mnie tez meil z informacja ze zmienili to i o wo, bo moze teraz nie bede widzial 403 w swoich logach, wystarczy ze chlopaki z KEI dla klas adresowych googlebota przycieli pasmo - skutek bedzie podobny z tym ze nie dostep zabroniony a predkosc poruszania sie GGbota zmniejszona np o 100 razy.

Tak czy tak dzialania typu blokowanie robotow a szczegolnie tak waznych jak Googlebot samo mowi za siebie czy warto kupic tam jakas wirtualke.

Nastepna uciezliwoscia jest dzialanie serwera w trybie bezpiecznym.

Tak wiec wyslanie w formularzy znaczkow ' jest poza zasiegiem bowiem wstawia autoamtycznie/

czyli wpisujac wrigley's robi /wrigley'/s

i blada.

[darek]

Szooku PW Ci się zapchała

Zrób co trzeba.

[Daniel Kędzierski]

o kurde bo dawno tam nie bylem,

musze tam zerknac na to pw

[EDDY]

Czyli kolejna znana firma, która pokazała amatorszczyznę...

[Daniel Kędzierski]

z odp wynika ze niby dokonali juz modyfikacji konfiguracji serwera dla klas googlebota.

Ale pytanie jakich modyfikacji czy wylaczenie zabijania polaczenia czy przy tej okazji tez np limit przepustowosci.

Tzn jest duze ryzyko ze skoro konfiguracja nie pozwalala na indeksacje istnieje takze ryzyko ze przepustowosc nie bedzie pozwalała

[lamer]

Też dostałem bana i chciałbym spoawdzić logi natomiast nie wiem jakim narzędziem pod Windą można je rozpakować (.gz). Chyba to już było ale wtedy też nie udało mi się ich obejrzeć. Przepraszam za OT.

[Daniel Kędzierski]

.gz chyba rozpakujesz rarem bo ja nawet nie zwracalem uwagi ktorym rozpakowuje czy winzipem czy rarem

[KEI.pl]

Witam,

Problem z dzialaniem googlebota nie był wywołany jakąkolwiek celową blokadą

mechanizmów indeksowania wyszukiwarki.

Opisywany w tym wątku błąd pojawiał się w jednej, szczególnej sytuacji:

gdy googlebot usiłował zindeksować dwie różne domeny na różnych kontach WWW

(kontach FTP) umieszczonych na tym samym serwerze wirtualnym, w ramach tego

samego połączenia.

Sposób działania serwerów wirtualnych KEI.pl (usprawnienia zwiazane z

kwestiami bezpieczeństwa i specyfiki serwerów wirtualnych) nie umożliwia

zastosowania jakiegoś rozwiązania, które dałoby nam absolutną pewność,że

taki problem nie wystąpi. Jedynym ewentualnym wyjściem byłoby globalne

wyłączenie mechanizmu keep-alive, z tym, że to wyjście bardzo mocno

odczuliby nasi Klienci - w postaci wolniejszego ładowania się stron.

Po otrzymaniu sygnałów w sprawie googlebota mechanizm keep-alive został

wyłączony dla klas IP Google, dzięki czemu takie błędy nie będą już zdarzać

się w przyszłości.

Wojciech Rzepka

Spec. ds. marketingu KEI.pl

[Bełdzio]

Nastepna uciezliwoscia jest dzialanie serwera w trybie bezpiecznym.

Powiem Ci, że to jest akurat dobra decyzja :-) gdyby nie to zdecydowaną większość stron można by wysadzić w kosmos. Jeśli Ci to przeszkadza to można to prosto obejść przelatując stripslashes po wszystkich zmiennych przychodzacych

[Kaviorek]

Wykopałeś sobie to zdanie spod dwuletniego gruzu

[Bełdzio]

o f*ck niech jakis modek kilnie tylko czemu ten topik wyswietlik mi sie w nowych? :| sorki