Jak zablokowac ONET! IP spiderow - potrzebuje

[zsedc]

hej

mam dwie sprawy

1.

chcialem podzielic sie informacja:

spidery onetu codziennie zabieraja mi od 200mega do 1 GIGA transferu!!! - co jest bardzo nieprzyjemne w kosztach utrzymania serwera!

2a

jak zablokowac wyszukiwarke onetu zeby nie ideksowala moich stron?! jakie meta tagi ustawic? lub jaki jest inny sposob na wylaczenie tego?

2b

czy ktos zna moze adresy IP spiderow onetu?

Pozdrawiam

i z gory dzieki

Pawel

[Daniel Kędzierski]

skoro wiesz ze onet zjada ci 1 Gb czy wiecej to zapewne w logach masz IP

wpisz w htacess

deny Iponetu i po klopocie

tylko czy jestes pewien ze spider onetu zjada ci 1 GB

1 Gb przy sredniej wielkosci pobieranych danych przez spidera 15 Kb to jakies 68 tys zreindeksowanych podstron dziennie.

Nie obraz sie ale jakos w to watpie

nawet gdyby nie liczyc ze jeden MB ma 1024 KB a ma 1000 KB a srednia twojej strony to 30 KB to musialby reindeksowac dziennie przy zjadaniu 1GB

1 Gb = 1000 mb = 1000000 KB dzielone przez 30 KB = 33333 tys podstron dziennie.

Jakos wydaje sie to malo prawdopodobne.

Ale skoro tak uwazasz.

Pamietaj ze robot nie ciagnie tyle co uzytkownik.

Bo np nie czyta obrazkow, flashy ktore zwiekszaja zawartosc kodu html ktora pobiera zwykly uzytkownik.

Tak czy tak dane wyjatkowo zaskakujace i mysle ze sam onet tez nie jest chetny na targanie 1 GB na jednej stronie dziennie.

POozdrawiam

[zsedc]

hej

dzieki za odp

oto co pojawilo sie w moich statystykach w ciagu ostatnich 4ch dni!!:

Hosty : 114 Znane, 16 Nieznany (brak odwzorowania IP w DNS)
129 Unikalnych gości	Strony	Żądania	Bajtów	Ostatnia wizyta	
spider2.szukaj.onet.pl	9442     9442	1.71 GB	18 Lis 2005 - 04:55	
spider1.szukaj.onet.pl	9022     9022	1.69 GB	18 Lis 2005 - 04:55
pag152.poznan.sdi.tpnet.pl	30	44	4.41 MB	18 Lis 2005 - 01:33	
beh237.neoplus.adsl.tpnet.pl	4	5	932.95 KB	17 Lis 2005 - 14:29	
213.199.233.50	4	6	47.57 KB	09 Lis 2005 - 14:46	

wydaje mi sie ze to chyba niepodwazalny dowod?

do tego transfer danych z poszczegolnych dni tego miesiaca (spojrz na ostatnie 4 dni i porownaj z innymi)

Dzień	Ilość wizyt	Strony	Żądania	Bajtów	
01 Lis 2005	12	1555	1564	8.66 MB	
02 Lis 2005	10	12	22	148.50 KB	
03 Lis 2005	11	14	23	128.40 KB	
04 Lis 2005	13	4378	4386	24.30 MB	
05 Lis 2005	5	6	11	75.00 KB	
06 Lis 2005	9	11	20	117.40 KB	
07 Lis 2005	9	9	17	111.50 KB	
08 Lis 2005	10	11	20	123.69 KB	
09 Lis 2005	12	16	24	176.93 KB	
10 Lis 2005	13	38	45	269.07 KB	
11 Lis 2005	10	36	53	6.55 MB	
12 Lis 2005	4	6	8	1.31 MB	
13 Lis 2005	11	20	24	4.87 MB	
14 Lis 2005	13	979	983	270.02 MB	
15 Lis 2005	15	3992	4000	1.08 GB	
16 Lis 2005	14	4145	4150	1.12 GB	
17 Lis 2005	18	2653	2663	730.75 MB	
18 Lis 2005	4	774	776	213.33 MB

wiec chyba nie ma watpliwosci?

rowniez widze w CPanelu ze limit transferu nagle wyczerpany kiedy to zawsze zuzywalem 20%

co myslisz?

co do htacces

mozesz napisac jak to dokladnie zrobic? z gory dzieki

Pawel

[piotrek]

daj tak:

<Limit GET POST>
Order allow,deny
allow from all 
deny from IP.BOTA.ONETU
</Limit>

[Daniel Kędzierski]

Wiec

dla mnie to nadal dziwne

żadan onet wykonał 9442 przyczym zjadł 1.71 GB 18 Lis 2005 - 04:55

to wychodzi ze 1710 MB dzielone przez 9442 = srednio pobierana strona miała 181 KB - porażka!

Zakładając że częśc twoich stron ma 250 KB a część 100 Kb

to chyba jednak troche przesada jak na to co łyka spider

Dla mnie to cos nie tak,

Spider Onetu nie łyka stron z grafiką bo widzę to po swoich logach wiec wychodzi że 181 Kb średnia to wielkość Twojego kodu czy nie uwazasz to za sprawę dość dziwną ?

Co do blokowania to Piotrek podał ci kompletne dane jak wpisac.

Aha i dziwi mnie to ze podajesz dalej cos takiego

01 Lis 2005 12 1555 1564 8.66 MB

Gdzie juz 1564 zadania ciagna tylko 8.66 MB

nie wydaje ci sie dziwne ze 9440 ciagnie 1,70 GB ???

wg pozostalych danych wynika ze powinna byc to liczba okolo 70 MB :-) przy 9440 zadan

Tak czy tak te dane nie sa wiarygodne w zaden sposob z prostyhc obliczen ktore sam podales w 2 wersjach.

Wychodziloby ze gdy zada Onet to ciagnie ta sama strone i nagle ona zajmuje 300 razy wiecej miejsca ;-).

A widzisz wez moze zamecz swojego admina bo po pierwsze widzialem :-)_ na Cpanelu jak kradnie sie transfer userowi.

Cpanel jak pamietam ma jakiegos babola, kiedys mi nagle wcielo 2 GB co bylo nie mozliwe w sytuacji normalnej, gdy zaczelem analizowac okazalo sie to glupotą i admin zwrocil mi transfer.

Cpanel zlicza na bazie logow wykorzystany transfer wystarczy ze admin podmieni ci wpisy w logach i zwiekszy zapis dodajac jedna cyfre do kilku wpisow a nagle w twoich statach pojawi sie ze twoj limit transferu zostal przekroczony.

Mialem z tym raz doczynienia ale odzyskalem nie slusznie skasowany transfer

[EDDY]

Jeśli tego nie zrobiłeś, włącz gzip.

[mkane]

żadan onet wykonał 9442 przyczym zjadł 1.71 GB 18 Lis 2005 - 04:55

104783[/snapback]

Ja przez mój bląd w menu miałem ćoś takiego, co ciekawe googlebot nie robił takich numerów:

Każdy z botów onetu siedział u mnie koło 2-3h

Wywołania / Pliki / KB

256 / 256 / 67081 spider1.szukaj.onet.pl

252 / 251 / 64928 spider2.szukaj.onet.pl

U mnie wychodzi jedna stronka powiedzmy koło 260KB a tak nie jest , więc sam nie wiem o co chodzi.

menu troszke zmodyfikowałem i jest ok.

p.s.

Ja się o transfer nie martwie bo nie ma limitu więc niech zjada ile chce.

[Daniel Kędzierski]

mkane podaj urla a powiem ci ile z tych 260 KB ciagnie robot,

generalnie 260 Kb to duza strona ale mozna to zrozumiec przy foto itp, jak na ilosc kodu i nawet tresciu to stanowczo zbyt duzo.

Z tych 260 KB moze sie okazac ze pajak je tylko 30-50 KB.

Dlatego tez sadze ze strona musialaby miec z 1 Mb aby pajak zjadl 250 KB a pozatym nie widzialem wielu stron z indeksem 250 KB.

Dla przykladu przedc chwilka dodalem Ciebie do swojej wyszukiwarki

Statystyka dla strony https://www.chlodnice.net/

Ostatnia indeksacja: 2005-11-18

Stron zaindeksowanych: 1

Całkowita wielkość indkesu: 220

Cache: 1.99kb

Całkowita ilość znalezionych słow: 220

Wielkośś strony: 14.57kb

a ty jak możesz powiedz mi ile w logu ci kilo zjadlem

znajdziesz pod UA Szook.pl

[zsedc]

dzieki

liczb sobie sam nie wymyslalem, wszystkie sa prawdziwe:)

co do .htaccess to rozumiem ze cos takiego bedzie poprawne:

<Limit GET POST>
Order allow,deny
allow from all 
deny from 213.180.128.152
deny from 213.180.128.151
deny from 213.180.130.203
deny from 213.180.130.200
</Limit>

no i gdzie jest jakis ciekawy hosting bez limitu ???

[Daniel Kędzierski]

jest OK

szkoda ze kroisz Onet bo warto

pomysl co jest nie task ze zjada ci tyle trafficu

[mkane]

Statystyka dla strony https://www.chlodnice.net/

Ostatnia indeksacja: 2005-11-18

Stron zaindeksowanych: 1

Całkowita wielkość indkesu: 220

Cache: 1.99kb

Całkowita ilość znalezionych słow: 220

Wielkośś strony: 14.57kb

104817[/snapback]

Szook to niestety nie ta strona przez moment był dostępny link do budowanego e-sklepu i akurat poszedł za nim bot z onetu. Ale ja się ciesze bo zauważyłem bład

Co do tego ile zeszło kb też nie pomoge bo na maxa wskazuje mi pierwsze 100 i się nie łapiesz