Lista robotów sieciowych z odnośnikami do wątków

[Dżyszla]

User-agent: Vagabondo/3.0 (webagent at wise-guys dot nl)

User-agent: Mozilla/4.0 (compatible; Vagabondo/2.3; webcrawler at wise-guys dot nl; https://webagent.wise-guys.nl/)

IP: 194.109.125.201

Jakiś holenderski. Podaje nawet referera! Nie żre zasobów (przynajmniej narazie).

[wrednotka]

cos nowego:

Agent: Norbert the Spider(Burf.com)

[SzlafRock]

Dziś złapałem coś takiego:

Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; snprtz|T04091669362366#598|isdn)

IP: 83.30.246.252

Proszę o info co to może być?

[Dżyszla]

To nie robot

[sorrow]

user_agent" larbin_2.6.3 larbin2.6.3@unspecified.mail

remote_addr: 85.124.84.211

[Dżyszla]

User-agent: ObjectsSearch/0.06

IP: 69.150.7.165

Poniższe nie wiem, czy jest robotem:

Agent: Jakarta Commons-HttpClient/2.0M1

IP: 81.187.167.51

???

[Erbit]

Piotr stworzył taki skrypt....

Czy jest ktoś z Was zainteresowany stworzeniem i updatowaniem listy robotów które indexują nasze serwisy ale także tych które zżerają nam transfer

$ua = $_SERVER[HTTP_USER_AGENT];

$ip = $_SERVER[REMOTE_ADDR];



if (   eregi("fragment nazwy robota", $ua)  

   || eregi("fragment nazwy kolejnego robota", $ua) 

 // powielamy eregi

   || $ip == "blokowany numer IP" 

   || $ip == "kolejny blokowany numer IP"  

 // powielamy IP

 ) {



// wysyłamy podejrzanego robota w kosmos np. za pomocą header("location: https:// odchlankosmosu.commm"); 



} else {



// wyświetlamy treść



}

a czy nie warto niechciane roboty poprostu odeslac do nich samych ???

to byłoby chyba jakoś tak...

.....



// wysyłamy podejrzanego robota w kosmos np. za pomocą header("location: https:// odchlankosmosu.commm"); 



// nie w odchłań a dokladnie tam skad przyszedł...

header("location: https://$ip"); 

......

i wtedy będą same sobie pożerały transfer !?

No i druga uwaga...

czy nie lepiej miast

else {... wyświetlana treść

zrobić tak:

$ua = $_SERVER[HTTP_USER_AGENT];

$ip = $_SERVER[REMOTE_ADDR];

If (...) { 

header("location: https://$ip"); // tam skad przyszedl lub w odchłań

header("Connection: close");

}

? ?

Pomijamy wtedy konieczność klamrowania całej treści dokumentu oraz umowliwia to zapisanie w osobnym pliku tego skryptu i odwoływanie sie do niego wszedzie tam gdzie to potzrebne poprzez include.

Mam rację !?

reedit:

sprawdziłem... obydwie sugestie działają :

1. wpisałem swoje IP na listę niechcianych i mnie odesłało do mnie,

2. umieściłem skrypt w osobnym pliku i go include'uje wszedzie tam gdzie potrzebuje, a mam kilka subdomen, wiec jest to dla mnie wygodne, bo zmiany robie tylko w jednym pliku.

Może na koniec... odsyłanie niechcianego robota tam skąd przyszedł oczywiście może nie dać efektu, szczególnie jeśli na tamtym IP nie ma serwera, ale czasem może tak być że bedzie - wiec niech i im troche zje - no chyba ze sami przed sobą sie zabezpieczyli...

[Erbit]

W zwiazku z tym, ze omniexplorer połknął mi 15M transferu zebralem cala liste adresow IP tego robocika i wystawilem tu https://www.forum.optymalizacja.com/ftopic6118.html

Dodatkowo dla potrzeb phpBB zalecam wyciagniecie skryptu Piotra do osobnego pliku np. blokrob.php a nastepnie includowac go

include("blokrob.php");

w takich plikach forum jak:

index.php

viewtopic.php

viewforum.php

memberlist.php

profile.php

gdyz robot moze zaczytywac takze z tych plikow (szczegolnie jak juz u nas kiedys byl i zdazyl sie przebic na nowym adresie przez skrypt Piotra i teraz gania nam juz nie tylko po index.php).

To wyciagniecie powoduje ze mozemy sie do tego pliku odwolywac z kazdego miejsca gdzie jest to nam potrzebne (nwet z inncy subdomen, ale oczywiscie trzeba indywidulanie doszuakc sie sciezki dostepu) a aktualizowac wystarczy juz teraz tylko jeden plik.

[edyta 2005.08.20]

pare wpisow nizej jest aktualizacja funcji blozakres

I juz podaje obiecane zmiany do skryptu Piotra. Pomysl sie zrodzil przy koniecznosci blokowania zakresow IP. Nalezy do skryptu Piotra (moze byc przed zamknieciem ?> dolozyc taka funkcje

function blozakres($zakres,$ip_)

{

return (substr($ip_,0,strlen($zakres)) == $zakres);

}

a nastepnie najlepiej przed kontrola IP uzyc tego tak

// blokowanie zakresow IP

|| blozakres("64.71.131.",$ip)

// kolejny

// kolejny

Zalecam stosowanie zakresow zakonczoncy kropka czyli nie "XX.XX.XXX" a koniecznie z kropka na koncu "XX.XX.XXX

a teraz wyjasnienie na przykladach

|| blozakres("64.71.131.",$ip) // to blukuje zakres 64.71.131.0 -> 64.71.131.255

|| blozakres("64.71.38.",$ip) // to blukuje zakres 64.71.38.0 -> 64.71.38.255

|| blozakres("64.71.",$ip) // to blukuje zakres 64.71.0.0 -> 64.71.255.255 - NIE ZALECAM STOSOWANIA ZBYT SZEROKICH ZAKRESOW

A teraz przykladowy skrypt Piotra uzupelniony o takie zmiany

$ua = $_SERVER[HTTP_USER_AGENT]; 

$ip = $_SERVER[REMOTE_ADDR]; 



if (   eregi("fragment nazwy robota", $ua)  

|| eregi("fragment nazwy kolejnego robota", $ua) 

 // powielamy eregi 

  // ######## tu uzupelnienie ###########

  // blokowanie zakresow IP

  || blozakres("blokowany_zakres",$ip)

  || blozakres("kolejny_blokowany_zakres",$ip)  // blokady zakresow wg opisu powyzej

  // powielamy blozakres...

  // ######## koniec uzupelnienia ###########





|| $ip == "blokowany numer IP" 

|| $ip == "kolejny blokowany numer IP"  

 // powielamy IP 

 ) { 



// wysyłamy podejrzanego robota w kosmos np. za pomocą 

header("location: https:// odchlankosmosu.commm"); 

header("Connection: close");

}



// ######### uzupelniona funcja #########

function blozakres($zakres,$ip_)

{

return (substr($ip_,0,strlen($zakres)) == $zakres);

}

Pozdrawiam.

[EDDY]

Takie coś rozrabia mi ostatnie dni:

IP: 133.9.68.243

UA: e-SocietyRobot(https://www.yama.info.waseda.ac.jp/~yamana/es/)

Szy.

Mnie też. W kilka dni 16k stron pożarł.

[M@k]

Witam WSZYTSKICH.

Mam prośbę do wielkich znawców tej dziedziny. Czy ktoś by mógł udostępnić pełna listę robotów do zbanowania do skryptu Piotrka. Ten watek trochę się rozwija ale na pewno macie olbrzymie listy i większości nie ma tutaj. Dla początkującego było by to bardzo przydatne.

Pozdrawiam

[sorrow]

https://www.webmasterworld.com/forum92/906.htm

Poprawia bezpieczeństwo np rozszerzenie frontpage etc

[M@k]

Mam pytanie jak np. ten skrypt Piotrka, Zamiast nazwy gdzie normanie jest nazwa bota podaje numer ip, np. 80.124.153.41 lub np. 204.134.103.6. Co to znaczy ze ktoś się ukrywa czy jak to jest?.

Czy takie numery ip należy blokować?

Pozdrawiam.

[M@k]

Mam pytanie do "Erbit" a jak mozna twoim przerobionym skryptem zablokować np. taki przedzial (64.71.128.0 - 64.71.191.255).

Bo takich przedzialow na forum mozna znalesc duzo. A wiadomo zbyt szerokie zakresy nie sa wskazane dlatego czy moglbys powiedziec jak to zrobic, bo twoim skryptem chyba nie mozna takich zakresow zbanowac tylko np. od 128 do 255 w p/w przykladzie.

Pozdrawiam

[sorrow]

User-Agent: psbot/0.1 (+https://www.picsearch.com/bot.html)

IP: 217.212.224.143

[Erbit]

Mam pytanie do "Erbit" a jak mozna twoim przerobionym skryptem zablokować np. taki przedzial (64.71.128.0 - 64.71.191.255).  

...

musiłbyś blokować tak:

|| blozakres("64.71.128.",$ip) 

|| blozakres("64.71.129.",$ip) 

|| blozakres("64.71.130.",$ip) 

itd

wiec niestety nie mozna, ale skoro jest zainteresowanie to postaram sie cos niedlugo opracowac...

na ten moment ustal jaki jest user_agent dla tego zakresu i blokuj tak jak Piotr podał w swoim skrypcie poprzez

eregi("fragment nazwy robota", $ua) 

- fragment nazwy to wlasnie user_agent. Jesli chodzi o ichiro to dziala, tylko trzeba kazdy plik zabezpieczyc (patrz powyzej moje zalecenia dla forum).

[edyta]

mam juz pomysl jak zmienic tą funkcję blokzakres tak by dawała taką możliwość, teraz tylko testy i za pare dni bedzie...