Lista robotów sieciowych z odnośnikami do wątków

[djumbo]

User-Agent: boitho.com-dc/0.71

Nazwa: boitho.com's Web Crawler

host: gs-buvik. idi. ntnu.no

Opis: robocik wyszukiwarki norweskiej, w której co ciekawe o rankingu stron decydują ludzie, którzy oceniają strony - po wyszukaniu . Opis robota: https:// www. boitho. com/ dcbot.html

[piotrek]

złapany

User-Agent: NMG Spider/0.3 (szukanko.com)

IP: 217.160.254.242

host: nmgroup.net

[info] robot wyszukiwarki szukanko.com do której można dodać własną stronę przez formularz https://www.szukanko.com/www3/dodaj.aspx

[tomek.l]

Mam nadzieję że to pasuje do tematu

https://www.spiders.pl/builder.php?which_pa...&order_by=nazwa

[Maciek]

UA: NutchCVS/0.06-dev (Nutch; https:// www. nutch. org/docs/en/bot.html; nutch-agent@ lists.sourceforge .net)

IP: 69.41. 173.104

host: unused. 800hosting. com

[info] "Projekt Nutch jest niedawno powstałą inicjatywą zmierzającą do zaimplementowania serwera wyszukiwania stron WWW, na licencji Open Source."

te "niedawno" to juz tak dobre kilka miesiecy : (

UA: PlantyNet_WebRobot_V1.9 dhkang@ plantynet. com

IP: 220.130. 145.70

host: 220-130- 145-70.HINET-IP. hinet.net

[info] jakas chinska www ktorej nie moge zaladowac

UA: NP/0.1 (NP; https:// www. nameprotect. com; npbot@ nameprotect. com)

IP: 24.177. 134.5

host: c24.177.134.5.static. ncr.charter. com

[info] spam ?

i takie cos:

$BotName/$BotVersion [en] (UNIX; U)

[Dżyszla]

Zdaje się tego nikt nie opisał:

User agent: Mozilla/4.0 compatible ZyBorg/1.0 Dead Link Checker (wn.dlc@looksmart.net; ]https://www.WISEnutbot.com)

IP: 64.242.88.50

Host: sv-crawlfw3.looksmart.com

Jak coś nie tak opisałem, to proszę o poprawki... Co to właściwie za robot jest - nie mam pojęcia

[szy]

Co to właściwie za robot jest - nie mam pojęcia

... a chwilę wcześniej:

Dead Link Checker

https://www.WISEnutbot.com

Szy.

[Dżyszla]

ale jedyne, co tak się podpisuje z tego adresu, więc komu on sprawdza Dead Link? I czy do sprawdzenia Dead Linków potrzeba pobierać aż do kodu 200? Nie wystarczy 304? Wg mnie to to nie tylko sprawdza DL, ale i indeksuje strony. Więc coś nie tak z opisem w przedstawieniu sie tego...

[szy]

więc komu on sprawdza Dead Link

https://www.wisenutbot.com/corp/contact.html'>WiseNut is a LookSmart? search engine.

I czy do sprawdzenia Dead Linków potrzeba pobierać aż do kodu 200?

Nie rozumiem tego 'aż'.

Szy.

[Dżyszla]

bo jeśli coś chce sprawdzać, czy dany link jest poprawny, to wystarczy, że nie będzie zwrócony 404, a po co pobierać całą zawartość?

A po prostu ten robot nie robi tego, co ma w opisie, tylko najzywczajniej w świecie indeksuje.

Dobra, nie ma co zaśmiecać dalej wątku.

[k3rn3l]

"

blokujcie albo zabezpieczajcie swoje e-maile - więcej o zabezpieczeniu adresu e-mail w wątku"

Ja uzywam czegos takiego, roboty tego nie wyciagaja..

function nasz_adres(czesc3,czesc2,czesc1,czesc4) {

document.write('<a  CLASS="dotted" hre' + 'f="mai' + 'lto:' + czesc1 + czesc2 + '@' +

czesc3 + czesc4 + '">' + czesc1 + czesc2 + '@' + czesc3 + czesc4 + '</a>');

}



<script>nasz_adres('dome','_email','adres','na.pl')</script>

[Dżyszla]

A jaki to ma związek z wątkiem?

[Dżyszla]

Coś nowego od Yahoo?

User agent: Yahoo-MMCrawler/3.x (mms dash mmcrawler dash support at yahoo dash inc dot com)

IP: 66.94.233.88

Host: mmcrm7.search.scd.yahoo.com

[szy]

Takie coś rozrabia mi ostatnie dni:

IP: 133.9.68.243

UA: e-SocietyRobot(https://www.yama.info.waseda.ac.jp/~yamana/es/)

Szy.

[Dżyszla]

User agent: Scooter/3.3

IP: 66.94.232.246

Host: mmcrc.search.scd.yahoo.com

Ile jeszcze tego z Yahoo jest?

[Dżyszla]

User agent: OmniExplorer_Bot/1.07 (+https://www.omni-explorer.com) Internet Categorizer

IP: 65.19.150.243

Spotkał się ktoś z takim czymś, co w ciagu godziny zassało mi całą stronę?