Nocne odwiedziny robotów

[j_t_r]

Witam,

Zauważyłem takie oto ślady po nocnych odwiedzinach robotów:

2008-11-29 05:53:24

82.160.94.10 : mutant.forall.pl

2008-11-29 05:53:22

193.143.121.91 : delta.fc.pl

2008-11-29 05:53:21

91.121.153.149 : ns358721.ovh.net

2008-11-29 05:53:20

75.126.4.220 : sv3.securenet.pl

2008-11-29 05:53:13

91.121.144.34 : ns356901.ovh.net

2008-11-29 05:53:02

78.131.152.24 : dream2.i365.pl

2008-11-29 05:53:01

91.121.72.112 : ks26351.kimsufi.com

2008-11-29 05:53:00

195.114.1.19 : s107.superhost.pl

2008-11-29 05:52:59

72.249.78.224 : 72.249.78.224

2008-11-29 05:52:50

85.128.186.2 : amd2.rev.netart.pl

2008-11-29 05:52:49

85.128.148.2 : akr2.rev.netart.pl

2008-11-29 05:52:48

83.149.76.57 : w24.webd.pl

2008-11-29 05:52:47

193.143.121.91 : delta.fc.pl

2008-11-29 05:52:39

89.161.170.7 : v030995.home.net.pl

2008-11-29 05:52:35

85.128.186.2 : amd2.rev.netart.pl

2008-11-29 05:51:50

82.177.192.1 : livenet1.livenet.pl

2008-11-29 05:51:49

82.177.192.1 : livenet1.livenet.pl

Mam stronę na home.pl, rozumiem ich odwiedziny, ale po co włażą do mnie roboty innych firm hostingowych?

I dlaczego wszystkie te odwiedziny odbywają się prawie w tym samym czasie?

O co tu chodzi?

pozdrawiam,

[Kaviorek]

są to zwykle skrypty użytkowników odpalane z serwerów któych IP podajesz, które po coś tam skanują stronę w szukaniu czegoś

np. abo dodać spamowy komentarz, aby znaleźć e-maila aby wysłać spam, albo aby z automatu skopiować stronę, przemielić i postawić na tym swoje unikalne zaplecze

poza robotem home.pl który jest wewnętrznym, wszystkie inne zużywają transfer, więc najlepiej je blokować, oczywiście z głową...

[SirZooro]

Dokładnie. Włażą natomiast w nocy tylko dlatego że ich właściciel potrafił się domyśleć że w nocy nie ma takiego obciążenia serwerów jak w dzień.

[j_t_r]

Dzięki za info, w takim razie muszę je przyblokować.

[j_t_r]

Dzisiaj w nocy robot home.pl (homenet search) przeskanował mi wszystkie strony (ok 5000). Ciekawe czy te odwiedziny idą z transferu za który im płacimy. Jeśli tak, to byłoby to niezłe chamstwo.

Blokuję gnoja.

[DreamStudio]

5000 stron??? czy podstron? btw: "poza robotem home.pl który jest wewnętrznym, wszystkie inne zużywają transfer, więc najlepiej je blokować, oczywiście z głową... "

[j_t_r]

Podstron, odwiedził wszystkie dostępne podstrony serwisu.

Nie blokuję go, bo ma takie samo ip jak cała strona więc transferu chyba nie zjada, zrobię se tylko if'a żeby do licznika się nie zapisywał.

[Kaviorek]

tak jak pisałem wyżej, ten od home.pl nie zjada transferu, służy on do home'owej mini-wyszukiwarki jaka jest dostępna jako gotowy skrypt (ciekawe czy ktoś z tego korzysta), co noc skanuje wszystkie dostępne adresy, więcej https://home.pl/pomoc/2179

można go blokować poprzez wpis w robots.txt,

bodaj:

User-agent: Homenet-Search

Disallow: /