robots1.txt robots2.txt robots3.txt robots4.txt

[zerocool]

Zauważyłem w logach próby wejścia na te pliki, które rzecz jasna wywołują code 404.

Czy ktoś już może przetestował u siebie jak to działa i co "tak naprawdę" dają te pliki ?

Z tego co zdążyłem się dowiedzieć to :

robots1.txt - zezwala na wejście wszystkim botom

robots2.txt - banuje wszystkie boty

robots3.txt - banuje wejścia na katalogi CGI i obrazki

robots4.txt - ( nie do końca kumam, ale ma to chyba związek z ograniczaniem się do tych "miłych robotów" )

sprawdzał ktoś ? Ja się boję

[pneuma]

zapewne chodzi Ci o https://www.searchengineworld.com/robots/

- to są przykłady co może być w robots.txt

jezeli to jest standard to nic tam nie ma o kilku wersjach pliku robots.txt

[szy]

Zauważyłem w logach próby wejścia na te pliki

U mnie, na niemałych serwisach, o plik robots1.txt pytał wyłącznie

Mozilla/4.0 (compatible;  MSIE 6.0;  AOL 8.0; SV1; .NET CLR 1.1.4322;  Windows NT 5.1) (larbin@unspecified.mail)

O inne nikt nie pytał. Nie ma więc tematu.

Szy.