googlebot olewa robots.txt?

[vel]

Ciekawa obserwacja

Na jednym z serwisów www od samego początku sobie siedzi w roocie plik robots.txt. Jedna z regułek brzmi mniej więcej tak:

User-agent: *

Disallow: /data/

Według tego https://www.google.com/support/webmasters/b...py?answer=40362 taki wpis powinien zabronić indeksacji katalogu data oraz wszystkich podkatalogów

To block a directory and everything in it, follow the directory name with a forward slash.

Disallow: /private_directory/

No a sprawdzam sobie site mojej strony a tu pięknie poindeksowane pliki cache będące w jednym z podfolderów folderu /data/. Czy ja tu coś popieprzyłem czy googlebot się pcha gdzie nie powienien? Chyba będę musiał zablokować dostęp htaccessem do tego katalogu spoza samego localhosta :/

WTF? Ktoś ma jakiś pomysł ?

Edytowane 26 Lipca 2006 przez vel

[img]

Zabron na serwerze listowania katalogu -> hmm i bedzie cacy. Wpis w robots.txt jest prawidlowy i po tej akcji powinien dzialac prawidlowo.

[vel]

akurat nie o ten sajt chodziło, ale dzięki za zwrócenie uwagi przy okazji już zablokowałem listing katalogów

a tam gdzie mam opisany problem listing jest wyłączony i to nie pomaga. zrobiłem blokadę przy pomocy htaccessa ale dalej ciekawi mnie jak bot to pobrał