Blokowanie złych robotów - dobry kod?

[SobiePan]

Witam,

uprzejmie proszę specjalistów w tym zakresie o odpowiedź, czy poniższe pliku są poprawne i skutecznie zablokują mi dostęp do stron. Mam ich kilkadziesiąt i wolę zapytać najpierw, niż zmieniać to później

Dzięki za pomoc!

robots.txt

User-agent: Googlebot
Disallow:
User-agent: msnbot
Disallow:
User-agent: Slurp
Disallow:
User-agent: Teoma
Disallow:
User-agent: rogerbot
Disallow: /
User-agent: exabot
Disallow: /
User-agent: MJ12bot
Disallow: /
User-agent: dotbot
Disallow: /
User-agent: gigabot
Disallow: /
User-agent: AhrefsBot
Disallow: /
User-agent: *
Disallow: /

htaccess

SetEnvIfNoCase User-Agent .*rogerbot.* bad_bot
SetEnvIfNoCase User-Agent .*exabot.* bad_bot
SetEnvIfNoCase User-Agent .*mj12bot.* bad_bot
SetEnvIfNoCase User-Agent .*dotbot.* bad_bot
SetEnvIfNoCase User-Agent .*gigabot.* bad_bot
SetEnvIfNoCase User-Agent .*ahrefsbot.* bad_bot
SetEnvIfNoCase User-Agent .*sitebot.* bad_bot
<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</Limit>

[Gość]

Czemu zablokowałeś wszystkie boty?

User-agent: *

Disallow: /

[SobiePan]

Żeby odsiać całe pozostałe badziewie, których nazw nie pamiętam

[blake]

Pewnie nie chce żeby mu jakiś googlebot wałęsał się po serwerze

[SobiePan]

Pewnie nie chce żeby mu jakiś googlebot wałęsał się po serwerze

Aaaa... już rozumiem . Jak zmienić, żeby nic nie wchodziło poza google i bingiem?

dzięki

pozdr

p

[Gość]

Strzelam, że:

User-Agent: *

Disallow: /

User-Agent: Googlebot

Allow: /

User-Agent: Googlebot-Mobile

Allow: /

User-Agent: Googlebot-Image

Allow: /

User-Agent: Mediapartners-Google

Allow: /

User-Agent: bingbot

Allow: /

Oczywiście spamboty nie czytają robots.txt - mają go w głębokim poważaniu.

[blackpress.pl]

Kolejność warunków w robots.txt nie jest ważna:

https://developers.g...docs/robots_txt

"Order of precedence for user-agents"

Wracając do tematu, to wiele botów się nie przedstawia i nie czyta robots.txt, ale możesz je wycinać po IP w htaccess

PS. nie ma złych robotów - są tylko mniej lub bardziej natrętne