Plik robots.txt domena i forum

[AbuDabi]

Mam strone na WordPressie oraz forum na skrypcie MyBB. Jak powinien wygladac dobry i poprawny wpisy w pliku robots.txt dla tych dwóch skryptow?

Inne pytanie. Mam strone:

mojastrona.pl

oraz forum

mojastrona.pl/forum

tak wiec czy blokujac robotom DOSTEP do miejsc na forum powinienem w pliku robots.txt uzyc

User-agent: *

Disallow: /lista_userow.php

czy

Disallow: /forum/lista_userow.php

[Huggo]

Robot.txt nie blokuje robota Google.

[AbuDabi]

a co go blokuje, to jak mam zabronić indeksowania tego czego nie powinien indeksować?

[Huggo]

No index w meta tagu.

[AbuDabi]

to zly przykład bo jak mam np. na forum ustawić aby na forum nie sprawdzal profili userow za dużo kombinowania aby tam dodac metatag? Tylko poprzez blokadę w pliku robots np. no index mojastrona.pl.users.php wydaje mi się rozwiazaniem