Skocz do zawartości

robots.txt


mrkiniu
 Udostępnij

Rekomendowane odpowiedzi

Witam.

Mam nową domenę, która prawdopodobnie ma bana.

Wstawiłem skrypt do podglądu robotów i co zobaczyłem?

https://e-banki.biz/roboty.php

roboty wchodzą na stronę, nie wgłębiają się w serwis ale co ciekawe odwiedzają plik robots.txt którego faktycznie niema na serwerze.

Moje pytanie - czy takowy plik trzeba umieścić na serwerze i co ma się w nim znajdować, oraz dlaczego roboty odwiedzają taką stronę skoro jej tam niema.

Odnośnik do komentarza
Udostępnij na innych stronach

https://www.google.com/webmasters/bot.html

Znajdziesz na pewno odpowiedź.

ps.wer.polska

Największą głupotą jest uczenie się tego, co potem trzeba zapomnieć [...]
- Miarą mówcy nie jest ten kto mówi, lecz ten co słucha [...] / Platon (ok. 437 - 347 p.n.e.)

Drogi wszechświecie, przestań no lecieć w kulki!

Odnośnik do komentarza
Udostępnij na innych stronach

Jeśli chcesz dodać odpowiedź, zaloguj się lub zarejestruj nowe konto

Jedynie zarejestrowani użytkownicy mogą komentować zawartość tej strony.

Zarejestruj nowe konto

Załóż nowe konto. To bardzo proste!

Zarejestruj się

Zaloguj się

Posiadasz już konto? Zaloguj się poniżej.

Zaloguj się
 Udostępnij

  • Ostatnio przeglądający   0 użytkowników

    • Brak zarejestrowanych użytkowników przeglądających tę stronę.
×
×
  • Dodaj nową pozycję...

Powiadomienie o plikach cookie

Umieściliśmy na Twoim urządzeniu pliki cookie, aby pomóc Ci usprawnić przeglądanie strony. Możesz dostosować ustawienia plików cookie, w przeciwnym wypadku zakładamy, że wyrażasz na to zgodę. Warunki użytkowania Polityka prywatności