Robots.txt disallow

[VoytekIanNiznik]

Sprawdziłem ten plik i to jest to, co Bing pokazał:

User-agent: psbot
Disallow: /
User-agent: *
Disallow:
Crawl-delay: 10
Sitemap: https://www.voytex-enterprise.com/sitemap.xml

 

Czy to może powodować to, że indeksowanie tak bardzo się ślimaczy? Jak to rozwiązać?

 

Dzięki.

[jimmi]

Nie tylko to ale masz obostrzenia. Wywal ten delay i zobacz co będzie

Sent using Tapatalk

[VoytekIanNiznik]

Wywalić tylko delay, czy zmienić też z disallow to allow?

[Mion]

@VoytekIanNiznik - zamieszczaj zawartość kodu z pierwszego postu jako formatowanie <>

[VoytekIanNiznik]

Zmieniłem plik robots.txt:

Cytat

User-agent: psbot
Allow: /
User-agent: *
Allow:
Sitemap: https://www.voytex-enterprise.com/sitemap.xml

poprosiłem serwis hostingowy o jego dodanie do roota. Czy tak jest dobrze?

[jimmi]

 

Lepiej, tak też może by. Pierwsze dwie linijki są zbędne 

 

W dniu 2.03.2022 o 11:18, VoytekIanNiznik napisał:

User-agent: *
Allow: /
Sitemap: https://www.voytex-enterprise.com/sitemap.xml