oktus

robots.txt - Majestic zwraca 403

Polecane posty

Cześć! 

Mam problem, z którym prosiłbym Was o pomoc. Majestic zwraca błąd 403 Forbidden próbując uzyskać dostęp do robots.txt. Nawiasem, wklepując z przeglądarki, robots.txt normalnie mogę odczytać. Data ostatniego crawlowania przez MJ12BOT to 12 sierpnia. Z tym terminem kojarzę zainstalowanie w Wordpressie wtyczki iThemes Security (Dawny Better WP Security). Nie mogę natomiast absolutnie doszukać się żadnej opcji w ustawieniach, która pozwala na nadanie uprawnień dla pająków. 

Poza tym zainstalowane wtyczki typu W3 Total Cache, Autooptimize itp. W .HTACCESS nie widzę żadnej wzmianki o odmowie dostępów dla botów. 

Gdzie powinienem szukać przyczny? 

Dzięki z góry za pomoc! 

Pozdrawiam!

Udostępnij ten post


Link to postu
Udostępnij na innych stronach

Serwer może mieć zablokowane boty. Na współdzielonych się to trafia, by oszczędzać zasoby. A MJ12bot potrafi zeżreć masę CPU i transferu. On jest dość agresywny.

Ale nie przejmuj się tym botem, nie jest on do szczęścia potrzebny. Dane dla Twojej strony będą i tak dostępne w majestic.com.


dymna.jpg

Udostępnij ten post


Link to postu
Udostępnij na innych stronach

Dzięki za odpowiedź. Właśnie niestety od kiedy Majestic przestał crawlować moją stronę, statystyki linków nie aktualizują się, chociaż poszły od tamtej pory 2 miesiące linkbuildingu. Ręcznie dodanych zostało ok. 70 linków.

Udostępnij ten post


Link to postu
Udostępnij na innych stronach

Chyba blokowania botów przez hosting to stare czasy. Pewnie jednak, w robots.txt masz taki wpis

 

Wysłane z telefonu

 

 

 

 


dymna.jpg

Przyjaźń psa na całe życie. ZAGINĄŁ DOM

Udostępnij ten post


Link to postu
Udostępnij na innych stronach

Niestety nie. Wręcz robots.txt nie jest jeszcze poprawnie zoptymalizowany. Blokuje jedynie indeksację regulaminu, polityki prywatności i powiadomienie o cookies. Poza tym User Agent: * Allow: /

Udostępnij ten post


Link to postu
Udostępnij na innych stronach

Daj na pewno site to może coś poradzę bo tak to tylko można spekulować w nieskończoność

Wysłane z telefonu


dymna.jpg

Przyjaźń psa na całe życie. ZAGINĄŁ DOM

Udostępnij ten post


Link to postu
Udostępnij na innych stronach

Bądź aktywny! Zaloguj się lub utwórz konto

Tylko zarejestrowani użytkownicy mogą komentować zawartość tej strony


  • Kto przegląda   0 użytkowników

    Brak zalogowanych użytkowników przeglądających tę stronę.