Jump to content
oktus

robots.txt - Majestic zwraca 403

Recommended Posts

Cześć! 

Mam problem, z którym prosiłbym Was o pomoc. Majestic zwraca błąd 403 Forbidden próbując uzyskać dostęp do robots.txt. Nawiasem, wklepując z przeglądarki, robots.txt normalnie mogę odczytać. Data ostatniego crawlowania przez MJ12BOT to 12 sierpnia. Z tym terminem kojarzę zainstalowanie w Wordpressie wtyczki iThemes Security (Dawny Better WP Security). Nie mogę natomiast absolutnie doszukać się żadnej opcji w ustawieniach, która pozwala na nadanie uprawnień dla pająków. 

Poza tym zainstalowane wtyczki typu W3 Total Cache, Autooptimize itp. W .HTACCESS nie widzę żadnej wzmianki o odmowie dostępów dla botów. 

Gdzie powinienem szukać przyczny? 

Dzięki z góry za pomoc! 

Pozdrawiam!

Share this post


Link to post
Share on other sites

Serwer może mieć zablokowane boty. Na współdzielonych się to trafia, by oszczędzać zasoby. A MJ12bot potrafi zeżreć masę CPU i transferu. On jest dość agresywny.

Ale nie przejmuj się tym botem, nie jest on do szczęścia potrzebny. Dane dla Twojej strony będą i tak dostępne w majestic.com.


Tani hosting z darmowym certyfikatem SSL HEXCORE

Share this post


Link to post
Share on other sites

Dzięki za odpowiedź. Właśnie niestety od kiedy Majestic przestał crawlować moją stronę, statystyki linków nie aktualizują się, chociaż poszły od tamtej pory 2 miesiące linkbuildingu. Ręcznie dodanych zostało ok. 70 linków.

Share this post


Link to post
Share on other sites

Chyba blokowania botów przez hosting to stare czasy. Pewnie jednak, w robots.txt masz taki wpis

 

Wysłane z telefonu

 

 

 

 


dymna.jpg

Przyjaźń psa na całe życie. ZAGINĄŁ DOM

Share this post


Link to post
Share on other sites

Niestety nie. Wręcz robots.txt nie jest jeszcze poprawnie zoptymalizowany. Blokuje jedynie indeksację regulaminu, polityki prywatności i powiadomienie o cookies. Poza tym User Agent: * Allow: /

Share this post


Link to post
Share on other sites

Daj na pewno site to może coś poradzę bo tak to tylko można spekulować w nieskończoność

Wysłane z telefonu


dymna.jpg

Przyjaźń psa na całe życie. ZAGINĄŁ DOM

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.


  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...

Important Information

We have placed cookies on your device to help make this website better. You can adjust your cookie settings, otherwise we'll assume you're okay to continue. Terms of Use Privacy Policy