Jump to content
jimmi

ROBOTS.TXT ma już 2O lat

Recommended Posts

30 czerwca 1994 roku wymyślony przez Martijn Koster robots.txt został przyjęty jako standard przez wszystkie liczące się w tym czasie wyszukiwarki takie jak Lycos, AltaVista czy WebCrawler.

Martin na swoimi blogu opisał 20 lat błędów w robots.txt

link do jego artykułu http://www.beussery.com/blog/index.php/2014/06/robots-txt-disallow-20/

  • Like 1

dymna.jpg

Przyjaźń psa na całe życie. ZAGINĄŁ DOM

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.


  • Recently Browsing   0 members

    No registered users viewing this page.

  • Similar Content

    • By M.Bilski
      Witam
      Zaznaczam, ze jestem zieloniutki, więc szybkie pytanie do speców:
      Mam sklep na Presta - jeden z modułów generuje mi mapkę strony i obrazków.
      No i klasycznie jest jeden plik indeksu mapek i jeden plik z Polską mapką.
      Webmasters to łyknęło i nie ma problemu.
      Problem jest natomiast z tym, że w podkatalogu tej domeny mam zainstalowane forum, którego moduł Presta oczywiście nie widzi.
      Forum jest na silniku IPboard. Generuje trzy swoje mapki i mapkę indeksu do katalogu /Forum/
      sitemap_core_forums.xml.gz
      sitemap_core_topics.xml.gz
      sitemap_core_core.xml.gz
      Czy mogę sobie skopiować ten indeks i dodać do mojego indeksu Presta bez jakiś zgrzytów? Będzie się to jakoś sensownie indeksowało?
      No i bonusowe pytanie. Taka sama sytuacja jest z plikiem robots.txt
      Czy jak dodam sobie zapisy z pliku robots który siedzi w katalogu forum do pliku w root to będzie to ładnie blokowało? Chodzi głównie o wpisy /disallow.
      W tym momencie ten plik nie jest w żaden sposób brany pod uwagę przez Google.
      Jak podam tam strony z katalogiem /forum/ to powinno banglać prawda?
      Pozdrawiam,
      Maciej
    • By Salek_Art
      Witam,
      W ramach przygotowania do większego projektu wypuszczamy kilka darmowych narzędzi do SEO.
      1. Narzędzie do Generowania Sitemap w formatach: XML, HTML, TXT.
      Link: http://fastsitemap.com
      Narzędzie pozwoli wam wygenerować mapę do 1000 linków za darmo (500 więcej niż popularny xml-sitemaps) - dodatkowo jest szybsze.
      2. Narzędzie do generowania Robots.txt.
      Link: http://robots-generator.com
      Narzędzie pozwoli wam wygenerować plik robots.txt - jest predefiniowana baza robotów.
      Wypuścimy jeszcze 1-2 takie narzędzia, więc wątek będą aktualizował. Gdybyście mieli jakieś pytania to zapraszam.
    • By cyrus82
      Witam
      To mój pierwszy post i myślę że jestem we właściwym miejscu żeby zadać takie pytanie.
      Otóż utworzyłem konto w GA i wiem, wiem to był mój błąd ale zainstalowałem także PIWIK choć nie wiem czy nie za późno ;-)
      Konto jest dla sklepu opartego na OpenCart ale przeglądając i GA i wyszukiwane frazy widzę że wszystko ładuje mi się na główną domenę i tak się zastanawiam czy nie mam źle sformułowanego pliku robots.txt może wy mi coś poradzicie ??
      To co ma się w nim znajdować otrzymałem na forum OC ale jakoś nie jestem do tego przekonany.
      A tutaj to co się w nim znajduje:
      User-agent: *

      Disallow: /admin Disallow: /cache Disallow: /niks Disallow: /catalog Disallow: /download Disallow: /export Disallow: /system Disallow: /index.php?route=account Disallow: /index.php?route=account/account Disallow: /index.php?route=checkout/cart Disallow: /index.php?route=checkout/shipping Disallow: /index.php?route=common/home Disallow: /index.php?route=product/product/captcha Disallow: /index.php?route=product/product*&manufacturer_id= Disallow: /index.php?route=product/search Disallow: /index.php?route=information/contact/captcha Disallow: /index.php?route=information/information&information_id= Disallow: /index.php?route=account/login Disallow: /*route=account/ Disallow: /*route=account/login Disallow: /*route=checkout/ Disallow: /*route=checkout/cart Disallow: /*route=affiliate/ Disallow: /*route=product/search Disallow: /*?sort= Disallow: /*?sort Disallow: /*&sort= Disallow: /*?order= Disallow: /*?order Disallow: /*&order= Disallow: /*?limit= Disallow: /*&limit= Disallow: /*?filter_name= Disallow: /*&filter_name= Disallow: /*?filter_sub_category= Disallow: /*&filter_sub_category= Disallow: /*?filter_description= Disallow: /*&filter_description= Disallow: /*?tracking= Disallow: /*&tracking= Disallow: /*?manufacturer Disallow: /*?keyword Sitemap: http://www.**************.pl/index.php?route=feed/google_sitemap
      Proszę o wasze sugestie.
      Dziękuję
    • By tkobosz
      Witam,
      Czy to jest normalne, że gdy w pliku robots.txt mam:

      User-agent: * Disallow: /strona.php
      to robot google i tak wchodzi na tę stronę przez adresy z parametrami na końcu:
      www.mojadomenna.pl/strona.php?x=1
      Kiedy dałem tam tak:

      User-agent: * Disallow: /strona.php*
      to walidator plików robots.txt krzyczał, że tak nie wolno.
      Ale może jest tak, że pomimo zakazu w robots.txt Googlebot i tak sobie tam wchodzi, choć tych stron nie indeksuje?
      Dziękuję,
      Tomek
×
×
  • Create New...

Important Information

We have placed cookies on your device to help make this website better. You can adjust your cookie settings, otherwise we'll assume you're okay to continue. Terms of Use Privacy Policy