Jump to content
Sign in to follow this  
tkobosz

Składnia robots.txt - kwestia gwiazdki na końcu

Recommended Posts

Witam,

Czy to jest normalne, że gdy w pliku robots.txt mam:

User-agent: *
Disallow: /strona.php

to robot google i tak wchodzi na tę stronę przez adresy z parametrami na końcu:

www.mojadomenna.pl/strona.php?x=1

Kiedy dałem tam tak:

User-agent: *
Disallow: /strona.php*

to walidator plików robots.txt krzyczał, że tak nie wolno.

Ale może jest tak, że pomimo zakazu w robots.txt Googlebot i tak sobie tam wchodzi, choć tych stron nie indeksuje?

Dziękuję,

Tomek

Edited by tkobosz

Share this post


Link to post
Share on other sites

Pierwsza opcja poprawnie zablokuje Googlebota dla adresu domena.pl/strona.php?f=41. Jeśli masz dodaną stronę w GWT to sprawdź, kiedy ostatnio został pobrany plik robots.txt. Google potrzebuje trochę czasu na wyindeksowanie wykluczonych w ten sposób adresów, nie powinien natomiast odwiedzać tych podstron jeśli plik znajduje się we właściwym miejscu.

Edited by Veal

Łukasz Borchmann

Google+ / LinkedIn / GoldenLine

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

Sign in to follow this  

  • Recently Browsing   0 members

    No registered users viewing this page.

  • Similar Content

    • By M.Bilski
      Witam
      Zaznaczam, ze jestem zieloniutki, więc szybkie pytanie do speców:
      Mam sklep na Presta - jeden z modułów generuje mi mapkę strony i obrazków.
      No i klasycznie jest jeden plik indeksu mapek i jeden plik z Polską mapką.
      Webmasters to łyknęło i nie ma problemu.
      Problem jest natomiast z tym, że w podkatalogu tej domeny mam zainstalowane forum, którego moduł Presta oczywiście nie widzi.
      Forum jest na silniku IPboard. Generuje trzy swoje mapki i mapkę indeksu do katalogu /Forum/
      sitemap_core_forums.xml.gz
      sitemap_core_topics.xml.gz
      sitemap_core_core.xml.gz
      Czy mogę sobie skopiować ten indeks i dodać do mojego indeksu Presta bez jakiś zgrzytów? Będzie się to jakoś sensownie indeksowało?
      No i bonusowe pytanie. Taka sama sytuacja jest z plikiem robots.txt
      Czy jak dodam sobie zapisy z pliku robots który siedzi w katalogu forum do pliku w root to będzie to ładnie blokowało? Chodzi głównie o wpisy /disallow.
      W tym momencie ten plik nie jest w żaden sposób brany pod uwagę przez Google.
      Jak podam tam strony z katalogiem /forum/ to powinno banglać prawda?
      Pozdrawiam,
      Maciej
    • By Salek_Art
      Witam,
      W ramach przygotowania do większego projektu wypuszczamy kilka darmowych narzędzi do SEO.
      1. Narzędzie do Generowania Sitemap w formatach: XML, HTML, TXT.
      Link: http://fastsitemap.com
      Narzędzie pozwoli wam wygenerować mapę do 1000 linków za darmo (500 więcej niż popularny xml-sitemaps) - dodatkowo jest szybsze.
      2. Narzędzie do generowania Robots.txt.
      Link: http://robots-generator.com
      Narzędzie pozwoli wam wygenerować plik robots.txt - jest predefiniowana baza robotów.
      Wypuścimy jeszcze 1-2 takie narzędzia, więc wątek będą aktualizował. Gdybyście mieli jakieś pytania to zapraszam.
    • By jimmi
      30 czerwca 1994 roku wymyślony przez Martijn Koster robots.txt został przyjęty jako standard przez wszystkie liczące się w tym czasie wyszukiwarki takie jak Lycos, AltaVista czy WebCrawler.
      Martin na swoimi blogu opisał 20 lat błędów w robots.txt
      link do jego artykułu http://www.beussery.com/blog/index.php/2014/06/robots-txt-disallow-20/
    • By cyrus82
      Witam
      To mój pierwszy post i myślę że jestem we właściwym miejscu żeby zadać takie pytanie.
      Otóż utworzyłem konto w GA i wiem, wiem to był mój błąd ale zainstalowałem także PIWIK choć nie wiem czy nie za późno ;-)
      Konto jest dla sklepu opartego na OpenCart ale przeglądając i GA i wyszukiwane frazy widzę że wszystko ładuje mi się na główną domenę i tak się zastanawiam czy nie mam źle sformułowanego pliku robots.txt może wy mi coś poradzicie ??
      To co ma się w nim znajdować otrzymałem na forum OC ale jakoś nie jestem do tego przekonany.
      A tutaj to co się w nim znajduje:
      User-agent: *

      Disallow: /admin Disallow: /cache Disallow: /niks Disallow: /catalog Disallow: /download Disallow: /export Disallow: /system Disallow: /index.php?route=account Disallow: /index.php?route=account/account Disallow: /index.php?route=checkout/cart Disallow: /index.php?route=checkout/shipping Disallow: /index.php?route=common/home Disallow: /index.php?route=product/product/captcha Disallow: /index.php?route=product/product*&manufacturer_id= Disallow: /index.php?route=product/search Disallow: /index.php?route=information/contact/captcha Disallow: /index.php?route=information/information&information_id= Disallow: /index.php?route=account/login Disallow: /*route=account/ Disallow: /*route=account/login Disallow: /*route=checkout/ Disallow: /*route=checkout/cart Disallow: /*route=affiliate/ Disallow: /*route=product/search Disallow: /*?sort= Disallow: /*?sort Disallow: /*&sort= Disallow: /*?order= Disallow: /*?order Disallow: /*&order= Disallow: /*?limit= Disallow: /*&limit= Disallow: /*?filter_name= Disallow: /*&filter_name= Disallow: /*?filter_sub_category= Disallow: /*&filter_sub_category= Disallow: /*?filter_description= Disallow: /*&filter_description= Disallow: /*?tracking= Disallow: /*&tracking= Disallow: /*?manufacturer Disallow: /*?keyword Sitemap: http://www.**************.pl/index.php?route=feed/google_sitemap
      Proszę o wasze sugestie.
      Dziękuję
    • By AbuDabi
      Mam strone na WordPressie oraz forum na skrypcie MyBB. Jak powinien wygladac dobry i poprawny wpisy w pliku robots.txt dla tych dwóch skryptow?
      Inne pytanie. Mam strone:
      mojastrona.pl
      oraz forum
      mojastrona.pl/forum
      tak wiec czy blokujac robotom DOSTEP do miejsc na forum powinienem w pliku robots.txt uzyc
      User-agent: *
      Disallow: /lista_userow.php
      czy
      Disallow: /forum/lista_userow.php
×
×
  • Create New...

Important Information

We have placed cookies on your device to help make this website better. You can adjust your cookie settings, otherwise we'll assume you're okay to continue. Terms of Use Privacy Policy