Zaloguj się, aby obserwować  
tbnet

Poszukiwany dobry parser robots.txt

Polecane posty

Szukam gotowego, dobrego skryptu do parsowania pliku robots.txt

Żeby umiał sprawdzić czy GoogleBot ma dostęp do danej strony/podstrony.

Nie znalazłem w sieci niczego sensownego co by poradziło sobie rozróżnieniem pliku i folderu oraz grupowania user agentów.

Znacie jakiś dostępny skrypt lub czy jest ktoś skłonny odsprzedać sprawdzone rozwiązanie?

Edytowano przez tbnet

TBnet.pl - strony internetowe i pozycjonowanie Olsztyn.

Udostępnij ten post


Link to postu
Udostępnij na innych stronach

Dzięki za pomoc. Myślisz że nie przetestowałem tych rozwiązań? Cała pierwsza strona to kiepskie rozwiązania, niektóre nawet komentarzy nie ignorują i #Disallow: / widzą jako blokadę.

Edytowano przez tbnet

TBnet.pl - strony internetowe i pozycjonowanie Olsztyn.

Udostępnij ten post


Link to postu
Udostępnij na innych stronach

Myśle, że programowa analiza pliku robots.txt, to przerost formy nad treścią...

  • Like 1

banerred23new.png

HTTP 200 usługi IT - Dariusz Janicki | Realizacja serwisów www oraz oprogramowania.

Udostępnij ten post


Link to postu
Udostępnij na innych stronach

Wtedy zleca się lub pisze samemu oprogramowanie dedykowane...

  • Like 1

banerred23new.png

HTTP 200 usługi IT - Dariusz Janicki | Realizacja serwisów www oraz oprogramowania.

Udostępnij ten post


Link to postu
Udostępnij na innych stronach

Taka dyskusja jest bezcelowa.

Wracając do głównego wątku, może jednak ktoś jest w stanie dostarczyć wartościowe informacje?


TBnet.pl - strony internetowe i pozycjonowanie Olsztyn.

Udostępnij ten post


Link to postu
Udostępnij na innych stronach

Bądź aktywny! Zaloguj się lub utwórz konto

Tylko zarejestrowani użytkownicy mogą komentować zawartość tej strony

Zaloguj się, aby obserwować  

  • Kto przegląda   0 użytkowników

    Brak zalogowanych użytkowników przeglądających tę stronę.