Zaloguj się, aby obserwować  
tbnet

Poszukiwany dobry parser robots.txt

Polecane posty

Szukam gotowego, dobrego skryptu do parsowania pliku robots.txt

Żeby umiał sprawdzić czy GoogleBot ma dostęp do danej strony/podstrony.

Nie znalazłem w sieci niczego sensownego co by poradziło sobie rozróżnieniem pliku i folderu oraz grupowania user agentów.

Znacie jakiś dostępny skrypt lub czy jest ktoś skłonny odsprzedać sprawdzone rozwiązanie?

Edytowano przez tbnet

TBnet.pl - strony internetowe i pozycjonowanie Olsztyn.

Udostępnij ten post


Link to postu
Udostępnij na innych stronach

Dzięki za pomoc. Myślisz że nie przetestowałem tych rozwiązań? Cała pierwsza strona to kiepskie rozwiązania, niektóre nawet komentarzy nie ignorują i #Disallow: / widzą jako blokadę.

Edytowano przez tbnet

TBnet.pl - strony internetowe i pozycjonowanie Olsztyn.

Udostępnij ten post


Link to postu
Udostępnij na innych stronach

Myśle, że programowa analiza pliku robots.txt, to przerost formy nad treścią...

  • Like 1

HTTP 200 usługi IT - Dariusz Janicki | Realizacja serwisów www oraz oprogramowania w PHP / C# / Node.js / MySQL :chatownik:

Udostępnij ten post


Link to postu
Udostępnij na innych stronach

Wtedy zleca się lub pisze samemu oprogramowanie dedykowane...

  • Like 1

HTTP 200 usługi IT - Dariusz Janicki | Realizacja serwisów www oraz oprogramowania w PHP / C# / Node.js / MySQL :chatownik:

Udostępnij ten post


Link to postu
Udostępnij na innych stronach

Taka dyskusja jest bezcelowa.

Wracając do głównego wątku, może jednak ktoś jest w stanie dostarczyć wartościowe informacje?


TBnet.pl - strony internetowe i pozycjonowanie Olsztyn.

Udostępnij ten post


Link to postu
Udostępnij na innych stronach

Bądź aktywny! Zaloguj się lub utwórz konto

Tylko zarejestrowani użytkownicy mogą komentować zawartość tej strony

Utwórz konto

Zarejestruj nowe konto, to proste!

Zarejestruj nowe konto

Zaloguj się

Posiadasz własne konto? Użyj go!

Zaloguj się
Zaloguj się, aby obserwować  

  • Kto przegląda   0 użytkowników

    Brak zalogowanych użytkowników przeglądających tę stronę.