Łapacz!

[jestemradek]

może podaj wyrażenie do łapania google botów... bo mi coś w ogóle niczego to nie łapie

ale ogólnie to łapacz wygląda fajnie

[piotrek]

jeśli tylko umieściłeś funkcję lapacz(); w kodzie PHP swojego serwisu lista robotów (user-agentów) będzie tworzyć Ci się automatycznie wraz z wejściami poszczególnych robotów

warto mieć te dwa

^mozilla(.*)(gecko|msie|konqueror|opera)(.*)$

^opera(.*)(windows|linux)(.*)$

żeby nie zrobiło się śmietnisko rozmaitych wersji User-Agentów przeglądarek

ale mogę Ci podać to co mam i co u mnie już ładnie zbiera informacje:

^Googlebot\/2\.1 \(\+http\:\/\/www\.google\.com\/bot\.html\)$

^Mediapartners\-Google\/2\.1$

^Gigabot\/2\.0$

^Mozilla\/5\.0 \(compatible\; Yahoo\! Slurp(.*)$

^msnbot\/1\.0 \(\+http\:\/\/search\.msn\.com\/msnbot\.htm\)$

^http\:\/\/www\.almaden\.ibm\.com\/cs\/crawler \[bc20\]$

^Szukacz\/1\.5 \(robot\; www\.szukacz\.pl\/html\/jak\_dziala\_robot\.html\; info\@szukacz\.pl\)$

^voyager\/1\.0$

warto poskracać te wyrażenia, ale tym będę zajmował się jak będe miał więcej robotów

[jestemradek]

no i niestety nie działa mi to

dodałem to na samym początku pliku index.php

zobacz tutaj:

aa po mojej stronie chodzą googleboty i to ostro...

[piotrek]

jestemradek, wobec tego nie wiem co Ci poradzić, musisz gdzieś szukać błędu po swojej stronie bo w tym momencie zainstalowałem Łapacza na https://www.i-slownik.pl i ruszył od kopa bez najmniejszych problemów

dane do bazy są w obu plikach lapacz_funkcja.php oraz lapacz.php ale gdybyś w którymś pominął to pewnie wyrzucałoby Ci jakieś błędy

[Saint]

piotrek: milo miec racje prawda?

[jestemradek]

aaaaa już znalazłem błąd... nie dodałem konfiguracji w obu plikach..

sorki za problem

Pozdrawiam

[piotrek]

Kid: skoro tak bardzo martwiłeś się o to czy inni sobie poradzą mogłeś zainstalować u siebie Łapacza i opisać krok po kroku co należy zrobić - o wiele przydatniejsze by to było niż te Twoje aktualne, nie wnoszące do dyskusji nic istotnego "wstawki"...

jestemradek: udanego łapania bootów

polecam ponownie pobrać skrypt - wprowadziłem kolejną zmianę dodając do kodu funkcję die('bye, bye'); i opcję blokowania konkretnych botów z poziomu menu administracyjnego...

aby zablokować robota wystarczy nacisnąć edytuj i wybrać "blokuj", następnie zapisać

tą blokadę powinno się traktować jako chwilową (wstępną czy awaryjną), aby wykluczyć na stałe konkretne roboty, zakresy IP czy hosty sugeruję używać .htaccess

[nrm]

piotrek: milo miec racje prawda?

kid daj sobie juz spokój z tym dogadywaniem. zarówno wtedy jak i teraz problemy dotyczą tego, że userzy (w tym ty) mają za mały zasób wiedzy aby wykorzystać narzędzie. Opis Piotrka uważam za wystarczający i nawet jeśli jego tok myslenia/pisania miałby mi nieodpowiadac to puknty w stylu: dodaj tabele do bazy, dopisz dane w configu, dołącz do strony są wystarczające i czytelne.

darowanemu koniowi...

[piotrek]

coś mi jeszcze nie pasuje z tymi blokadami ale nic, zostawiam tą opcję, gdyby ktoś chciał przetestować, że blokada blokuje należy założyć jakieś wyrażenie agenta np. ^wyrazenie_testowe$ i nadać mu "blokuj"

następnie wrzucić na serwer i uruchomić plik zawierający poniższy kod PHP

<?
ini_set(user_agent, 'wyrazenie_testowe'); 
$url = fopen ("https://adres_twojej_strony", "r");
while ($buff = fread ($url, 1024))
$txt .= $buff;
fclose ($url);
echo "$txt";
?>

zamiast strony powinno wyświetlić się samo "bye, bye..."

[jestemradek]

ogólnie łapacz jest fajny....

ale można dodać jeszcze pare świetnych funkcji <lol>

chodzi mi o statystyki dla konkretnego wyrażenia oraz dla wszystkich wyrażeń razem.. a może z czasem to nawet dla kilku wybranych wyrażeń..... tzn zaznaczając fajkami wybierałoby się, które mają być brane pod uwagę podczas generowania wykresu...

ii mogłyby być takie wykresy:

statystyka dobowa - pokazuje ile robotów na godzine... widać 24 ostatnie godziny...

tygodniowa - pokazuje ostatnie 7 dni

miesięczna - pokazuje ostatnie 12 miesięcy...

ostatnie 30 dni

ktoś w ogóle poznaje skąd te wykresy??

Piotrek napisz czy w ogóle będziesz miał ochotę zrobić coś takiego

a może uważasz, że to nie jest dobry pomysł... albo zbyt trudny i pracochłonny do zrealizowania...

czekam na odp..

Pozdrawiam

jestemradek

[piotrek]

pewnie, że będę rozbudowywał skrypt o rozmaite elementy bo sam z niego korzystam i chce mieć wszystko w jednym wykresy będą dopiero jak przestudiuję biblioteki GD natomiast najważniejsze dla mnie są teraz dwa elementy:

1) możliwość monitorowania wielu serwisów za pomocą jednego panelu

2) możliwość śledzenia wejść z konkretnych domen oraz wyodrębnianie słów kluczowych z refererów wyszukiwarek - to dla tych którzy zamierzają śledzić Internautów

trzeba będzie chyba też dodać pole wyboru przy każdym agencie "robot wyszukiwarki | inny robot | przeglądarka" i wyodrębnić konfigurację do osobnego pliku... a potem można trzaskać wykresy i wszelkie statystyki

nie potrafię określić terminu, ale dam znać o poprawkach na forum

[jestemradek]

monitorowanie kliku serwisów w jednym panelu to byłby bajer :P

fajnie by było jakby można było śledzić konkretnego gościa... skąd przyszedł i po jakich postronach buszuje... tylko, żeby to było jakoś wyodrębnione.. a nie wszystko na kupe

[EDDY]

Piotrek, czyżbyś pisał własne statystyki?

[piotrek]

a nie wszystko na kupe

wiem, wiem, widzę co się dzieje przy dużej oglądalności... będzie jeszcze większy misz-masz jak dojdzie śledzenie wielu serwisów ale jakoś postaram się to ogarnąć żeby menu było klarowne

edit: co do śledzenia poszczególnego Internauty już teraz możesz użyć linku "sesja" jeśli tylko masz właczone badanie wyrażeń regularnych dla przeglądarek

Piotrek, czyżbyś pisał własne statystyki?

kto wie jak dojdzie kilka elementów to Łapacz może się przyjąć jako dodatkowe statystyki montowane do serwisów

[melassa]

Piotrze to jest mega wypas do systemu statystyk

Dobrze ze dodales opcje blokowania robotow bardzo mi to pomoze