wlasny robocik

[d4b]

Moze troche nietypowe ale zapytam sie czy nie znacie jakis "skryptow" ktore sa robotami se i chodza po stronach - intersowalby mnie taki sofcik ktorego pole dzialania mozna ograniczyc tylko do jednej domeny i jej subdomen.

taki pajaczek chodzilby sobie po moich stronkach i je indexowal podobnie jak kazdyinny robot na swiecie.

pozdrowionka

[an2]

calkiem fajny pomysl..

moze zacznie sie walka na ..ROBOTY> & <PAJAKI.. !! 8) ..niech sie wygryza.

Widzialam gdzies na polskich stronkach szczatkowe skrypty, szkoda ze nie pamietam juz adresu.

moze bysmy popracowali nad takim pajakiem klikohit ktory by dzialal w tle, kazdy by go sobie zainstalowal na forum powiedzmy dostanie go w prezencie :twisted:

ciagle bysmy go aktualizowali o wartosci zapytan i linkow po ktorych ma posuwac np. w WP

i mieli bysmy niezle pozycje

[michal]

Napisanie takiego skryptu nie jest problemem, mozna to zrobic nawet w kilku linijkach, ale pytanie jest w jakim celu chcialbys to zrobic. Indeksowal w jakim celu?

Jezeli chodzi o zrobienie wyszukiwarki, ktora ma tylko strony z Twojego serwisu to polecam gotowe rozwiazanie: https://www.xav.com/scripts/search/

[Coroner]

A moze pora rozpoczac prace nad nasza wyszukiwarka? Dla googla nie bylibysmy konkurencja:) Ale pewnie przy "odrobinie" pracy mozna by niezle namieszac w spokojnym swiatku wyszukiwarek krajowych:)

wiem wiem - marzenia ale nie moglem sie powstrzymac. Bo moze ktos chetny sie znajdzie?

[michal]

mozna by nad tym pomyslec, o ile znajdzie sie wystarczajaca ilosc chetnych i umiejetnych osob.

[Coroner]

mozna by nad tym pomyslec, o ile znajdzie sie wystarczajaca ilosc chetnych i umiejetnych osob.  

Ok - ja jestem chetny

Umiejetnosci - programistyczne - podstawowy poziom ale marketing, reklama to juz znacznie lepiej. No i oczywiscie, czego nie mozna pominac, przesiaduje w sieci prawie cala dobe:) i bralem juz udzial w powstawaniu kilku duzych projektow ( referencje na prv )

Brakuje nam jeszcze - programisty(ow) i grafika - oraz masy testerow;) Z tym ostatnim widze ze nie bedzie problemow:)

A jesli cos z tego wyjdzie - to robot/wyszukiwarka bedzie odporny na rozne sposoby oszukiwania:)

to jak - zaczynamy?

[piotrek]

nie znacie jakis "skryptow" ktore sa robotami se i chodza po stronach

Dodatkowy sofcik nie jest potrzebny - wystarczy że dodasz fragment kodu do każdej z podstron

$gdzie_jest_gosc = $_SERVER[REQUEST_URI];



if ( mysql_num_rows(mysql_query("SELECT * FROM podstrony WHERE adres='$gdzie_jest_gosc'")) == 1) {



mysql_query("update podstrony SET odslon=odslon+1 WHERE adres='$gdzie_jest_gosc'");



} else {



mysql_query("insert into podstrony VALUES ('$gdzie_jest_gosc', '1')");



}

załóż sobie do tego tabelę któa składa się z pól adres oraz odslon taki skrypt liczy Ci statystyki podstron, możesz dopiąć do niego też system REFERER i będziesz wiedział skąd i dokąd klikają po Twoim serwisie tylko czy to wogóle do czegoś potrzebne

Ale może to służyć jako automatycznie generowana mapa linków strony w serwisie z dynamicznie generowanymi podstronami... ale napisałem

wiem wiem - marzenia  ale nie moglem sie powstrzymac. Bo moze ktos chetny sie znajdzie

Ja już robiłem pierwsze testy nad małym silniczkiem ale nie mam na tyle czasu żeby to rozwijać i pojawiło się za dużo błędów

[d4b]

nie znacie jakis "skryptow" ktore sa robotami se i chodza po stronach

Dodatkowy sofcik nie jest potrzebny - wystarczy że dodasz fragment kodu do każdej z podstron

$gdzie_jest_gosc = $_SERVER[REQUEST_URI];



if ( mysql_num_rows(mysql_query("SELECT * FROM podstrony WHERE adres='$gdzie_jest_gosc'")) == 1) {



mysql_query("update podstrony SET odslon=odslon+1 WHERE adres='$gdzie_jest_gosc'");



} else {



mysql_query("insert into podstrony VALUES ('$gdzie_jest_gosc', '1')");



}

załóż sobie do tego tabelę któa składa się z pól adres oraz odslon taki skrypt liczy Ci statystyki podstron, możesz dopiąć do niego też system REFERER i będziesz wiedział skąd i dokąd klikają po Twoim serwisie tylko czy to wogóle do czegoś potrzebne

Ale może to służyć jako automatycznie generowana mapa linków strony w serwisie z dynamicznie generowanymi podstronami... ale napisałem

Jedynie do czego mi sie to przydalo to tak jak napisales - mapa linkow!

Choc przy duzym ruchu obciazaloby mi serwer

Mi chodzi o robota ktory chodzi po zdefiniowanych domenach (tzn ze jesli nie ma zdefiniowanej domeny onet.pl to ja poprostu omija jesli do niej prowadzi link z mojej strony) i uwzglednia meta tagi revist-after i cala tresc strony - analizuje ja sobie chodzi po linkach itd.

Zapisuje to wszystko w bazie ktora bedzie mozna przeszukiwac

[michal]

Cos takiego by pochlanialo bardzo duzo zasobow i watpie zebys mogl takie cudo uruchomic przez przegladarke, raczej shell by byl bardziej odpwiedni. Jezeli chcesz zeby chodzil tylko po domenach wybranych to polecalbym zrobic plik domeny w ktorym umiescisz domeny na ktore chcesz zeby wszedl.

ALe i tak do konca nie rozumiem do czego to ma sluzyc? Czy chcesz sprawdzic kto Ci daje link zwrotny?

[d4b]

moze pracowac w shellu - no problem tylko zeby kilkanascie razy dziennie chodzil po moich stronach i je indexowal

[piotrek]

Poszukaj na hotscripts.com gotowych skryptów wewnętrznych wyszukiwarek. Znajdź sobie taką z wbudowanym robotem indexującym i może uda Ci się zmodyfikować go pod siebie. Niestety nie mam lepszego pomysłu.

[d4b]

dziekuje wszystkim za odpowiedzi

[melassa]

temat z wyszukiwarka bardzo mi sie podoba ale bez wlasnego serwera ani rusz a pozatym chyba tylko w gre wchodzilo by c lub c++ w polaczeniu z BD inaczej to by bylo chyba wolne ??

[zaxxx]

aktualnie robie taka wyszukiwarke indeksujaca.. niestety natrafilem na problem "slamazarnosci" bazy MySQL - chociaz uzywam wyszukiwania dla pol indeksowanych jako FULLTEXT, to... i tak kiszka. Moze ktos ma jakies doswiadczenia w tym temacie?

[marwooj]

https://www.nutch.org/

i dokłądniej

https://www.nutch.org/docs/en/tutorial.html