Nowa wyszukiwarka...

[ProWeb2]

ciao...

Ostatnio z nudow, i dzieki mojej znajomosci PHP, udalo mi sie zrobic robota ktora odwiedza strony internetowe i pobiera z niej linki, indeksuje strone, copiuje jej zawartosc. Czyli cos takiego jak google.

Moze pobierac tez anchory i wtedy zasady pozycjonowanie by byly takie same jak na google. Czyli... czym wiecej linkow do danej strony pod dane slowo tym wyzej strona sie znajduje na slowie.

Lecz wedlug mnie ten system nie jest doskonaly, bo mozna oszukac google i znalesc sie pod slowami ktore cie nie dotycza.

Moje pytania...

Czy znacie lepszy sposob rozpoznawania strony? niz linki do niej?

[Matys]

Fachowcy z Googla pracują nad tym latami.

Nie da się zrobić dobrej wyszukiwarki "z nudów".

Pozdrawiam

Matys

[Dżyszla]

Jak narazie to nic nie zastąpi człowieka. A chyba takimi najpewniejszymi algorytmami byłyby dość skomplikowane reguły w oparciu o algorytmy genetyczne. Najlepiej, żeby praca robota była z początku kontrolowana przez człowieka, a program uczył by się w ten sposób rozpoznawać.

No, to do dzieła!

[ProWeb2]

Znalezlem jeden sposob... Jak uda mi sie go wykonac... Od razu wam o nim napisze.

[anarchy]

Jak narazie to nic nie zastąpi człowieka. A chyba takimi najpewniejszymi algorytmami byłyby dość skomplikowane reguły w oparciu o algorytmy genetyczne. Najlepiej, żeby praca robota była z początku kontrolowana przez człowieka, a program uczył by się w ten sposób rozpoznawać.

A czy nie lepiej byłoby skorzystać ze zbiorów rozproszonych i sieci neuronowych

[EDDY]

Ja robię wyszukiwarkę tematyczną. Będę indeksować wybrane strony i przydzielał je katalogował. Później znalezienie czegoś będzie bardzo proste i szybkie na wielu stronach jednocześnie.

Dziś machnąłem pierwszą porcję stron, 66 MB:))

[ProWeb2]

Ja robię wyszukiwarkę tematyczną. Będę indeksować wybrane strony i przydzielał je katalogował. Później znalezienie czegoś będzie bardzo proste i szybkie na wielu stronach jednocześnie.

Dziś machnąłem pierwszą porcję stron, 66 MB:))

Strony bedziesz sam wybieral czy system bedzie rozpoznawal tresc strony i dodawal je do odpowiedniej kategorii?

[ProWeb2]

Fachowcy z Googla pracują nad tym latami.

czasem tak bywa że najlepsi fachowcy pracują nad czymś latami a tu nagle jakiś nastolatek z nudów albo przypadkowo wymyśli jakąś super rzecz

Nastolatkiem bylem 2 lata temu...

Pozwole tez sie okreslic fachowcem skoro pracuje dla bankow, tworzac ich systemy w internecie

[intruder2600]

Nastolatkiem bylem 2 lata temu...

Pozwole tez sie okreslic fachowcem skoro pracuje dla bankow, tworzac ich systemy w internecie

i dokladnie nie poddawaj sie, moje wskazówki,

- jedyna (jak dotad) skuteczna metoda jest analiza linków i link popularity

- robot indeksujacy musi "oczyscic" kod strony ze wszystkich "znaczków", wybrac sam tekst i na podstawie jego oceniac strone pod wzgledem slow kluczowych,

- pomysl nad mechanizmem który wykrywa spam typu DIV z tekstem przesuniety o 5000 pix w lewo, ukryty DIV, tekst w kolorze tla itp

jak zrobisz cos takiego i bedzie spokojnie smigal, zliczalo linki to masz moje slowa uznania

pozwodzenia

[EDDY]

Nie chcę robić jednej wyszukiwarki, ale raczej kilka tematycznych, do których dodawałbym wybrane przez siebie strony (indeksował ich zawartość).

Mój pierwszy beta projekt będzie mieć ~1.5 GB bazę, a to ledwie 4 strony zaindeksowane. Już mam 105 MB, 2.5 mln rekordów:)))

[ProWeb2]

Nastolatkiem bylem 2 lata temu...

Pozwole tez sie okreslic fachowcem skoro pracuje dla bankow, tworzac ich systemy w internecie

i dokladnie nie poddawaj sie, moje wskazówki,

- jedyna (jak dotad) skuteczna metoda jest analiza linków i link popularity

- robot indeksujacy musi "oczyscic" kod strony ze wszystkich "znaczków", wybrac sam tekst i na podstawie jego oceniac strone pod wzgledem slow kluczowych,

- pomysl nad mechanizmem który wykrywa spam typu DIV z tekstem przesuniety o 5000 pix w lewo, ukryty DIV, tekst w kolorze tla itp

jak zrobisz cos takiego i bedzie spokojnie smigal, zliczalo linki to masz moje slowa uznania

pozwodzenia

Wedlug mnie nie, w internecie sie szuka informacji zazwyczaj, a jesli strona nalezy do wielkich korporacji to moze ja wypromowac jak chce.

Moj system bedzie badac zawartosc strony, zawartosc stron linkujacych, i zawartosc stron do ktorych dana strona linkuje. Oczywiscie jesli to bedzie postrona lub subdomena bedzie mialo minimalne znaczenie. System bedzie rozroznic strony po jej adresie (www.examples.com). Link popularity bedzie mial 2 rzedne znaczenie.

W takim przypadku bedzie trudniej wypozycjonowac strone niz w google. i uzytkownik znajdzie to co poszukuje. informacji a nie nastepnej strony o dzwonkach

[intruder2600]

Moj system bedzie badac zawartosc strony, zawartosc stron linkujacych, i zawartosc stron do ktorych dana strona linkuje.

czyli dokladnie tak jak mysle

System bedzie rozroznic strony po jej adresie (www.examples.com). Link popularity bedzie mial 2 rzedne znaczenie. Smile

tak raczej nie rob - ktos moze np. kupic domene nokia6100.waw.pl (przykladowo) i tam postawic loga, dzownki a cenna strona z informacjami o tym telefonie bedzie miala inny adres i mimo wiekszej przydatnosci bedzie nizej

system taki jak w google jest sprawdzony i narazie nikt nie wymyslil nic lepszego - jedyna rzecz która szukajka moglaby sie wybic to system wykrywania i karania spamu - a to juz nie jest proste (nawet google sobie z tym nie radzi i w 90% indeksuje jak leci wszystko)

ja myslalem jeszcze o czyms takim jak klikohit ale inaczej - uzytkownik moze (ale nie musi) oddac glos na kazda z wyszukiwanych stron ale - moze to zrobic tylko raz dla jednej strony - i to nie byloby latwe - musialoby zapamietywac IP i jakos radzic sobie z nabijaniem glosów za pomoca neostrady

ja bym szedl w tym kierunku bo np. ktos wejdzie na strone, uzna ze jest nie cuiekawa da jej niska note i strona straci iles tam punktów przez co poleci nizej, za to strona slabo pozycjonowana jak bedzie ciekawa i dostanie pozytywne glosy poleci w góre

ile razy mi sie marzylo zeby bylo cos takiego w google jak wpisalem jakas fraze a w wynikach otrzymalem serwisy erotyczne :?

[beha]

Pozwole tez sie okreslic fachowcem

Fachowcy to w Polsce zmora, już miałem do czynienia w życiu z kilkunastoma jak to się sami nazywali "fachowcami" a wykładali się na najprostszych rzeczach. (ale to nic do Ciebie ).

A pomysł tworzenia wyszukiwarki, czemu nie. Założyciele google też na początku nie mieli prewnie zbyt wielu funduszy, a jednak im sie udało.

Też od dłuższego czasu tworzę maly system indeksujący strony (w c++) i analizujący pozycję na podstawie zawartości, gorzej jest z możliwościami gigantycznego transferu... i szybkości indeksowania stron (łącze i moc procesorów)

[gofer]

Założyciele google też na początku nie mieli prewnie zbyt wielu funduszy, a jednak im sie udało.

właśnie o to chodzi że mieli

[beha]

właśnie o to chodzi że mieli

O ile kiedyś czytałem, to "nie mieli", fundusze z mozołem zbierali po rodzinie i na uczelni