robot - crawler

[intruder2600]

czym roznia sie roboty od crawlerów?

ja przypuszczam ze jeden jest do indeksacji stron a drugi linków ale pewnie zle przypuszczam :]

[szy]

czym roznia sie roboty od crawlerów?

ja przypuszczam ze jeden jest do indeksacji stron a drugi linków ale pewnie zle przypuszczam :]

Robot, crawler, spider, *bot, etc. to jedno i to samo - po prostu efekt pracującego gdzies tam w Sieci skryptu, w naszym przypadku indeksującego zawartość stron internetowych.

Żadna z tych nazw według mnie nie jest oznaczeniem czegoś ściśle określonego i wyspecjalizowanego, w sensie: 'crawler ma trzy nogi' a 'spider ma jedno oko'.

I oczywiście żaden robot, crlawler nie istnieje, a jedynie dany skrypt indeksujący łączy się z daną stroną, tak jak robimy to my nasża przeglądarką. Ale wierzę, że na tym forum to sprawa oczywista.

Szy.

PS. Jakoś mnie te święta wk*.

[pneuma]

Jest taka stronka:

https://www.robotstxt.org/wc/robots.html

tam tłumaczą że:

So what are Robots, Spiders, Web Crawlers, Worms, Ants

They're all names for the same sort of thing, with slightly different connotations:

Robots

    the generic name, see above. 

Spiders

    same as robots, but sounds cooler in the press. 

Worms

    same as robots, although technically a worm is a replicating program, unlike a robot. 

Web crawlers

    same as robots, but note WebCrawler is a specific robot 

WebAnts

    distributed cooperating robots.

[intruder2600]

acha czyli jeden robocik kosi wszystko - sprytne

[zYm3N]

czyli robot.. hm... nadzbiór ?

[jez]

'crawler ma trzy nogi', 'spider ma jedno oko'

- SPYTAJ MOJEGO IDOLA, albo odwiedź jego stronę.

Pozdrawiam, J.

[Oxygene]

https://www.ssi.civ.pl/data/crawler.php

(ang. CRAWL - czołgać się; SPIDER - pająk; roBOT - robot, automat) - program, który odwiedza każdą stronę internetową, "czyta" informacje na niej zawarte po to, by zindeksować je w wyszukiwarce internetowej. Crawler przegląda głównie nowe lub uaktualnione strony. Regularnie odwiedza całe witryny lub poszczególne podstrony, by zaktualizować dane w wyszukiwarce.

Zbiór zasad, jakimi powinny się sugerować programy typu crawler są opisane w Standard for Robot Exclusion (SRE). Reguły je mówią, które dane nie powinny być indeksowane - np. pliki odpowiedzialne za pracę serwera, tajne dane, dane zabezpieczone firewallem itp. Bardziej zaawansowane spidery potrafią dostosować swój czas pracy do okresu najmniejszego ruchu na przeszukiwanych stronach.

Przykładem robota w wyszukiwarce Altavista jest Scooter.

Ponieważ ostatnio spotkałem się jeszcze z kilkoma innymi nazwami tegoż samegoo trzynogiego, jednookiego tworu, wkrótce zamieszczę inne nazwy