인터넷의 방랑자 웹 로봇(Web Bot)

웹 로봇(Web Bot)이란 무엇인가?

로봇이란 자동적으로 웹의 하이퍼텍스트 구조를 따라 다니며 문서를 추출하고, 재귀적으로 그 문서에서 참조되는 다른 문서들을 추출하는 식으로 동작하는 프로그램이다.

여기서 "재귀적"으로 동작한다는 것이 따라다니는 알고리듬이 재귀적이라는 뜻이 아니다. 약간의 휴리스틱으로 문서를 선택하는 순서가 달라질 수 있지만 그래도 그것 역시 로봇이라 할 수 있다.

보통 웹브라우져는 로봇이 아니다. 왜냐하면 그것들은 매번 링크를 따라 다닐 때마다 사람이 작동시키기 때문이다. 로봇은 자동으로 링크를 따라다니는 프로그램을 말한다.

 

웹 로봅은 보통 웹 방랑자(Wanderer), 기어다니는 것(Crawler), 혹은 스파이더(Spider, 거미)로 불리기도 한다.

이 이름 때문에 소프트웨어 자체가 바이러스처럼 돌아다니는 것으로 오해를 사는 경우가 있는데, 그렇지 않다. 로봇 프로그램 자체는 한곳에 머물러 있고, 단지 서로 다른 사이트로부터 문서를 읽으올 따름이다.

쉽게 말하면 검색엔진 자체를 웹 Bot라 불려도 무방할듯 싶군요.


웹 로봇 이름들..

이올린 : Mozilla/4.0 (compatible; Eolin)
야후 : Mozilla/5.0 (compatible; Yahoo! Slurp;
http://help.yahoo.com/help/us/ysearch/slurp)
올블로그 : Allblog.net RssSync4 (I Love Bluecat)
MSN : msnbot/1.0 (+http://search.msn.com/msnbot.htm)
Naver : Mozilla/4.0 (compatible; NaverBot/1.0;
http://help.naver.com/delete_main.asp)
Naver : Yeti/1.0 (NHN Corp.; http://help.naver.com/robots/)
Colcol : [Colcol.net]ColFeed(V5.0)
다음 : Mozilla/5.0 (compatible; Firefox mutant; +http://ws.daum.net/aboutkr.html)
Daumoa/2.0
Lijit : Lijit Crawler (+http://www.lijit.com/robot/crawler)
Goolgle : Mediapartners-Google

알수없는 로봇들
xMind/0.5
newmoni
libwww-perl/5.53 ~ libwww-perl/5.819
Lynx/2.8.4rel.1 libwww-FM/2.14 SSL-MM/1.4.1 GNUTLS/0.8.6
Java/1.6.0_06
Java1.4.0_01
lgjmd n wwfiaf99a iowd9yhmcofokc
larbin_2.6.3 larbin2.6.3@unspecified.mail
libcurl-agent/1.0
KDDI-KC31 UP.Browser/6.2.0.5 (GUI) MMP/2.0

이 외에도 인터넷에는 수많은 봇이 있을수 있습니다.