웹 로봇(Web Bot)이란 무엇인가? 로봇이란 자동적으로 웹의 하이퍼텍스트 구조를 따라 다니며 문서를 추출하고, 재귀적으로 그 문서에서 참조되는 다른 문서들을 추출하는 식으로 동작하는 프로그램이다. 여기서 "재귀적"으로 동작한다는 것이 따라다니는 알고리듬이 재귀적이라는 뜻이 아니다. 약간의 휴리스틱으로 문서를 선택하는 순서가 달라질 수 있지만 그래도 그것 역시 로봇이라 할 수 있다. 보통 웹브라우져는 로봇이 아니다. 왜냐하면 그것들은 매번 링크를 따라 다닐 때마다 사람이 작동시키기 때문이다. 로봇은 자동으로 링크를 따라다니는 프로그램을 말한다. 웹 로봅은 보통 웹 방랑자(Wanderer), 기어다니는 것(Crawler), 혹은 스파이더(Spider, 거미)로 불리기도 한다. 이 이름 때문에 소프트웨어 ..