Определения и терминология поисковых роботов

В английском языке существует несколько вариантов названий поисковых роботов: robots, web bots, crawlers, spiders; в русском языке фактически при­жился один термин — роботы, или сокращенно — боты.

На сайте www. robot stxt. org дается следующее определение роботам:

"Веб-робот — это программа, которая обходит гипертекстовую структу­ру WWW, рекурсивно запрашивая и извлекая документы".

Ключевое слово в этом определении — рекурсивно, т.е. имеется в виду, что после получения документа робот будет запрашивать документы по ссылкам из него и т.д.