Имена роботов

Большинство поисковых роботов имеют свое уникальное имя (кроме тех ро­ботов, которые по каким-то причинам маскируются под пользовательские бра­узеры).

Имя робота можно увидеть в поле User-agent серверных лог-файлов, отчетах систем серверных статистик, а также на страницах помощи поисковых систем.

Так, робота Яндекса собирательно называют Yandex, робота Рамблера — StackRambler, робота Yahoo! — Slurp и т.д. Даже пользовательские программы, собирающие контент для последующего просмотра, могут специальным обра­зом представляться с помощью информации в поле User-agent.

Кроме имени робота, в поле User-agent может находиться больше информа­ции: версия робота, предназначение и адрес страницы с дополнительной инфор­мацией. Приведем в качестве примера полное имя робота Google (рис. АЛ)

Mazilla/5.0 (compatible/ Gooqlebot/2.1; +http г//ww. google * com/hot-html)

совместимость                имя  версия дополнительная информация

Структура полного имени робота Google