Управление роботами

Как же вебмастер может управлять поведением поисковых роботов на своем сайте?

Как уже было сказано выше, в 1994 году в результате открытых дебатов вебмас­теров был разработан специальный протокол исключений для роботов. До насто­ящего времени этот протокол так и не стал стандартом, который обязаны соблю­дать все без исключения роботы, оставшись лишь в статусе строгих рекомендаций. Не существует инстанции, куда можно пожаловаться на робота, не соблюдающего правила исключений, можно лишь запретить доступ к сайту уже с помощью на­строек веб-сервера или сетевых интерфейсов для IP-адресов, с которых "неинтел­лигентный" робот отсылал свои запросы.

Однако роботы крупных поисковых систем соблюдают правила исключений, более того, вносят в них свои расширения.

Об инструкциях специального файла robots . txt и о специальном мета-теге robots подробно рассказывалось в главе 6 "Как сделать сайт доступным для по­исковых систем".

С помощью дополнительных инструкций Brobots.txt, которых нет в стан­дарте, некоторые поисковые системы позволяют более гибко управлять поведе­нием своих роботов. Так, с помощью инструкции Crawl-delay вебмастер может устанавливать временной промежуток между последовательными запросами двух документов для роботов Yahoo! и MSN, а с помощью инструкции Host ука­зать адрес основного зеркала сайта для Яндекса. Однако работать с нестандарт­ными инструкциями в robots . txt следует очень осторожно, поскольку робот другой поисковой системы может проигнорировать не только непонятную ему инструкцию, но и весь набор правил, связанных с ней.

Управлять посещениями поисковых роботов можно и косвенно, например, робот поисковой системы Google чаще будет повторно забирать те документы, на которые много ссылаются с других сайтов.

Выводы

Роботы — необходимая и очень важная составная часть поисковых систем. Если представить поисковую систему как "черный ящик", где выдача результа­тов поиска — это "выход" системы, то поисковые роботы — это "вход", на кото­рый поступают документы.

Если грамотно подавать свои страницы на этот "вход", управляя поведением поискового робота, можно добиться лучших результатов индексации — перио­дичности, полноты и лучшего ранжирования.

Полезные ссылки

1. Принципы функционирования и описания работы поисковых роботов важно изучать из первоисточников. Мы советуем читать материалы разделов помощи на сайтах по­исковиков. Ответы на вопросы о работе поискового робота Яндекса доступны по адре­су http://webmaster.yandex.ru/faq.xml?id=502499.
2. Материал "Как управлять индексированием сайта роботом Рамблера" вы найдете по адресу http://www.rambler.ru/doc/robots.shtml.
3. Ответы на некоторые вопросы, связанные с индексированием сайта и работой Google-бота, читайте на сайте http://www.google.ru/support/bin/topic. py?topic=365.