Управление индексацией сайта

Поведением роботов поисковых систем в пределах сайта можно управлять. Мы рассмотрим лишь некоторые методы управления роботами поисковых систем.

Запрет индексации

Не все страницы на сайте имеет смысл отдавать на индексацию поисковому роботу. Например, если у вас есть форум, то служебные страницы поиска, кар­точек пользователей или списков участников, скорее всего, не будут иметь такой полезной информации, которую кто-то будет искать через поисковик. На форуме есть более важные и интересные страницы с обсуждениями и мнениями участни­ков, — поэтому именно они должны быть проиндексированы в первую очередь.

Второй пример — версии страниц для печати. Вы наверняка видели на мно­гих сайтах, где публикуются статьи или новости, ссылку на версию для печа­ти — это страница с тем же самым текстом, но без навигационных ссылок, рек­ламы и другой лишней информации. Если человек попадет на такую страницу из результатов поиска, он увидит только текст статьи или новости, но не сможет перейти на другие страницы сайта, так как на ней нет меню.

Поэтому такие страницы, примеры которых приведены выше, нужно не по­казывать поисковому роботу, чтобы не засорять его индекс ненужной информа­цией, тем самым обратив его внимание на другие, более важные страницы сай­та. Для этого можно запретить индексацию определенных страниц с помощью специальных инструкция для робота. Инструкции о запрещении индексации размещают или в файле исключений, robots.txt, или в специальном мета-теге, <МЕТА NAME=¹¹ROBOТS¹¹ >. Расскажем об этом подробнее.