Файл robots.txt

Файл robots . txt предназначен для хранения инструкций по индексирова­нию сайта поисковыми роботами. Этот файл располагается в корневой директо­рии сайта и запрашивается каждый раз при обращении робота к сайту.

Суть записей в этом файле проста — указываем кому и что запрещено индек­сировать на сайте. Инструкций для разрешения индексации в файле robots. txt не предусмотрено, поэтому отсутствие этого файла на сайте означает, что будут индексироваться все встречаемые роботом страницы. Вот простейший пример со­держимого файла robots. txt:

User-agent: StackRambler Disallow:  /cgi-bin/

Эти две строки означают, что поисковому роботу Рамблера запрещено индек­сировать любые файлы в директории cgi-bin. Так как эти инструкции предна­значены только для робота Рамблера, значит, все остальные поисковики будут индексировать все, в том числе и директорию cgi-bin.

Как видно в этом примере, с помощью файла robots . txt можно запретить индексацию целой группы страниц, а не только одной. В конце главы вы найде­те дополнительные ссылки, по которым находятся подробные рекомендации по использованию файла robots, txt.