Дата изменения документа

Выше мы уже говорили об HTTP-заголовках. А сейчас остановимся подроб­нее на одном из них.

В стандарте протокола HTTP существует специальный запрос с заголовком If-modified-Since. Если поисковый робот делает такой запрос к серверу, на котором находится ваш сайт, это означает, что он обращается к серверу с "прось­бой" выдать страницу только в том случае, если она изменялась после заданной даты.

Если на странице не было никаких изменений за указанный срок, то сервер посылает ответ 304 Not Modified (документ не изменялся) и саму страницу не выдает. Робот тогда вправе оставить в индексе старую копию документа и сможет уделить больше внимания новым документам и документам с измене­ниями. В случае статических адресов страниц веб-сервер может сам правильно обработать такие запросы. Когда же страницы динамически формируются сер­верными скриптами, сервер самостоятельно не может определить, вносились ли в документ изменения или нет. В этом случае нужно программировать скрип­ты так, чтобы запросы обрабатывались программно для каждой формируемой страницы.

Корректная обработка запросов с датами изменений документов актуальна для сайтов с большим количеством страниц и позволяет направлять роботов на новые и обновленные документы. Тем не менее этим методом следует пользо­ваться с осторожностью, поскольку алгоритмы работы разных поисковых сис­тем могут существенно отличаться, и, перефразируя известное изречение, мож­но сказать: "Что для Google хорошо, то для Яндекса — плохо".