Обработка информации о датах

Для каждой страницы должна указываться дата ее создания или изменения, причем эта дата должна использоваться не только как время публикации ново­сти, но и как служебная информация при обмене данными между веб-сервером и клиентом (браузерами пользователей и поисковыми роботами).

При правильной работе веб-сервера и клиента — строго по стандарту, — если клиент уже забирал страницу и после этого страница не изменялась, то при пов­торном запросе той же страницы от того же клиента веб-сервер может просто вернуть специальную служебную информацию и не отправлять повторно саму страницу.

Таким образом, при большом количестве страниц на сайте снижается на­грузка на сервер и уменьшается исходящий трафик. Роботы поисковых систем не запрашивают одну и ту же страницу по многу раз, а обращаются к новым или изменившимся страницам.

На практике, как обычно, все не так просто. Роботы разных поисковых сис­тем по-разному работают с датами изменения страниц. А в некоторых поиско­вых системах даже корректная работа сервера с датами может привести к недо-индексации — снижению количества запрашиваемых роботом страниц!

Это связано с тем, что чем выше доля неизменных страниц, тем меньше, по мнению поисковой системы, изменяется сайт. А статичные сайты индексиру­ются реже, чтобы сэкономить ресурсы поисковой системы.