Дата изменения страницы

Чем чаще на вашем сайте изменяется информация и добавляются новые стра­ницы, тем чаще будет приходить на сайт робот поисковой машины. Допустим, мы знаем, что на сайте есть страницы, которые не изменились (например, архив новостей), и есть обновленные страницы или совсем новые. Нам важно, чтобы поисковик проиндексировал свежие страницы, а старые лишний раз не скачи­вал. Но поисковая машина не знает того, что знаем мы.

Чтобы понять, изменилась ли страница с момента последнего визита робота, поисковик должен ее заново скачать к себе и сравнить с предыдущей версией. Если страница содержит значимые изменения, то ее копия в индексе заменяет­ся новой, если нет, то в индексе остается ранее скачанный вариант. Получается, что робот занят скачиванием не изменившихся страниц, а на новые у него не хватает времени. Кроме того, что в индекс не попадают новые страницы, боль­шие сайты могут столкнуться с еще одной проблемой — неоправданной нагруз­кой на сервер. Для того чтобы избежать этого, можно настроить на сервере обра­ботку даты создания и изменения страниц. Если такая настройка включена, то при запросе поискового робота какой-то страницы сервер будет сообщать роботу дату последнего изменения этой страницы. Тогда те страницы, которые не были изменены с даты прошлого прихода робота, не будут скачиваться еще раз, а ро­бот будет больше уделять внимания новым или изменившимся страницам.

О том, как настроить обработку даты изменения страницы, мы расскажем ниже.