Клоакинг по User-agent

User-agent (в переводе с англ. пользовательский агент) — это одно из слу­жебных полей, которое передается серверу от браузера или другой программы вместе с запросом на получение страницы. Если это человек, просматривающий сайт, то его User-agent — это его браузер, соответственно в поле User-agent будет отображаться название браузера. Если это поисковый робот, то поле User-agent будет содержать название или идентификатор поисковика.

Метод клоакинга по User-agent — это самый простой метод, основанный на проверке данных в поле User-agent, где при запросе в большинстве случаев пе­редается имя робота и некоторые дополнительные данные.

Вот примеры данных в User-agent для некоторых поисковых роботов:

• Mozilla/5.0   (compatible; Googlebot/2.1;  +http://www.google. com/bot.html)
• Yandex/1.01.001   (compatible; Winl6;  I)
• Mozilla/5.0   (compatible;   Yahoo!   Slurp;   http://help.yahoo. com/help/us/ysearch/slurp)

У скрипта, выполняющего подмену "пользовательского содержания" на текст для роботов, есть словарь таких строк агентов. Чаще используется даже словарь подстрок (частей записи). Если искомая подстрока есть в поле User-agent программы, запрашивающей страницу, то скрипт выдает оптимизиро­ванную страницу. Скрипт может выдавать всем роботам один и тот же текст, а может выдавать каждому роботу свою страницу, оптимизированную специ­ально для него.

Такой клоакинг довольно просто "отловить". Для этого достаточно, чтобы разработчики поисковика или пользователи с помощью специальных программ или расширений к браузерам представились при запросе страницы роботом, т.е. следует поместить в поле User-agent название поискового робота. В итоге на экране вместо обычной страницы загрузится "оптимизированная" страница, потому что скрипт на сайте примет вас за робота.

Подробнее строка User-agent для разных поисковых роботов описана в при­ложении А "Роботы поисковых систем".