Возникновение спамдексинга, или спам мета-тегов

История поискового спама идет бок о бок с историей развития поисковых систем. С того момента, когда поисковые системы стали "источником" посети­телей, владельцы сайтов постоянно пытаются решить задачу, каким образом можно заполучить максимальное количество целевых посетителей из результа­тов поиска при минимальных затратах.

Способ ее решения очевиден — сделать так, чтобы в результатах поиска ссылка на сайт оказалась в первой десятке поисковой выдачи. Лучше — в пер­вой тройке, еще лучше — самой первой...

Проблема лишь в том, как этого добиться, не обманывая поисковую систему, т.е. таким образом, чтобы информация, предлагаемая на странице, куда посети­тель перейдет по ссылке из результатов поиска, была действительно отличным ответом на его поисковый запрос. Такой результат поисковые системы могут только приветствовать — ибо это и есть цель их работы.

Граница между поисковой оптимизацией и спамом проходит через мнение пользователей, которые ищут информацию. Модераторы поисковиков, анали­зируя спорные случаи, стараются представить себя именно на месте пользова­теля. Поэтому главный критерий, руководствуясь которым модератор выносит решение об исключении сайта из индекса, — сделано не для пользователей.

Если на сайте есть элементы текста и кода, о которых можно однозначно ска­зать, что они сделаны не для пользователей, — сайт будет забанен. Если требо­вание "для пользователя" выполнено — сайт останется в индексе, несмотря на наличие приемов продвижения на его страницах.

Перейдем к конкретным примерам, оценивая каждый случай с точки зрения пользователей.

Первым приемом поискового спама было заполнение содержимого мета-тегов <meta keywords content="ключевые слова"> словами, несоответству­ющими содержимому веб-страницы. Поисковые системы в 1996-1998 гг. дейс­твовали по следующему алгоритму:

• индексировали содержимое тега <meta keywords...>;
  • искали совпадение ключевых слов запроса со словами, находящимися в этом теге, и выдавали ссылки на страницы в результатах поиска.

Естественно, текст страниц также индексировался и учитывался, но вес у текста в мета-тегах был довольно высоким.

Таким образом, на странице о веб-дизайне можно было "прописать" в теге <meta keywords...> слово, например "халява", и ссылка на эту страницу появ­лялась в результатах поиска по запросу халява. В качестве слов для заполнения спамеры использовали наиболее популярные поисковые запросы: порно, секс, эротика, халява, работа, веб-дизайн, вакансии...

Содержимое мета-тегов не видно при просмотре веб-страницы, поэтому поль­зователи переходили по ссылкам в результатах поиска и... видели страницы, совершенно не соответствующие содержанию своих запросов. Пользователь за­прашивал "работу", а в ответ получал ссылки на страницы, описывающие веб-дизайн, халяву, эротику и т.п.

Технологии поискового спама распространяются очень быстро. За короткое время мета-теги большинства сайтов оказались заполнены фактически одним и тем же набором высокочастотных ключевых слов. Это привело к закономер­ному результату — полному уничтожению релевантности поисковой выдачи.

Это было первое столкновение интересов владельцев сайтов с интересами раз­работчиков поисковых машин. Запретить вебмастерам использовать не относя­щиеся к теме сайта ключевые слова в мета-тегах было невозможно — вебмасте­ров слишком много и поисковикам они не подчиняются, а забанитъ большинс­тво сайтов — тоже.

Выход был найден в отказе от использования содержимого мета-тегов для отбора сайтов поисковой выдачи. Поисковые системы стали учитывать только содержание текстов веб-страниц, т.е. именно ту информацию, которую видят пользователи, просматривая сайты.

Это привело к новому этапу развития поискового спама.