Как поисковики обращаются с такими сайтами, могут ли они их индексиро­вать?

Ответ тут простой: если страницы сайта выдаются из базы данных при пере­ходе по ссылкам внутри сайта, то поисковику в принципе все равно, откуда они берутся при подобном переходе. Находится ли страница на сайте или генериру­ется динамически при переходе по ссылке — для индексации неважно. А вот если для получения страницы пользователь должен обязательно ввести какой-то запрос к базе данных, то поисковик таких страниц просто "не видит".

Поясним вышесказанное на примере. Допустим, у вас есть онлайновая эн­циклопедия по фильмам и актерам, содержащая 100 тысяч статей в алфавитном порядке. Конечно, хранить и редактировать такое количество страниц "россы­пью", в виде HTML-файлов, крайне неудобно. Поэтому статьи энциклопедии будут, скорее всего, храниться в базе данных, где их достаточно просто свести в одну таблицу и хранить в нескольких файлах базы данных.

Пусть теперь вы подали свой сайт на индексацию в поисковиках. Если у вас на сайте будет полное оглавление статей энциклопедии, в виде иерархическо­го оглавления (скажем, по буквам алфавита) или в виде простого линейного списка заголовков статей, то поисковик пройдет по этому оглавлению, как по обычным ссылкам, и проиндексирует всю вашу энциклопедию. Сделает он это, скорее всего, не сразу, а в несколько проходов (так как статей много), но в конце концов все статьи энциклопедии попадут в индекс.

Если же у автора сайта не хватило сил и времени сделать такое оглавление для доступа к отдельным статьям энциклопедии (а это большая работа — сде­лать 100 тысяч аккуратных ссылок в том или ином виде), то пользователь смо­жет найти статью только с помощью поиска в базе данных по ключевым словам, входящим в заголовок или тело статьи. Такие средства есть практически в лю­бой базе данных, и вебмастера ими активно пользуются.

Но поисковик — не пользователь, он ведь не будет специально перебирать и подставлять все слова русского языка в окошко для поиска на вашем сайте! Он зайдет на страницу поиска, ссылок на статьи энциклопедии не обнаружит и отправится дальше индексировать Интернет по своему расписанию. Окошко поиска, так называемая форма поиска, не является ссылкой на другие страни­цы и интереса у поисковика не вызовет. Следовательно, в данном случае он про­индексирует только одну страницу — страницу поиска по энциклопедии, а сама энциклопедия останется для него невидимой.

Таким образом, при создании сайта нужно помнить, что поисковик индек­сирует на вашем сайте только то, на что есть гипертекстовая ссылка. Большие базы данных с единственным способом доступа к их содержимому в виде окна поиска — для поисковика невидимы. Таких баз в Интернете много, именно поэ­тому говорят о "глубинном Интернете", который невидим поисковикам и кото­рый больше видимого в десятки или даже сотни раз.