Как происходит индексация страницы? Как ускорить индексацию сайта? эти и многие вопросы мучают большинство неосведомленных вебмастеров. Индексация страницы поисковым роботом целиком зависит от внешних и внутренних факторов сайта. Алгоритмы работы поисковых машин неизвестны никому до конца и каков будет результат после того как произойдет индекстация сайта неизвестен. Но некоторые общепринятые мероприятия могут на нее повлиять и улучшить качество индексации.

Суть поисковой машины, заключается в постоянном отслеживании самой полезной информации, которая со стремительной скоростью появляется в сети. И эту информацию поисковик должен предоставить пользователю по результатам запроса, которая будет в наибольшей степени релевантна и ответит на вопрос.

- перемещается по ссылочному содержимому и отвечает за скачивание новых страниц, которые необходимо занести в базу поисковой системы. Спайдер видит только текст и голый код сайта, игнорируя при этом графическое содержимое страницы. Излишнее наполнение страниц флеш, графикой и баннерами, может затянуть процесс индексации страницы на неопределенный период. Не торопитесь вешать баннеры и рекламу, сначала дождитесь завершения индексации, а затем действуйте.

Краулер (паук путешественник) – перемещается по ссылочному содержимому страниц, выполняя поиск факта появления новых страниц, которые необходимо проиндексировать. После нахождения неизвестной поисковой системе нового документа, сообщает спайдеру о нем, тем самым давая понять, что его нужно занести в базу поисковой системы. Краулера можно приманить на свой сайт, тем самым ускорить индексацию, либо добавить адрес главной страницы сайта в форму регистрации поисковика, либо наследить, оставив несколько ссылок на других проиндексированных тематических ресурсах.

Индексатор – спецпрограмма поисковой машины, выполняет наиболее важную роль в работе поисковиков. Сканирует содержимое страниц сайта и определяет соответствие тематики и релевантности каждой отдельно взятой страницы, по нескольким поисковым запросам на основе анализа.

База поисковика – вся общая информация, в которой находятся все найденные и проиндексированные документы поисковой системой. Содержит огромный архив сайтов, который постоянно подвергается изменению. По результатам запросов пользователей, происходит выдача сайтов, которые расположены в соответствии с релевантностью запросу и обработаны в результате ранжирования поисковой системой.

Вся эта информация расположена на сервере поисковой системы, снабженном специальными программами, которые поддерживают ее стабильную работу. Ускорить индексацию можно путем активного участия в комментировании блогов и форумов, при этом оставляя обратные ссылки на свой сайт. Неплохой вариант рассматривается в применении социальных сетей и площадок, на которых также можно оставлять обратные ссылки.

Помимо всего прочего, можно выполнить запрет индексации страницы, которую необходимо скрыть от глаз пользователя или от поисковиков. Здесь два пути, первый это управлением поисковыми роботами с помощью создания специального файла, но об этом будет отдельный пост или заключить определенные участки в теги <noindex></noindex>, которые дают запрет индексации. Обычно в эти теги заключают счетчики посещений и некоторые скрипты, так как поисковый робот их не может прочесть.

Проверить индексацию сайта и какие страницы уже занесены в базу поисковых систем, можно на этом ресурсе: Проверить индексацию сайта

Помимо всего прочего, здесть можно получить сведения о содержании внешних и внутренних ссылок на страницах, какие значения пузомерок присвоены сайту тИЦ и PR, узнать нахождение сайта в каталогах Яндекс и Dmoz и получить другую полезную информацию, с точки зрения контроля за продвижением сайта.