Как проходит индексация сайтов

Начало индексации ресурса обуславливается приходом на сайт поискового робота (краулера, спайдера) - это индексирующая программа, которая обходит все задействованные ресурсы в сети и для обработки отправляет их содержимое индексаторам. Изредка отдельно выделяют кроулеров - помимо поиска, этот робот может сам анализировать, по какой ссылке документа ему идти дальше.

Естественно, для анализа передаются не все данные. Часто содержание сайта очищается от ненужных тегов. Затем производится обработка полученной информации, определение частоты, веса, и плотности ключевых слов. Обработанные данные попадают в базу данных поисковой системы (индекс).

Работа поисковых роботов порой может привести к отрицательным последствиям. К примеру, если в индексе окажутся документы, которые показывать владелец сайта не хочет, или страницы, которые владелец посчитал малоинформативными. Во избежание таких проблем существует протокол Robot Exclusion Protocol, позволяющий запрещать индексацию всего сайта или отдельных его частей. На практике команды обозначаются в файле robots.txt , который размещают в корневом каталоге сайта. Вы можете найти этот файл, он должен находиться по адресу "домен вашего сайта"/robots.txt. В ином случае поисковые роботы не смогут найти его и проиндексировать весь сайт.

Управление индексацией сайта

Индексацией поисковых систем можно управлять с помощью файла robots.txt. В этом файле можно запретить или разрешить для индексации те или иные части сайта.

Существует специальный тег <NOINDEX></NOINDEX>, который позволяет защитить от индексации отдельные части страницы. Благодаря этому можно повысить плотность индексирующихся ключевых слов на странице. Все, что содержится в теге, не индексируется поисковыми роботами систем Яндекс и Рамблер. Однако, использование ‹noindex› не желательно, поскольку некоторые поисковые системы его не воспринимают.

Например, Google применяет атрибут rel="nofollow".
Если у вас сайт небольшого размера (10-20 страниц) файл robots.txt можно создать вручную с помощью специальных программ с визуальным редактором (например, Page Promoter). Если сайт большой, то во избежание ошибок рекомендуется пользоваться программными ресурсами для автоматизации процесса.

Необходимое время для индексации сайта обычно составляет от двух дней до двух недель, зависимо от того, какая поисковая система (самая быстрая индексация сайта происходит в системе Google). Поэтому, нужно отметить, если ваша ссылка на странице другого сайта не была проиндексирована на протяжении трех недель, значит, она скорее всего закрыта для индексации.

Индексация сайта – лишь только малый этап всего процесса поискового продвижения сайта. Однако, если сайта нету в индексе поисковых систем, то он точно не попадет в топ выдачи. Поэтому, такой момент, как индексация, весьма важен для грамотного продвижения сайта.

« назад