Как поисковики индексируют сайты

Для начала выясним, что из себя представляет индексация.

Индексация является процессом, при котором специальные поисковые роботы перемещаются по сайтам и собирают со страниц различную информацию. Далее информация помещается в специальные базы данных. После информация дополнительно обрабатывается специальными алгоритмами и строится поисковый индекс, уже на основе которого потом происходит поиск сайтов по пользовательским запросам. Индекс может одержать неполные версии информации с сайтов, а так называемые “выжимки”.

Целесообразно рассмотреть процесс индексирования на примере популярной поисковой системы Яндекс. В данной поисковой системе имеется два типа поисковых роботов. Один носит наименование быстроробот, второй основной. Основной робот на то и основной, что заносит всю информацию в индекс, а быстроробот – самую свежею информацию. Планировщик поискового робота передает пауку сформированные маршруты, по которому он выкачивает информацию. Новые ссылки из скачанных пауком документов добавляются в общий список.

Первое посещение пауком сайта посвящается определению его подпадания под критерии поисковой системы, после чего принимается решение о занесении и нет сайта в базу. При следующих посещениях происходит обновление информации.

последовательность процессов индексации Яндекса в исполнении sembook.ru

Последовательность процессов индексации Яндекса в исполнении sembook.ru

В поисковый индекс документы попадают путем автоматического добавления в процессе обхода поисковыми роботами или же после ручного добавления сайта в специальную форму поисковой системы. Так же, если на вашем сайте установлена Яндекс.Метрика, то там есть опция автоматической отправки страниц сайта на индексацию Яндексу. При чем, по умолчанию она включена.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Этот сайт использует Akismet для борьбы со спамом. Узнайте как обрабатываются ваши данные комментариев.

%d такие блоггеры, как: