Как поисковики индексируют сайты
Для начала выясним, что из себя представляет индексация.
Индексация является процессом, при котором специальные поисковые роботы перемещаются по сайтам и собирают со страниц различную информацию. Далее информация помещается в специальные базы данных. После информация дополнительно обрабатывается специальными алгоритмами и строится поисковый индекс, уже на основе которого потом происходит поиск сайтов по пользовательским запросам. Индекс может одержать неполные версии информации с сайтов, а так называемые “выжимки”.
Целесообразно рассмотреть процесс индексирования на примере популярной поисковой системы Яндекс. В данной поисковой системе имеется два типа поисковых роботов. Один носит наименование быстроробот, второй основной. Основной робот на то и основной, что заносит всю информацию в индекс, а быстроробот – самую свежею информацию. Планировщик поискового робота передает пауку сформированные маршруты, по которому он выкачивает информацию. Новые ссылки из скачанных пауком документов добавляются в общий список.
Первое посещение пауком сайта посвящается определению его подпадания под критерии поисковой системы, после чего принимается решение о занесении и нет сайта в базу. При следующих посещениях происходит обновление информации.
Последовательность процессов индексации Яндекса в исполнении sembook.ru
В поисковый индекс документы попадают путем автоматического добавления в процессе обхода поисковыми роботами или же после ручного добавления сайта в специальную форму поисковой системы. Так же, если на вашем сайте установлена Яндекс.Метрика, то там есть опция автоматической отправки страниц сайта на индексацию Яндексу. При чем, по умолчанию она включена.