Типы роботов поисковых систем

В поисковых системах существует 4 типа поисковых робота:

  1. Робот-индексатор;
  2. Робот по работе с изображениями;
  3. Робот-зеркальщик;
  4. Робот, проверяющий работоспособность сайтов.

Выяснить, какой робот зашел на сайт можно на основании лог-файла, который храниться на сервера вашего хостинга и может быть доступен либо через админпанель, либо по ftp.

Советую почитать про продвижение в seo блоге http://seowes.ru/, где много полезной информации про общение с поисковыми системами.

Все роботы представляются по одной схеме, при этом каждый имеет свое собственное название. К примеру, основной робот-индексатор Яндекса представляется как: «Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)».

Бывают случаи, когда посторонние роботы представляются в виде роботов поисковых систем, указывая при этом их user-agent. Подлинность такого робота можно проверить при помощи обратных DNS-запросов.

Робот-индексатор осуществляет обнаружение и индексацию страниц с целью создания базы основного поиска.

Робот по работе с изображениями индексирует графическую информацию, которая потом выдается в соответствующем разделе поисковой системы, к примеру — Картинки Google или Яндекс.Картинки.

Робот-зеркальщик выявляет и проверяет зеркала сайтов, в т.ч. прописанные в файле robots.txt. В случае совпадения сайтов по разным адресам, будет выводиться тот, который указан как главное зеркало.

Робот, проверяющий работоспособность сайтов выполняет задачу по своему названию — проверяет доступность сайтов, которые добавляются через «Add URL» форму поисковой системы.

Указанный список, естественно, не является полным, т.к. существуют и другие роботы, которые индексируют видео, пиктограммы, «быстрый контент» (информацию с частообновляемых сайтов) и прочие.

Стоит так же понимать, что индексация является достаточно длительным процессом, после которого еще происходит и обновление индексных баз, на которое так же тратиться продолжительное время. Из-за таких особенностей индексации, информация с сайта может появиться в поиске через несколько недель.

Добавить комментарий

Ваш адрес email не будет опубликован.

Этот сайт использует Akismet для борьбы со спамом. Узнайте, как обрабатываются ваши данные комментариев.