Типы роботов поисковых систем
В поисковых системах существует 4 типа поисковых робота:
- Робот-индексатор;
- Робот по работе с изображениями;
- Робот-зеркальщик;
- Робот, проверяющий работоспособность сайтов.
Выяснить, какой робот зашел на сайт можно на основании лог-файла, который храниться на сервера вашего хостинга и может быть доступен либо через админпанель, либо по ftp.
Советую почитать про продвижение в seo блоге http://seowes.ru/, где много полезной информации про общение с поисковыми системами.
Все роботы представляются по одной схеме, при этом каждый имеет свое собственное название. К примеру, основной робот-индексатор Яндекса представляется как: «Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)».
Бывают случаи, когда посторонние роботы представляются в виде роботов поисковых систем, указывая при этом их user-agent. Подлинность такого робота можно проверить при помощи обратных DNS-запросов.
Робот-индексатор осуществляет обнаружение и индексацию страниц с целью создания базы основного поиска.
Робот по работе с изображениями индексирует графическую информацию, которая потом выдается в соответствующем разделе поисковой системы, к примеру — Картинки Google или Яндекс.Картинки.
Робот-зеркальщик выявляет и проверяет зеркала сайтов, в т.ч. прописанные в файле robots.txt. В случае совпадения сайтов по разным адресам, будет выводиться тот, который указан как главное зеркало.
Робот, проверяющий работоспособность сайтов выполняет задачу по своему названию — проверяет доступность сайтов, которые добавляются через «Add URL» форму поисковой системы.
Указанный список, естественно, не является полным, т.к. существуют и другие роботы, которые индексируют видео, пиктограммы, «быстрый контент» (информацию с частообновляемых сайтов) и прочие.
Стоит так же понимать, что индексация является достаточно длительным процессом, после которого еще происходит и обновление индексных баз, на которое так же тратиться продолжительное время. Из-за таких особенностей индексации, информация с сайта может появиться в поиске через несколько недель.