Скорость индексации и обновления страниц поисковой системой

При создании новой страницы возникает необходимость в ее индексации, но информация в больших объемах замедляет индексацию новых страниц и, соответственно, замедляет процесс обновления старых страниц. Роботы поисковых систем регулярно обновляют базу данных поиска, но, для того, чтобы поисковая база была доступна пользователям, ее нужно перенести на «базовый поиск». При чем, база данных не полностью переносится туда, так как зеркала сайтов исключаются, страницы, которые содержат поисковый спам, также подлежат исключению и другие документы, которые, по мнению поисковика, являются не нужными.

В глобальных масштабах, базы поисковых систем где-то раз в неделю обновляются роботами.

Чтобы понять, что на сайте был быстрый робот, нужно обратить внимание на два признака: во-первых, при поисковой выдаче, если рядом с url сайта будет отображаться время последнего обновления; во-вторых, если сохранены две копии одного документа в числе проиндексированных.

Важно отметить, что поисковые роботы стараются проиндексировать больше информации, но есть ряд факторов, которые ограничивают процесс индексации. Например, попадание в индекс зависит от ресурсной авторитетности, присутствия файла sitemap, от уровня вложенности страниц, а также от отсутствия ошибок, которые мешают нормальной индексации сайта. Для управления индексации сайтов используются следующие основные инструменты: robots.txt, теги, метатеги, а также атрибуты nofollow и noindex.

Сегодня индексируются такие типы документов:

  • Flash, PDF (Adobe Systems).
  • PPT/PPTX, XLS/XLSX, DOC/DOCX (MS Office).
  • TXT, RTF.
  • ODT, ODS, ODG, ODP (Open Office).

Так, Robots.txt является текстовым файлом, где есть возможность задавать параметры индексирования как по отдельности, так и сразу для всех поисковых роботов. За индексацию самой страницы или текста отвечает тег и метатег noindex, а вот  nofollow отвечает за индексацию ссылок.

При чем, есть ограничения на некоторые типы данных, которые размещаются в этих файлах. Например, только текстовое содержимое индексируется в PDF. А во flash-документе индексируется только текст, который размещается только в определенных блоках, при чем, документы, которые больше 10 Мб вовсе не индексируются.

* * *

Многие пытаются максимально продвинуть свой сайт в поисковой системе, как основной источник трафика, но стоит забывать, что есть и другой эффективный инструмент – интернет-реклама, способная привлечь быстро (в отличии от SEO) огромный поток посетителей.

Добавить комментарий

Ваш адрес email не будет опубликован.

Этот сайт использует Akismet для борьбы со спамом. Узнайте, как обрабатываются ваши данные комментариев.