Настраиваем robots.txt правильно

Файл robots.txt представляет из себя текстовый файл, размещаемый в корне сайта и служит для сообщения роботам поисковых систем специальных инструкций, влияющих на индексацию разделов сайта. В нем можно запретить к индексации разделы и папки в структуре сайта, которые не стоит индексировать роботам, а так же настроить параметры индексации.

Использование и корректная настройка файла robots.txt очень важна, т.к. это первый файл к которому обращаются роботы при заходе на сайт. Отсутствие либо некорректная настройка данного файла может вызвать у поисковых роботов проблемы в индексации вашего сайта.

Для проверка наличия файла robots.txt на вашем сайте достаточно ввести в строке адреса www.вашсайт.ру/robots.txt.

стандартное содержимое файла robots.txt

Если по запросу данного файла выводиться непонятная информация, сообщение об ошибке 404 или еще что-либо, а не текстовая информация с директивами для поисковых роботов типа как на рисунке выше, то необходимо произвести соответствующую настройку и загрузку файла в корень вашего сайта.

У новичков часто возникает путаница в настройке robots.txt, в результате чего вместо запрета на индексацию закрытой части сайта устанавливается директива, препятствующая полноценной индексации всего сайта либо необходимых разделов. Следовательно, создав свой интернет-магазин и закрыв от индексации его страницы пользователи, которые хотят купить маршрутизатор Киев, не смогут этого сделать по той причине, что они не найдут ваш сайт.

директива disallow в robots.txt

Стоит понимать одно основное правило, по которому производиться настройка файла robots.txt. Звучит оно так: все что не запрещено – разрешено. Это означает, что в файл роботс.тхт стоит писать только те директивы, которые будут запрещать индексацию отдельных разделов, например, как на предыдущем рисунке. Указанная директива Disallow запрещает к индексации поисковыми роботами содержимого всех папок в корне сайта, начинающихся с “wp-“.

Бывают случаи, когда при установке, создании или переделке сайта ставят директиву «Disallow: /», в результате чего сайт полностью блокируется для индексации. Это понятно, т.к. в процессе разработки и переработки не стоит, чтобы роботы индексировали недоделанные страницы. При этом часто убрать данную директиву по окончании работы забывают. Проверьте, не забыли ли вы убрать подобную директиву со своего robots.txt. Подробнее о директивах файла robots.txt можно прочитать в справке Яндекса.

Полноценной индексации вашим сайтам!

IgorOsa

Добавить комментарий

Ваш адрес email не будет опубликован.

Этот сайт использует Akismet для борьбы со спамом. Узнайте, как обрабатываются ваши данные комментариев.