Файл robots.txt представляет из себя текстовый файл, размещаемый в корне сайта и служит для сообщения роботам поисковых систем специальных инструкций, влияющих на индексацию разделов сайта. В нем можно запретить к индексации разделы и папки в структуре сайта, которые не стоит индексировать роботам, а так же настроить параметры индексации.
Использование и корректная настройка файла robots.txt очень важна, т.к. это первый файл к которому обращаются роботы при заходе на сайт. Отсутствие либо некорректная настройка данного файла может вызвать у поисковых роботов проблемы в индексации вашего сайта.
Для проверка наличия файла robots.txt на вашем сайте достаточно ввести в строке адреса www.вашсайт.ру/robots.txt.
Если по запросу данного файла выводиться непонятная информация, сообщение об ошибке 404 или еще что-либо, а не текстовая информация с директивами для поисковых роботов типа как на рисунке выше, то необходимо произвести соответствующую настройку и загрузку файла в корень вашего сайта.
У новичков часто возникает путаница в настройке robots.txt, в результате чего вместо запрета на индексацию закрытой части сайта устанавливается директива, препятствующая полноценной индексации всего сайта либо необходимых разделов. Следовательно, создав свой интернет-магазин и закрыв от индексации его страницы пользователи, которые хотят купить маршрутизатор Киев, не смогут этого сделать по той причине, что они не найдут ваш сайт.
Стоит понимать одно основное правило, по которому производиться настройка файла robots.txt. Звучит оно так: все что не запрещено – разрешено. Это означает, что в файл роботс.тхт стоит писать только те директивы, которые будут запрещать индексацию отдельных разделов, например, как на предыдущем рисунке. Указанная директива Disallow запрещает к индексации поисковыми роботами содержимого всех папок в корне сайта, начинающихся с “wp-“.
Бывают случаи, когда при установке, создании или переделке сайта ставят директиву «Disallow: /», в результате чего сайт полностью блокируется для индексации. Это понятно, т.к. в процессе разработки и переработки не стоит, чтобы роботы индексировали недоделанные страницы. При этом часто убрать данную директиву по окончании работы забывают. Проверьте, не забыли ли вы убрать подобную директиву со своего robots.txt. Подробнее о директивах файла robots.txt можно прочитать в справке Яндекса.
Полноценной индексации вашим сайтам!