.jpg)
Практически каждый начинающий web разработчик сталкивается с проблемой написания файла robots. txt. На эту тему написано немало руководств, но все равно проблема актуальна. Ведь, прочитав этот файл, поисковый робот может пройти мимо ваше сайта или некоторых его разделов. Сегодня мы посмотрим, как можно проверить этот файл. В первую очередь, напомню, что указания для поисковых роботов можно задать двумя способами: в файле robots.
txt и с помощью тега. Основное отличие этих методов в том, что в robots. txt задаются правила для всего сайта, а действие тега распространяется только на ту страницу, где он находится. Рассмотрим пример. Допустим, у нас есть блог, работающий на каком-нибудь движке (например, WordPress). Нам нужно, чтобы поисковые роботы индексировали наши посты, но не заходили в служебные директории (индексировать там нечего, а трафик уходит). Для этого мы создаем в корневой каталоге файл robots. txt. Описывать правила составления этого файла я не буду. Уверен, что вы сможете легко найти его описание с примерами.
Например, для WordPress готовый файл можно взять здесь. После этого, нам нужно ограничить доступ к страницам, которые содержат список постов (обычно это главная и страницы разделов). Точнее нам нужно, чтобы роботы просматривали эти страницы и переходили по ссылкам на них, но не индексировали их содержимое, т. к. оно изменяется по мере написания постов. Сделать это можно с помощью тега. Страница, которую нужно проиндексировать и перейти по всем ссылкам на ней, должна содержать тег. А страница, которую нельзя индексировать – . Для того, чтобы вставить эти теги в WordPress добавим в файле header. php (он находится в папке с вашей темой /wp-content/themes/название_темы/) между тегами и следующий код: