.jpg)
Спонсор статьи: Студия SMOpro – реклама в блогах и продвижение В продолжение темы индексации сайта хочется рассказать о файле robots. txt Роботы поисковиков при заходе на веб-сайт сначала обращаются к нему и получают инструкции по индексированию. Присутствие этого файла не обязательно, но крайне желательно. Важно правильно составить файл robots. txt, иначе ошибки в нём могут привести к ненужным последствиям. Для написания инструкций используется определенный синтаксис, который не разрешает к индексации, а только запрещает.
| Файл robots. txt – текстовый файл с расширением. txt, содержащий инструкции по индексации для поисковых роботов |
Создается и редактируется при помощи Блокнота. Размещается файл robots. txt в корневой папке веб-сайта. Название должно быть в нижнем регистре (т. е. robots. txt, а не Robots. Txt и т. д.)
Пример правильного файла robots. txt
User-agent: Yandex Disallow: /cgi-bin/ Disallow: /admin/ Host: www. site. ru Sitemap: http://www. site. ru/sitemap. xml User-agent: Googlebot Disallow: /admin. php Disallow: /hide. html Sitemap: http://www. site. ru/sitemap. xml User-Agent: * Disallow: /
Директива User-agent указывает определенному поисковому роботу инструкции для выполнения. Если стоит *, то значит данные инструкции предписаны всем. Директива Disallow запрещает к индексации отдельную папку или документ. Для того, чтобы запретить к индексации сайт полностью необходимо прописать “Disallow: /”, а чтобы НЕ запрещать индексировать сайт, необходимо прописать “Disallow: ” Директива Host определяет основной домен для сайта. Внимание! Ее учитывает только Яндекс!
Домен прописывается БЕЗ HTTP:// Директива Sitemap предназначена для указания карты сайта. Путь карты сайта прописывается полностью вместе с HTTP:// Следует понимать, что мы не сможем, например, разрешить к индексации только файл index. html, а все остальное закрыть. Хотя, конечно, можно, но для этого придется перечислять ВСЕ имеющиеся документы и папки, кроме самого index. html. Это является основным минусом файла robots. txt, т. к. иногда возникает потребность в директиве Allow. Постовой: Компания «Портал Инфо» предлагает услуги веб дизайна и создания сайтов в Тюмени и Тюменской области Понравилась заметка? Подписывайся на RSS Оставлено 9 комментариев: