Опубликовано в разделе: Wordpress Сегодня полез в панель вебмастера на яндексе и увидел, что там куча ошибок. Поэтому я решил прописать файл robots. txt для запрета индексации некоторых разделов сайта. Я считаю что на каждом сайте должен быть файл robots. txt, котрый не только указывает что можно индексировать, а что нельзя, но также он устанавливает главное зеркало сайта и сообщает поисковому роботу где находится карта сайта sitemap. xml Вот как выглядит robots. txt для моего блога. Поискав в интернете и выбрав самое необходимое я создал вот такой файл.
User-Agent: * Disallow: /jexr/ Disallow: /wp-content/ Disallow: /feed/ Disallow: /tag/ Disallow: /xmlrpc. php Disallow: /sitemap. xml Disallow: */feed Disallow: */trackback Sitemap: http://zavrab. ru/sitemap. xml User-Agent: Yandex Disallow: /jexr/ Disallow: /wp-content/ Disallow: /feed/ Disallow: /tag/ Disallow: /xmlrpc. php Disallow: /sitemap. xml Disallow: */feed Disallow: */trackback Host: zavrab. ru Sitemap: http://zavrab. ru/sitemap. xml
Понравилась статья? Получай обновления и будь всегда в курсе событий!