SEOgramota.Ru блог о SEO, продвижении, заработке в интернете

февраля 12, 2010 | by Макс | Файл robots. txt – это служебный файл, который подсказывает поисковому роботу, какие разделы сайта индексировать, а какие нет. Определяет основное зеркало сайта, указывает путь к карте сайта sitemap. xml и вообще, наличие этого файла – признак любого уважающего себя сайта. Не будем вдаваться в технические подробности, просто создадим в блокноте файл, обзовем его robots. txt и запишем туда следующее: User-agent: Yandex Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /wp-trackback Disallow: /wp-feed Disallow: /wp-comments Disallow: */trackback Disallow: */feed Disallow: */comments Host: www. yourdomain. ru User-agent: * Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /wp-trackback Disallow: /wp-feed Disallow: /wp-comments Disallow: */trackback Disallow: */feed Disallow: */comments Sitemap: http://yourdomain. ru/sitemap. xml Естественно, вместо yourdomain. ru – адрес Вашего сайта. Сохраняем файл и копируем его в корневую папку блога. Более подробную информацию о robots. txt вы можете узнать на сайте h++p://robotstxt. org. ru/ Теги: robots. txt, WordPress