Обычно, перед началом продвижения я всегда смотрю какое зеркало сайта Яндекс считает главным – www. domain. ru или domain. ru (сделать это можно, набрав в поиске Яндекса адрес домена – как выдаст, так и индексирует). Этого мне обычно хватало, что бы начинать закупать ссылки на нужное зеркало домена. Но как-то мой собственный сайт, который пару лет жил в индексе без www, стал индексироваться как www. сайт.
ru и количество посетителей с Яндекса на нем заметно уменьшилось. Через некоторое время на одном клиентском сайте случилась такая же беда. Тут уже ясно – это тенденция, и надо что-то делать, что бы такого не было в дальнейшем. Почему возникает такой эффект с поисковым трафиком? Я думаю, это из-за того, что основная масса ссылок на сайт стоят без www (или наоборот, с www), а основным зеркалом, из-за не правильной склейки, становится вариант с www (или без), на который почти нет внешних ссылок. Такой сайт лишается важной составляющей в ранжировании выдачи – ссылочного ранжирования. Как же правильно склеить домены? Каждый владелец сайта может давать инструкции роботам поисковых систем, используя для этого чудо-файл robots. txt. Этот файл должен располагаться в корне вашего сайта (там же, где index.
php(html), на многих хостингах это папка public_html). Если его там нет, вы всегда можете создать его с помощью текстового редактора. Минимальным его содержимым должно быть:
User-agent: * Disallow:
Эти инструкции разрешают всем поисковым системам индексировать все содержимое сайта. Если у вас в robots. txt уже что-то есть, то не стоит там что-то редактировать, без четкого понимания того, что делаете. На тему инструкций в robots. txt написано много, все это всегда можно посмотреть, набрав простой поисковый запрос. Мы же сейчас не о файле в целом, а о выборе основного зеркала для сайта. Для задания главного зеркала сайта служит директива Host, правда, понимает её только Яндекс, поэтому в robots. txt необходимо создать раздел для Яндекса (причем, дирректива Host должна идти ОБЯЗАТЕЛЬНО после дирректив Allow/Disallow):
User-agent: Yandex Disallow: Host: antonblog. ru
Antonblog. ru конечно, надо заменить на ваше основное зеркало. Итого – в минимальном варианте содержимое файла robots. txt будет выглядеть так:
User-agent: * Disallow: User-agent: Yandex Disallow: Host: antonblog. ru
То есть, всем роботам мы разрешаем индексацию всего содержимого сайта, а Яндексу, помимо этого, говорим, что основной сайт находится на antonblog. ru, а ни как не на www. antonblog. ru. Помимо этого так же полезно закрыть все ненужные файлы на сайте. Мой вариант файла robots. txt для WordPress вы всегда можете увидеть на моем блоге. А какие вы используете директивы в своем WP robots. txt? Что бы склеить домен в google, необходимо установить 301-й редирект, переправляющий все на нужный вариант домена (с www или без), редирект перенаправляет как пользователей, так и поисковые системы. Что бы установить 301-й редирект, в ваш файл. htaccess нужно добавить такую конструкцию (если у вас нет такого файла, его нужно создать, это обычный текстовый файл):
Options +FollowSymLinks RewriteEngine on RewriteCond %{HTTP_HOST} ^www\.antonblog\.ru RewriteRule ^(.*)$ http://antonblog. ru/$1 [R=permanent, L]
Antonblog. ru нужно заменить на ваш домен. Такой редирект будет показывать гуглу, что главным является зеркало сайта без www. ВАЖНО! Сначала нужно склеить домены в Яндексе, и только потом ставить редирект для Гугла, в противном случае ваш сайт может совсем выпасть из Яндекса… Что бы склеить домены в Гугле, достаточно в панели вебмастера указать правельное зеркало сайта.