Сама проблема дублированного контента возникла недавно, когда поисковики стали наказывать сайты за использование дублированного контента. Давайте разберемся в начале, что такое дублированный контент? Дублированный контент – одинаковый текст или часть текста, к которому можно обратиться по разным URL. Дублированный контент может располагаться как в пределах одного ресурса, так и на просторах всего интернет. Проиллюстрирую: Ссылка на созданный пост имеет вид http://www. site. ru/post. html Многие блоггеры используют кроспостинг для повышения тематической ссылочной массы и для быстрой индексации, возьмем, к примеру, бесплатные блоги на livejornal, ссылка будет выглядеть так: http://site. livejornal. ru/post. html Если у вас украли статью или вы сами разместили ее на каком-либо ресурсе с обратной ссылкой, опять же тот же текст можно прочесть по новой ссылке: http://www. othersite. ru/post. html Часто на главной странице своего сайта выводят несколько последних статей в полном виде.
Получается дубль текста вашего поста по ссылке: http://www. site. ru/ Если статей много, то создается постраничная навигация, новые статьи вытесняют старые статьи на последующие страницы. Если вы используете полный вывод статьи на главной, то ваш пост можно будет прочитать по ссылке: http://www. site. ru/page. html/page/2 Такая же ситуация, как и с главной страницей, и для Рубрик сайта. Если вы отдаете статьи полностью в Рубрики, значит, появляется новая ссылка со страницы рубрики: http://www. site. ru/category/ Страницы архива также, как и рубрики, дублируют контент: http://www. site. ru/2010/, но при этом, даже если у вас выводится часть статьи или цитата, то в архиве вы все равно получите дублирующую ссылку вида: http://www. site. ru/2010/post. html Страницы тегов полностью аналогичны страницам рубрик: http://www. site.
ru/tag/nametag/ В этот комплект дублей добавляет еще свою ссылку Поиск по сайту: http://www. site. ru/?s=search И даже на самой странице поста можно получить как минимум 2 ссылки, дублирующих контент: 1. Ссылка появляется при большом количестве комментариев и включении режима постраничной навигации по комментариям, вида: http://www. site. ru/page. html/comment-page-1#comments 2. Ссылка появляется если у вас длинная статья, и вы решили разделить ее на несколько частей тегом, который вставляет постраничную навигацию еще в сам пост.
Ссылка на 2 страницу поста будет иметь вид: http://www. site. ru/page. html/2
Что в результате?
В результате,