июля 15, 2010 | by Макс | Магадан 14 апреля 2008 года по адресу buki. yandex. ru начал тестироваться новый поисковый алгоритм «Магадан». Кроме того, что увеличилось вдвое количество факторов ранжирования, были также добавлены следующие нововведения:
- Яндекс начал понимать аббревиатуры, т. е. если пользователь искал «МГУ», Яндекс понимал, что пользователю интересен «Московский Государственный университет». Также начали обрабатываться написания транслитом – например, запросы «Мазда» и «Mazda» стали практически тождественны, а результаты поиска по запросам стали схожими. Также Яндекс научился распознавать переходы из одной части речи в другую, например, для существительного «продвижение» переходом стал глагол «продвинуть», т. е. при поиске по запросу «продвинуть сайт» релевантным стали документы, содержащие слова «продвижение сайтов». В итоге учет слов-переходов вылился в то, что продвижение по всем запросам, содержащим слова-переходы, стало дороже – ведь теперь нужно конкурировать не только с теми сайтами, которые продвигаются непосредственно по вашему ключевому слову, но и с теми, кто продвигается по слову-переходу. По словам Яндекса, было «улучшено ранжирование по запросам, слова которых в релевантных документах идут далеко друг от друга, например, «хармс цирк вертунов»». Правда, на деле это вылилось в такую ситуацию, что поиск по многим многословным запросам начал выдавать результаты хуже – в выдаче стали появляться более авторитетные сайты, но с плохим текстовым содержимым. Из-за попадания таких сайтов в топ, конкуренция по низкочастотным запросам усилилась. Яндекс начал массово индексировать зарубежные сайты (примерно 1 млрд страниц на зарубежных языках было добавлено в индекс). Это привело к усилению конкуренции по запросам, содержащим только иностранные слова, так как в выдаче начали появляться зарубежные сайты.
Итоговый релиз «Магадана» состоялся 16 мая 2008 года и сопровождался практически недельной тряской в выдаче – позиции по запросам постоянно менялись, то взлетая в топ, то пропадая из выдачи. Находка Тестирование новой версии алгоритма Яндекса началось 9 июля 2008 года. По заявлениям Яндекса, «основные изменения в программе связаны с новым подходом к машинному обучению и, как следствие, отличиями в способе учета факторов ранжирования в формуле». 11 сентября 2008 года Находка появилась в основной выдаче. Из нововведений, внедренных Яндексом, можно отметить следующие:
- Улучшилось ранжирование по запросам, содержащим стоп-слова – союзы, предлоги. Расширился тезаурус (словарь связей). Теперь по запросу [авто ваз] найдется и [автоваз] Также было замечено, что по ряду запросов произошло «разбавление» выдачи сайтами информационного характера. В частности, по многим запросам в выдаче начала появляться интернет-энциклопедия Википедиа.
Фактически сейчас мы уже понимаем, что тогда Яндекс сделал первый шаг по направлению увеличения разнообразия в выдаче по тем запросам, по которым пользователей интересует как коммерческая составляющая (они хотят приобрести товары и услуги), так и информационная (почитать, посмотреть…). Логично, что такой шаг привел к усилению конкуренции по многим запросам. Арзамас (он же Анадырь) 10 апреля 2009, сразу в основном поиске, без выкладки на тестовый, в Яндексе заработала поисковая программа Арзамас. 3 июня произошел апгрейд алгоритма, и в основном поиске заработал Арзамас 1.1 А 19 августа вышла версия Арзамас 1.2 c новым классификатором гео-зависимости запросов. Первым нововведение стало внедрение алгоритма снятия омонимии. На основании лексической статистики слов Яндекс научился определять наиболее частотную форму омонимичной фразы, а также научился по дополнительным словам из запроса определять наиболее вероятный смысл фразы.
.jpg)
Например, при запросе «стойка лука» в результатах поиска будут сайты, где рассказана техника стрельбы из лука и в частности, описана правильная стойка при стрельбе. Пожалуй, самое важное нововведение Арзамаса – учет региона пользователя. Теперь для пользователей, находящихся в разных регионах, выдача стала различаться, и пользователи, задававшие запрос «такси» в Москве, начали видеть сайты московских служб такси, а пользователи из Санкт-Петербурга – питерских. В поддержку регионального поиска был создан классификатор гео-зависимости запросов. Запросы начали делиться на два типа – гео-зависимые и гео-независимые. Соответственно, по гео-зависимым запросам регион пользователя учитывался, а по гео-независимым – нет, и выдача у всех пользователей России была идентична. Нововведения Арзамаса серьезным образом отразились на продвижении сайтов как с положительной стороны, так и с негативной:
- С одной стороны, был дан толчок развитию «регионального продвижения». Теперь без особых затрат стало возможным продвижение сайтов по запросу «юридические услуги», например, в Тульской области. Раньше выдачу оккупировали московские сайты, но после Арзамаса у региональных появился отличный шанс. С другой стороны, молодым сайтам стало еще сложнее и дольше пробиваться в топ выдачи по той причине, что у многих сайтов Яндекс не мог определить региональную принадлежность. Могло несколько месяцев продвижения уходить лишь на то, чтобы нарастить ссылочную массу и подать заявку в Яндекс на присвоение нужного региона.
Снежинск 10 ноября 2009 года Яндексом была анонсирована новая версия поискового алгоритма – Снежинск. Коренные изменения произошли в алгоритме расчета релевантности – представители Яндекса написали следующее:
«Нам удалось создать более точную и гораздо более сложную математическую модель, которая привела к существенному приросту в качестве поиска. Благодаря переработке архитектуры ранжирования в поиске удалось реализовать учет нескольких тысяч поисковых параметров для одного документа».
17 ноября 2009 алгоритм был выложен на основном поиске. 17 марта 2010 вышел Снежинск 1.1. Основным нововведением Снежинска стало внедрение нового метода машинного обучения – технологии Матрикснет. Рассказ о ней – тема отдельного разговора и для полного понимания лучше прочитать первоисточник. Нам интереснее другой момент – как же это отразилось на продвижении сайтов?
- Фактически продвижение сайтов стало менее подконтрольным оптимизаторам. При том, что методика работы над проектами осталась примерно такой же, анализ результатов продвижения стал на порядок сложнее – ведь влияние отдельных факторов и показателей на позиции сайта стало практически невозможно отследить. Использование сложных зависимостей в формуле привело к тому, что в различных ситуациях изменение одного и того же показателя по-разному влияло на итоговый показатель – релевантность. Например, для молодых сайтов закупка ссылок с авторитетных площадок не давало такого эффекта, как для старых сайтов. Одни запросы можно было употреблять в тексте достаточно часто, а для других даже трехкратный повтор приводил к значительному снижению релевантности. Яндекс, используя формулу, связал все показатели, характеризующие сайты и запросы, чтобы итоговое ранжирование было максимально релевантным. При этом отдельно взятые показатели в формуле сами по себе не несут никакого смысла – они лишь часть математической модели. Если год-два назад можно было моделировать эксперименты, чтобы отследить влияние отдельно взятого фактора, то сейчас это во многом потеряло смысл. В идеальных условиях эксперимента анализируемый фактор действует одним образом, в условиях продвижения сайта А – уже другим образом, в условиях продвижения сайта Б – третьим. Ранжирование по гео-зависимым и гео-независимым запросам стало отличаться еще сильнее. По многим частотным гео-независимым запросам большинство коммерческих сайтов пропало с первых позиций, уступив свое место информационным сайтам с большим текстовым содержимым (в частности, Википедии). Объясняется это тем, что гео-независимые запросы (выдача по которым для пользователей одинакова во всех регионах) отождествляются Яндексом с информационными запросами и по логике Яндекса правильнее выводить в выдачу именно информационные сайты. Сможет ли коммерческий сайт фирмы, занимающейся реализацией календарей, что-то противопоставить Википедии, Яндекс. Календарям или календарям лунным? Если запрос не очень частотный, то иногда получается вывести сайт в десятку традиционными способами, т. е. с помощью оптимизации текста и покупки ссылок. Вывод в топ-10 молодых сайтов по высокочастотным запросам сильно усложнился и стал занимать значительно больше времени. К сожалению, большинство клиентов абсолютно не воспринимают данную особенность ранжирования в Яндексе и, несмотря ни на что, хотят вывод своего новенького сайта по запросу «скачать фильмы» в топ за месяц.
Не так давно представители Яндекса поделились своим видением того, какой должна быть выдача по запросу «пластиковые окна». Основная мысль – «в идеальном случае хочется, чтобы на первую страницу фирмы попадали, исходя из качества услуги, которую они оказывают. Для этого, правда, придется сначала научиться оценивать качество услуги. Более простая цель – чтобы в выдачу попадали наиболее известные компании, хорошо представленные как в сети, так и в оффлайне». Так вот, как тогда в топ может попасть сайт, сделанный месяц назад и на который никто даже не ссылается? Даже если не рассматривать высокочастотные запросы, то часто на вывод молодого сайта все равно необходимо несколько месяцев, в течение которых сначала набирается тИЦ, а потом вручную меняется регион на московский. В начале 2010 года произошли значительные изменения в методике анализа текстового содержимого сайтов. Страницы, насыщенные ключевыми словами, начали попадать под фильтр и исчезать из выдачи. На первый план вышел качественный копирайтинг – умение написать релевантный текст, при этом не получив санкций со стороны Яндекса. Естественно, услуги на продвижение сайтов тоже выросли. Продвижение небольших сайтов по большому количеству запросов стало сложнее и более затратным по времени. Появился новый тип апдейта – апдейт алгоритма Матрикснет, и соответственно уменьшилась частота «традиционных» апдейтов – текстовых и ссылочных. Теперь раз в месяц Матрикснет «обучается» – как следствие меняются позиции сайтов в выдаче без учета новой информации о проставленных ссылках и размещенных текстах. В итоге, сейчас успех кампании по продвижению сайтов стал зависеть в большей степени от грамотно построенного производственного процесса, начиная с момента подбора запросов для сайта, продолжая четким анализом и выполнением технических и текстовых доработок и заканчивая регулярным контролем и обновлением ссылочной массы. Естественно нужно на регулярной основе отслеживать все нововведения Яндекса и корректировать стратегию продвижения. Дополнительные фишки:
- Новости в результатах поиска Колдунщики Фильтрация порнографии Быстрые ссылки в сниппете Борьба с системами clickunder (bodyclick)
Обнинск Был выложен 11 сентября 2010 года (официальное сообщение от 13 сентября) После “выката” Обнинска было проведено исследование с результатами которого можно ознакомиться здесь. Продолжение следует 
З. Ы.: Про Матрикснет можно почитать здесь: h++p://company. yandex. ru/technology/matrixnet h++p://www. seonews. ru/analytics/detail/120746.php Теги: Яндекс