Ода оптимизатору или причины несовершенства поисковых систем Вместо вступления Наверное, буду не оригинален, но сегодня клиент, женщина, весьма далекая от оптимизации, пожаловалась, что не смогла вчера что-то найти в Яндексе, а потом зашла в Рамблер и нашла сразу же то, что искала. Примеров таких можно найти сотни и тысячи, и каждый из нас их может привести. Возможно, даже среди них попадутся и обратные случаи. А потому не будем искать крайних, а поговорим о качестве поиска вообще. Новый русский поисковый язык На заре становления поисковых систем задача была одна – найти! Качество поиска определялось, прежде всего, количеством найденных результатов. Неискушенные пользователи просматривали 2, 3, 4 и более страниц выдачи в попытках найти искомое. Сами поисковые запросы максимально упрощались. Индикатором этого была средняя длина запроса, составлявшая в 1997 году для Яндекса 1,2 слова. Интернет рос, увеличивалось число документов, совершенствовались поисковые алгоритмы и как следствие – искать стало легче. Люди могли задавать более точные запросы и получать точные ответы. В итоге к 2000 году показатель средней длины запроса увеличился до 2,5 слов. То есть более чем в два раза за три года. За последующие три года этот показатель вырос до 2,8. Да, всего лишь жалкие +0,3. Может это оптимум и поисковые системы в общем, и Яндекс в частности, достигли идеала? Идеальный и реальный поиск На секунду отвлечемся. Возьмем самого обыкновенного вменяемого человека, не отягощенного знаниями о работе поисковых систем, а потому далекому от состояния типичного пациента Кащенко. Попросим его сформулировать любой интересующий его вопрос, при условии, что он хочет получить вполне конкретный удовлетворяющий ответ. Внимание, сколько слов потребуется ему, чтобы сформулировать вопрос одно? Я же говорил _вменяемого_! Два? Сам такой! Так сколько? Почему-то мне кажется (перекрещусь на всякий случай), что нормальный вопрос содержит 5-6-7 и более слов. Т. е. в идеале человек должен искать не «куплю автомобиль», а «куплю подержанную BMW 3 серии 2001 года выпуска без пробега по России». И идеальная(!) поисковая система ответит на второй вопрос без затруднений. К сожалению современные поисковые системы абсолютно несовершенны. Несовершенны, прежде всего, потому, что в основе их лежит математика и статистика. И за безликими формулами и бездушными цифрами статистики теряется самый обычный человек, пользователь, который имеет вполне конкретный (а не среднестатистический) запрос и хочет получить на него столь же конкретный (а не среднестатистически значимый) ответ. Но в реальности человек упирается в барьер несовершенства поисковых алгоритмов, неспособных найти именно то, то нужно именно ему, и вынужден обходиться среднестатистическим 2,8 слова в запросе, получая среднестиатистически значимую выдачу и осуществляя дальнейший поиск по старинке, перебирая сайт за сайтом. А потому завершаем лирику и переходим к прозе. Как уже говорилось выше, средний запрос пользователя в реальности может быть гораздо длиннее, чем 2,8. Напомню также, что запросы длиной свыше 3-х слов являются, как правило, низкочастотными. Т. е. те самые пресловутые «естественно-языковые запросы» в подавляющем числе – низкочастотники. И тут, испытывая легкий шок, понимаем, что поисковики очень плохо ищут по низкочастотным, индивидуальным запросам. И не потому, что нет документов, удовлетворяющих таким запросам, а потому, что в основе поисковиков лежит статистика! А в статистике нет места индивидуальности, нет места личности пользователя, как и нет места личности вебмастера, создающего сайт. В итоге рядовой пользователь вынужден упрощать свой запрос, сводя его в 1-2-3 словным. Т. е. тем, которые принято называть высокочастотными. Делать выводы дальше или уже всё сами поняли? Ладно, буду писать до конца. Сказал «А», надо говорить «Б». Оптимизаторы – ассенизаторы выдачи Итак, существование высокочастотных запросов есть следствие несовершенства поисковых систем. И сами эти запросы есть несовершенство. Но природа не терпит несовершенства, а потому, в силу вполне естественных причин, существование высокочастотных запросов (далее ВЧ) запросов привело к появлению оптимизаторов. Да, да, нас с вами, уважаемые коллеги. Мы существуем для того, чтобы исправлять недостатки поисковых систем. Не буду идеализировать, есть в оптимизаторстве и «черные» стороны (кстати, не те о которых вы подумали). Опять же само «оптимизаторство» весьма многолико и многогранно. Но возьмем, к примеру, дорвеи (привет дя