февраля 2, 2010 | by Макс | Появилась необходимость проверить лог-файлы на предмет посещения страниц роботами Яндекса и тут я понял что совсем не знаю как отличить один робот от другого. В общем нашел довольно полезную информацию. Итак у яндекса есть основные роботы… Yandex/1.01.001 (compatible; Win16; I) – основной индексирующий робот Yandex/1.01.001 (compatible; Win16; P) – индексатор картинок Yandex/1.01.001 (compatible; Win16; H) – робот, определяющий зеркала сайтов Yandex/1.02.000 (compatible; Win16; F) – робот, индексирующий пиктограммы сайтов (favicons) Yandex/1.03.003 (compatible; Win16; D) – робот, обращающийся к странице при добавлении ее через форму «Добавить URL» Yandex/1.03.000 (compatible; Win16; M) – робот, обращающийся при открытии страницы по ссылке «Найденные слова» YaDirectBot/1.0 (compatible; Win16; I) – робот, индексирующий страницы сайтов, участвующих в Рекламной сети Яндекса YandexBlog/0.99.101 (compatible; DOS3.30,B) – робот, индексирующий xml-файлы для поиска по блогам. YandexSomething/1.0 – робот, индексирующий новостные потоки партнеров Яндекс-Новостей. Bond, James Bond (version 0.07) – робот, заходящий на сайты из подсети Яндекса. Официально никогда не упоминался. Ходит выборочно по страницам. Referer не передает. Картинки не загружает. Судя по повадкам, робот занимается проверкой сайтов на нарушения – клоакинг и пр. IP-адресов, с которых «ходит» робот Яндекса, много, и они могут меняться. Список адресов не разглашается. Кроме роботов у Яндекса есть несколько агентов-«простукивалок», которые определяют, доступен ли в данный момент сайт или документ, на который стоит ссылка в соответствующем сервисе. Yandex/2.01.000 (compatible; Win16; Dyatel; C) – «простукивалка» Яндекс. Каталога. Если сайт недоступен в течение нескольких дней, он снимается с публикации. Как только сайт начинает отвечать, он автоматически появляется в Каталоге. Yandex/2.01.000 (compatible; Win16; Dyatel; Z) – «простукивалка» Яндекс. Закладок. Ссылки на недоступные сайты помечаются серым цветом. Yandex/2.01.000 (compatible; Win16; Dyatel; D) – «простукивалка» Яндекс. Директа. Она проверяет корректность ссылок из объявлений перед модерацией. Никаких автоматических действий не предпринимается. Yandex/2.01.000 (compatible; Win16; Dyatel; N) – «простукивалка» Яндекс. Новостей. Она формирует отчет для контент-менеджера, который оценивает масштаб проблем и, при необходимости, связывается с партнером. Вот в общем и все. h++p://robotstxt. org. ru/ Теги: robots. txt, Яндекс