Каждый день у нас на сайтах висят разные боты Яндекса, но запросов к серверу они делают мало и не сильно часто. А сегодня зашел я в статистику нашего главного сайта и увидел, что какой-то подозрительный Яндекс-бот идет на рекорд по количеству просмотров станиц за сеанс.

Сначала я было подумал что это просто какой-то спам-бот замаскировался под поисковика и ищет странички с формами дабы внести их в список страниц для ботов-комментаторов (у нас такие частенько гуляют, в основном из Нидерландов). Но вот загвоздка, Whosonline проверяет ip-адреса поисковых ботов и сообщает о том, что это бот поисковый только в том случае, если эта информация подтверждается данными whois. В этот раз проверка прошла успешно, хотя Яндекс нас обычно посещает с ip-адресов, начинающихся с 93, а в этот раз 199.

Посмотрел я данные whois и увидел, что адрес зарегистрирован на американскую компанию «Yandex Inc». К тому же в User-Agent'е бота имеется ссылка на страницу с информацией о нем (что правда, ip-адресов там нет). Хм, а я и не знал, что у Яндекса есть и англоязычный поиск...

Но все же, чего он решил загрузить все страницы сайта, если они и так были в индексе, да еще и за один день по две штуки за минуту?