Яндекс-бот взбесился

Каждый день у нас на сайтах висят разные боты Яндекса, но запросов к серверу они делают мало и не сильно часто. А сегодня зашел я в статистику нашего главного сайта и увидел, что какой-то подозрительный Яндекс-бот идет на рекорд по количеству просмотров станиц за сеанс.

Сначала я было подумал что это просто какой-то спам-бот замаскировался под поисковика и ищет странички с формами дабы внести их в список страниц для ботов-комментаторов (у нас такие частенько гуляют, в основном из Нидерландов). Но вот загвоздка, Whosonline проверяет ip-адреса поисковых ботов и сообщает о том, что это бот поисковый только в том случае, если эта информация подтверждается данными whois. В этот раз проверка прошла успешно, хотя Яндекс нас обычно посещает с ip-адресов, начинающихся с 93, а в этот раз 199.

Посмотрел я данные whois и увидел, что адрес зарегистрирован на американскую компанию «Yandex Inc». К тому же в User-Agent'е бота имеется ссылка на страницу с информацией о нем (что правда, ip-адресов там нет). Хм, а я и не знал, что у Яндекса есть и англоязычный поиск...

Но все же, чего он решил загрузить все страницы сайта, если они и так были в индексе, да еще и за один день по две штуки за минуту?


11.01.2012, 18:23
  Yandex, Яндекс, поиск, бот.
Просмотров: 1473.
13
Не, сайт не от этого тормозит. У нас уже давно нет тормозов от большого количества запросов, иначе мы бы все время висели благодаря словарю и прохождениям. Улыбка

Бот, кстати, до сих пор висит на сайте и посылает запросы с той же частотой.
Комментарий был отправлен 11.01.2012, 22:30. Автор: Alik.
А я еще и думаю, чего это сайт притормаживает))
Может хоть позиции сайта повысит в поиске)
Комментарий был отправлен 11.01.2012, 22:11. Автор: Selina.