Поисковые боты Mail.ru ― это нечто. Как только они вдруг решают заглянуть на сайт ― нагрузка на сервер поднимается так, как не поднимается от тысячи запросов обычных пользователей, но логика сканирования заслуживает отдельного упоминания.

Недавно у нас открылась русская версия сайта. Google и Яндекс незаметно все там просмотрели и внесли в свои индексы. Но Mail.ru ― это вам не Яндекс какой-нибудь! Боты этого прекрасного сервиса совершенно игнорируют sitemap.xml и nofollow,noindex в итоге сканируя сайт по какому-то, понятному только создателям принципу. Вот, к примеру, полный список страниц русской версии сайта, доступных для индексации поисковыми системами. Но вышеупомянутых ботов эти страницы не заинтересовали, и они, игнорируя директивы robots.txt начали исследовать систему рейтинга фотографий, отправляя каждой фотографии по очереди оценки от одной до пяти звездочек, и это не смотря на то, что в системе рейтинга все ссылки помечены как noindex,nofollow и заключены в .

P.S. Сегодня узнал о том, что Яндекс теперь тоже поддерживает rel=’nofollow’. Какая прекрасная новость! Вот бы теперь все ПС отказались от собственных тегов и тоже стали понимать эту директиву, ведь если каждая ПС будет требовать указания собственного тега, то код сайта превратится в невалидное четри-что.

P.P.S. Google по ходу тоже недолюбливает маилрушечку. По запросу ’mail.ru logo’ поиск картинок выдал мне картинку с ПМХ.