Пришло время рассказать обо всех обновлениях за прошедшую неделю, так как уже с завтрашнего дня у нас начнется новая рабочая неделя и, боюсь, о некоторых нововведениях я уже и позабуду.

Расширился функционал встроенной системы статистики IWE ― Whosonline. Если до сегодняшнего дня она регистрировала только ключевые слова, по которым посетители приходят на сайт из поисковых систем, а также некоторые данные по географии посещений, то теперь в статистике появилась функция, которой я ждал уже достаточно давно и которая должна была появиться несколько позже, чем статистика по ключевым словам. Итак, теперь Whosonline будет также собирать статистику касательно сайтов, по ссылкам с которых посетители переходят на Ваш сайт. С помощью этого же механизма можно отследить поисковые системы, которые не учитываются в статистике по ключевым словам, однако которые индексируют сайт и предоставляют своим пользователям ссылки на него на страницах поисковой выдачи. Так, к примеру, за тестовое время работы механизмы мы выяснили, что на наш сайт переходят люди и с ask.com, и с meta.ua и даже с китайской поисковой системы baidu.com, в которой, к сожалению, мне так и не удалось найти ни одной ссылки на наш сайт, однако же переходы имеются, а это значит, что сайт в индексе имеется, просто я не могу подобрать такое ключевое слово, по которому сайт был бы найден (если Вы воспользуетесь поиском от Baidu, то Вы поймете о чем я: в Baidu есть удивительная способность разбивать русские слова по буквам и искать в индексе отдельные буквы, благодаря чему по любому русскоязычному запросу отобразится куча других страниц, не имеющих никакого отношения к поисковому запросу, однако написанных на русском языке). За время тестовой работы этот механизм статистики неплохо научился отделять зерна от плевел и не учитывать в списке ссылающихся сайтов те сайты, которые гоняют ботов по Интернету со ссылкой на себя в HTTP_REFERRER, коих на нашем сайте настолько много, что за первый день функционирования мы собрали краткий справочник мошеннических сайтов, использующих черные SEO-технологии.

Также среди важных обновлений отмечу введение в скриптах на базе ядра IWE системы защиты от DDoS. По сути дела, эта система ― младшая сестра другой нашей разработки ― системы «Magna», однако последняя ― это, по сути дела, прокси сервер, который нужно установить на ту же физическую машину, где располагается и HTTP-сервер. Для обычных клиентов это достаточно сложный и трудоемкий процесс, поэтому данную систему мы предлагаем лишь крупным корпоративным клиентам. Теперь же у всех появилась возможность использовать облегченную версию, «MagnaLink», которая будет защищать на сервере только конкретный сайт на базе ядра IWE. Здесь все намного проще, чем в standalone-версии: система пытается определить вредоносные запросы и отдает ошибку 400, либо вносит особо активные IP-адреса и сети в стоп-лист. Тут сразу стоит отметить, что защита от DDoS на уровне CMS ― не панацея и факт ее использования вовсе не означает, что никаких иных средств защиты не требуется. По сути дела, «MagnaLink» призвана лишь отреагировать на атаку несколько раньше серверных средств и оградить контент от вредоносных запросов. На выходных мы провели тестирование на своем сайте и пришли к выводу, что такая защита позволяет снизить нагрузку на сервер при атаке до 66% (то есть, на 2/3), что, в принципе, уже неплохо.

Единственная загвоздка тут ― это невозможность отличить запросы плохих ботов от запросов роботов поисковых систем. В standalone-версии для этого есть компонент «MagnaTrust», который производит верификацию IP-адресов для тех подключений, в User-Agent которых указаны данные поисковых систем. При включении же этой функции в «MagnaLink» мы пришли к выводу, что это приведет не к снижению нагрузки на сервер при DDoS-атаке, а напротив, к ее увеличению до 20%, что совершенно неуместно. Реализовать же проверку по другой технологии будет достаточно сложно, так как это лишние кешированные данные, которые будут занимать достаточно много места на жестком диске, но при этом, быть может, не потребуются совсем никогда.