Всем, привет. В последнее время у нас большое количество новых запусков и сегодня хотелось бы анонсировать курс «Сетевой инженер», который стартует уже в начале марта. Традиционно начинаем делиться с вами полезным материалом по теме, и сегодня публикуем первую часть статьи «Машинно-синестетический подход к обнаружению сетевых DDoS-атак». Поехали!
Аннотация. По мнению авторов, системы обнаружения аномалий или ADS (anomaly detection systems), по-видимому, являются наиболее перспективным направлением в области обнаружения атак, поскольку эти системы могут обнаруживать, среди прочего, неизвестные атаки (нулевого дня). Для выявления аномалий авторы предлагают использовать машинную синестезию. В этом случае машинная синестезия понимается как интерфейс, который позволяет использовать алгоритмы классификации изображений в задаче обнаружения сетевых аномалий, позволяя использовать неспециализированные методы обнаружения изображений, которые в последнее время широко и активно развиваются. Предлагаемый подход заключается в том, что данные сетевого трафика проецируются в изображение. Из результатов экспериментов видно, что предлагаемый способ обнаружения аномалий показывает высокие результаты в обнаружении атак. На большой выборке значение комплексного показателя эффективности достигает 97%.
Одним из методов обеспечения доступности сети является использование механизмов обнаружения сетевых аномалий. Прежде чем определить аномалию, необходимо выяснить, что считается нормальным состоянием. Мы рассматриваем состояние системы как «нормальное» (или «функционально жизнеспособное»), когда оно выполняет все назначенные ей функции.
Следовательно, аномалия — это состояние, при котором поведение системы не соответствует четко установленным характеристикам нормального поведения [1]. Внедрение механизмов быстрого обнаружения таких аномалий значительно увеличит шансы на эффективное реагирование на инциденты нарушения доступности сети.
Известные сетевые аномалии настолько разнообразны, что их нельзя категоризировать с помощью одной классификации. Однако существует четкое различие между активными и пассивными, внешними и внутренними, преднамеренными и непреднамеренными аномалиями и т. д. Поскольку эти различия не отражают все характеристики изучаемого явления, автор [2] предложил классификацию аномалий, основанную на объекте воздействия, то есть информационной системе, состоящей из аппаратного, программного обеспечения и сетевой инфраструктуры.
В соответствии с выбранным подходом сетевые аномалии можно разделить на две основные группы: неисправности узлов и нарушения безопасности. Неисправности узлов включают в себя сбои оборудования, ошибки проектирования и конфигурации, ошибки программного обеспечения и проблемы с производительностью оборудования. Нарушения безопасности сети включают в себя следующие аномалии: сканирование сети, отказ в обслуживании, вредоносные программы, распространение сетевых червей, использование уязвимостей, анализаторы трафика (снифферы) и сетевые модификаторы (инъекции пакетов, подмена заголовка и т. д.).
Наибольший финансовый ущерб операторам связи вызван инцидентами отказа в обслуживании (denial of service — DoS). DoS-атаки, в свою очередь, можно разделить на два типа: непреднамеренно вызванные «атаки» (ошибки проектирования и настройки сети, небольшое количество выделенных вычислительных ресурсов, резкое увеличение количества обращений к сетевому ресурсу) и преднамеренные атаки, например UDP-флуд, TCP-SYN-флуд, Smurf ICMP-широковещательный флуд и ICMP-флуд. Преднамеренные атаки представляют наибольшую угрозу, так как их труднее эффективнее смягчить, и потенциально они могут привести к большим потерям.
Анализ результатов исследований, опубликованных в [3,4,5,6,7,8], а также отчетов основных разработчиков систем информационной безопасности, показал, что не существует единого эффективного алгоритма для обнаружения и предотвращения атак типа «отказ в обслуживании». Обычно поставщики предлагают дорогостоящее решение, реализующее гибридный алгоритм, основанный на методах поиска по сигнатурам и внесении в черный список IP-адресов узла злоумышленника в качестве формы снижения риска. Примером является система ATLAS от Arbor, Ltd. Таким образом, проблема разработки инструментов для обнаружения распределенных DoS-атак с высокой степенью эффективности остается актуальной.
По мнению авторов, системы обнаружения аномалий или ADS, по-видимому, являются наиболее перспективным направлением в области обнаружения атак, поскольку эти системы могут обнаруживать, среди прочего, неизвестные атаки (нулевого дня). Почти все модели обнаружения аномалий, описанные в литературе, можно разделить пять групп:
Для выявления аномалий авторы предлагают использовать машинную синестезию. В этом случае машинная синестезия понимается как интерфейс, который позволяет использовать алгоритмы классификации изображений в задаче обнаружения сетевых аномалий, позволяя использовать неспециализированные методы обнаружения изображений, которые в последнее время широко и активно развиваются [23]. Предлагаемый подход заключается в том, что данные сетевого трафика «проецируются» в изображение. Накопление изменений изображения дает нам видеопоток, анализируя который, мы можем сделать вывод об аномальном состоянии наблюдаемой сети передачи данных.
Основой любой системы обнаружения аномалий является модуль, который анализирует сетевые пакеты и определяет их потенциальную вредоносность. В действительности ADS пытается классифицировать сетевой трафик на два подмножества: обычный трафик и сетевые атаки (не имеет значения, какая технология обнаружения используется: на основе сигнатур или статистическая). Следовательно, сама концепция ADS очень хорошо согласуется с целями алгоритмов классификации изображений — сопоставление исходного изображения с классом изображений из набора в соответствии с некоторыми характеристиками. Кроме того, классификация изображений как математический инструмент для анализа данных сетевого трафика и обнаружения сетевых атак имеет несколько преимуществ по сравнению с методами обнаружения аномалий, рассмотренными ранее. Эти преимущества представлены ниже.
3.1. Представление многомерных данных трафика TCP/IP в виде изображения
Авторы предлагают решить проблему представления метаданных сетевого трафика таким способом, который позволит использовать алгоритм распознавания образов для обнаружения аномалий в видеопотоке.
Рассмотрим сетевое оконечное устройство, собирающее трафик в виртуальном канале. Каждый собранный пакет имеет набор метаданных, представленных в виде вектора p:
где n — размерность вектора, P — набор всех векторов, id — идентификатор сеанса, date — временная метка регистрации терминалом, x1,…, xn — направление, адреса и порты отправителя и получателя, размер пакета, тип протокола, временная метка (как в заголовке сегмента TCP), различные флаги и поля обслуживания.
Для проецирования трафика в изображение используется метод ортогональной проекции [24]: каждый вектор p представлен точкой в многомерном пространстве, где n — размерность пространства, тогда все точки (пакеты), принадлежащие одному сеансу, проецируются в двумерное пространство:
где a, b — полученные эмпирическим путем базисные векторы для проекции в двумерное пространство, X — исходный вектор, построенный из p путем удаления элементов id и date, X0 — результат проекции, ? — векторное произведение, () — скалярное произведение.
Следующим этапом визуализации сетевого сеанса является соединение всех его точек, образующих выпуклую фигуру. Последний шаг — заполнить полученную фигуру цветом. Затем все повторяется для следующего сетевого сеанса. Результирующее изображение получается, когда процесс формирования изображения был выполнен для всех сетевых сеансов, перехваченных терминалом. Накопление изменений или дифференцирование этого изображения дает нам видеопоток. На рис. 1 показаны примеры изображений, которые отражают правильное («нормальное состояние») поведение сети.
Конец первой части.
Как вам материал? Ставьте плюсы, пишите комментарии и регистрируйтесь на открытый урок, который уже 18 февраля проведет наш преподаватель — инструктор академии Cisco по направлению CCNA Security — Алексей Кулиничев.
Аннотация. По мнению авторов, системы обнаружения аномалий или ADS (anomaly detection systems), по-видимому, являются наиболее перспективным направлением в области обнаружения атак, поскольку эти системы могут обнаруживать, среди прочего, неизвестные атаки (нулевого дня). Для выявления аномалий авторы предлагают использовать машинную синестезию. В этом случае машинная синестезия понимается как интерфейс, который позволяет использовать алгоритмы классификации изображений в задаче обнаружения сетевых аномалий, позволяя использовать неспециализированные методы обнаружения изображений, которые в последнее время широко и активно развиваются. Предлагаемый подход заключается в том, что данные сетевого трафика проецируются в изображение. Из результатов экспериментов видно, что предлагаемый способ обнаружения аномалий показывает высокие результаты в обнаружении атак. На большой выборке значение комплексного показателя эффективности достигает 97%.
1. Введение
Одним из методов обеспечения доступности сети является использование механизмов обнаружения сетевых аномалий. Прежде чем определить аномалию, необходимо выяснить, что считается нормальным состоянием. Мы рассматриваем состояние системы как «нормальное» (или «функционально жизнеспособное»), когда оно выполняет все назначенные ей функции.
Следовательно, аномалия — это состояние, при котором поведение системы не соответствует четко установленным характеристикам нормального поведения [1]. Внедрение механизмов быстрого обнаружения таких аномалий значительно увеличит шансы на эффективное реагирование на инциденты нарушения доступности сети.
Известные сетевые аномалии настолько разнообразны, что их нельзя категоризировать с помощью одной классификации. Однако существует четкое различие между активными и пассивными, внешними и внутренними, преднамеренными и непреднамеренными аномалиями и т. д. Поскольку эти различия не отражают все характеристики изучаемого явления, автор [2] предложил классификацию аномалий, основанную на объекте воздействия, то есть информационной системе, состоящей из аппаратного, программного обеспечения и сетевой инфраструктуры.
В соответствии с выбранным подходом сетевые аномалии можно разделить на две основные группы: неисправности узлов и нарушения безопасности. Неисправности узлов включают в себя сбои оборудования, ошибки проектирования и конфигурации, ошибки программного обеспечения и проблемы с производительностью оборудования. Нарушения безопасности сети включают в себя следующие аномалии: сканирование сети, отказ в обслуживании, вредоносные программы, распространение сетевых червей, использование уязвимостей, анализаторы трафика (снифферы) и сетевые модификаторы (инъекции пакетов, подмена заголовка и т. д.).
Наибольший финансовый ущерб операторам связи вызван инцидентами отказа в обслуживании (denial of service — DoS). DoS-атаки, в свою очередь, можно разделить на два типа: непреднамеренно вызванные «атаки» (ошибки проектирования и настройки сети, небольшое количество выделенных вычислительных ресурсов, резкое увеличение количества обращений к сетевому ресурсу) и преднамеренные атаки, например UDP-флуд, TCP-SYN-флуд, Smurf ICMP-широковещательный флуд и ICMP-флуд. Преднамеренные атаки представляют наибольшую угрозу, так как их труднее эффективнее смягчить, и потенциально они могут привести к большим потерям.
Анализ результатов исследований, опубликованных в [3,4,5,6,7,8], а также отчетов основных разработчиков систем информационной безопасности, показал, что не существует единого эффективного алгоритма для обнаружения и предотвращения атак типа «отказ в обслуживании». Обычно поставщики предлагают дорогостоящее решение, реализующее гибридный алгоритм, основанный на методах поиска по сигнатурам и внесении в черный список IP-адресов узла злоумышленника в качестве формы снижения риска. Примером является система ATLAS от Arbor, Ltd. Таким образом, проблема разработки инструментов для обнаружения распределенных DoS-атак с высокой степенью эффективности остается актуальной.
2. Существующие подходы
По мнению авторов, системы обнаружения аномалий или ADS, по-видимому, являются наиболее перспективным направлением в области обнаружения атак, поскольку эти системы могут обнаруживать, среди прочего, неизвестные атаки (нулевого дня). Почти все модели обнаружения аномалий, описанные в литературе, можно разделить пять групп:
- a) на основе поведенческого паттерна хранения [9,10]. Программная реализация этого подхода должна быть скомпилирована в ядро операционной системы, что практически невозможно (например, в доверенных вычислительных системах). Кроме того, постоянное присутствие компонента мониторинга приводит к общему замедлению всей системы примерно на 4-50%;
- b) на основе частоты [11,12]. Общими недостатками частотных методов являются их плохая адаптивность, поскольку эталонные значения частот определяются один раз с помощью обучающих наборов или по экспертным данным. Более того, эти методы обычно являются «не имеющими состояния», то есть порядок появления признаков не учитывается;
- c) на основе нейронной сети классификатора [13,14,15,16,17]. Недостатком многих нейронных сетей является их плохая пригодность для обработки неупорядоченных наборов данных. Введение искусственного порядка для набора значений элементов только исказит картину, поскольку нейронная сеть будет пересчитывать веса в соответствии с близостью числовых значений;
- d) на основе синтеза конечных автоматов (стейт-машина) [6,9,18,19,20]. Основным недостатком этого подхода является сложный процесс построения конечного автомата путем анализа сценария атаки. Кроме того, существуют ограничения на типы алгоритмов атаки, которые можно описать с помощью регулярных грамматик;
- e) другие, специальные: основанные на байесовских сетях [21], генетических алгоритмах [22] и т. д. Большинство работ предлагают только основную идею, алгоритм, часто непригодный для практического использования.
3. Предлагаемый подход
Для выявления аномалий авторы предлагают использовать машинную синестезию. В этом случае машинная синестезия понимается как интерфейс, который позволяет использовать алгоритмы классификации изображений в задаче обнаружения сетевых аномалий, позволяя использовать неспециализированные методы обнаружения изображений, которые в последнее время широко и активно развиваются [23]. Предлагаемый подход заключается в том, что данные сетевого трафика «проецируются» в изображение. Накопление изменений изображения дает нам видеопоток, анализируя который, мы можем сделать вывод об аномальном состоянии наблюдаемой сети передачи данных.
Основой любой системы обнаружения аномалий является модуль, который анализирует сетевые пакеты и определяет их потенциальную вредоносность. В действительности ADS пытается классифицировать сетевой трафик на два подмножества: обычный трафик и сетевые атаки (не имеет значения, какая технология обнаружения используется: на основе сигнатур или статистическая). Следовательно, сама концепция ADS очень хорошо согласуется с целями алгоритмов классификации изображений — сопоставление исходного изображения с классом изображений из набора в соответствии с некоторыми характеристиками. Кроме того, классификация изображений как математический инструмент для анализа данных сетевого трафика и обнаружения сетевых атак имеет несколько преимуществ по сравнению с методами обнаружения аномалий, рассмотренными ранее. Эти преимущества представлены ниже.
- Математический аппарат для классификации изображений хорошо разработан и апробирован на практике во многих других областях науки и техники.
- Большое количество алгоритмов классификации изображений и широкие возможности для их улучшения делают этот математический аппарат очень гибким и предоставляют обширный потенциал для повышения эффективности обнаружения вторжений в сеть.
- Большинство алгоритмов классификации изображений, демонстрирующих высокую практическую эффективность, относительно легко понять и реализовать в программном обеспечении.
- Классификация изображений очень эффективна даже при очень большом количестве входных данных. Этот факт заставляет нас считать эти методы особенно подходящими для анализа больших дампов сетевого трафика.
- Классификация изображений может быть применена даже при отсутствии априорной информации о важности определенных характеристик сетевых пакетов в контексте обнаружения определенных типов сетевых атак.
- Интерпретация результатов довольно проста и интуитивно понятна.
3.1. Представление многомерных данных трафика TCP/IP в виде изображения
Авторы предлагают решить проблему представления метаданных сетевого трафика таким способом, который позволит использовать алгоритм распознавания образов для обнаружения аномалий в видеопотоке.
Рассмотрим сетевое оконечное устройство, собирающее трафик в виртуальном канале. Каждый собранный пакет имеет набор метаданных, представленных в виде вектора p:
где n — размерность вектора, P — набор всех векторов, id — идентификатор сеанса, date — временная метка регистрации терминалом, x1,…, xn — направление, адреса и порты отправителя и получателя, размер пакета, тип протокола, временная метка (как в заголовке сегмента TCP), различные флаги и поля обслуживания.
Для проецирования трафика в изображение используется метод ортогональной проекции [24]: каждый вектор p представлен точкой в многомерном пространстве, где n — размерность пространства, тогда все точки (пакеты), принадлежащие одному сеансу, проецируются в двумерное пространство:
где a, b — полученные эмпирическим путем базисные векторы для проекции в двумерное пространство, X — исходный вектор, построенный из p путем удаления элементов id и date, X0 — результат проекции, ? — векторное произведение, () — скалярное произведение.
Следующим этапом визуализации сетевого сеанса является соединение всех его точек, образующих выпуклую фигуру. Последний шаг — заполнить полученную фигуру цветом. Затем все повторяется для следующего сетевого сеанса. Результирующее изображение получается, когда процесс формирования изображения был выполнен для всех сетевых сеансов, перехваченных терминалом. Накопление изменений или дифференцирование этого изображения дает нам видеопоток. На рис. 1 показаны примеры изображений, которые отражают правильное («нормальное состояние») поведение сети.
Конец первой части.
Как вам материал? Ставьте плюсы, пишите комментарии и регистрируйтесь на открытый урок, который уже 18 февраля проведет наш преподаватель — инструктор академии Cisco по направлению CCNA Security — Алексей Кулиничев.
amarao
Как предполагается различать ddos-атаку и slashdot эффект/чёрную пятницу?