В сфере кибербезопасности доступ к актуальной информации о возможных угрозах — это решающий фактор обеспечения защиты. Поэтому специалисты активно используют матрицу MITRE Atlas — обширную базу знаний о техниках и тактиках злоумышленников, совершающих атаки на системы искусственного интеллекта. Но эффективно работать с ней могли только пользователи с хорошим знанием языка, ведь интерфейс был полностью на английском. Факультет ФБИТ ИТМО перевел её на русский язык — теперь русскоязычная версия матрицы доступна всем на сайте факультета. В этой статье рассказываем о проекте — что это за матрица, кому она полезна и зачем вообще нужен был перевод.

Что такое матрица MITRE Atlas

Популярность темы безопасности искусственного интеллекта растет вместе с развитием самих моделей машинного обучения. Чтобы как‑то классифицировать угрозы и дать разработчикам понятные инструменты для создания более безопасных решений, корпорация MITRE собрала из открытых источников базу знаний о техниках и тактиках, которые применяют злоумышленники.

Матрица MITRE Atlas (Adversarial Threat Landscape for Artificial‑Intelligence Systems) появилась сравнительно недавно — около полутора лет назад. Как и более известная база знаний корпорации MITRE, матрица ATT&CK®, она организована по принципу таблицы.

MITRE Atlas сосредоточена на атаках на системы искусственного интеллекта. Матрица позволяет в общих чертах предсказывать, как будет действовать злоумышленник, планируя и реализуя нападение на систему.

Создавая матрицу, корпорация MITRE использовала опыт различных исследователей — собственных команд, red team других компаний, которые анализируют системы искусственного интеллекта на безопасность и защищенность, а также результаты академических исследований. Среди крупных участников проекта — корпорации Microsoft, Google, Kaspersky. Матрица регулярно обновляется — в нее попадают новые разобранные кейсы.

Матрицу MITRE Atlas, как и более известную базу MITRE ATT&CK®, используют в первую очередь специалисты по кибербезопасности в компаниях — чтобы выявлять атаки, противодействовать им и в целом строить более надежную инфраструктуру. Также она востребована научным сообществом в исследовательских целях и разработчиками систем искусственного интеллекта — чтобы изначально обеспечить более высокий уровень безопасности своих решений.

Матрица в деталях

Матрица позволяет изучить возможные вектора атак и предположить действия злоумышленников, пытающихся взломать системы с моделями машинного обучения. Это удобный вариант систематизации общедоступной информации о кибербезопасности.

Фактически, MITRE Atlas — это таблица. Столбцы — это тактики злоумышленников (этапы атаки — MITRE выделяет 12 таких этапов), а в ячейках каждого из столбцов представлены наиболее часто используемые в рамках данной тактики техники. т. е. тактика — это то, как злоумышленник действует на разных этапах своей операции, какая цель или задача стоит перед ним на определенным шаге. Техника — это то, как как злоумышленник достигает цели или поставленной задачи, какие он использует инструменты и технологии.

Также в матрице рассматриваются сценарии (case studies) и средства обнаружения и противодействия атакам. В первую очередь это необходимо для поиска уязвимостей в уже существующих системах или обнаружения атаки на ранней стадии.

В MITRE Atlas есть довольно много пересечений с MITRE ATT&CK®, поскольку одним из этапов атаки на систему искусственного интеллекта может быть эксплуатация классических уязвимостей. Но в то же время в ней есть и специфичные вещи. Например, это разработка собственных инструментов для атак на модели машинного обучение, генерация «отравляющих» данных и внедрение их в наборы для обучения модели (под «отравляющими» подразумеваются данные, использование которых для обучения ведет к тому, что модель будет давать неверное предсказание, т. е. в нее уже на старте будут заложены определенные уязвимости, которые впоследствии злоумышленники смогут эксплуатировать).

Еще один пример — доступ к API модели машинного обучения. Многие модели сейчас размещены открыто, к ним предоставляется доступ по подписке или даже бесплатно. Имея такой доступ и направляя множественные запросы в API, злоумышленник может скопировать модель и восстановить ее у себя.

В матрице можно почерпнуть идеи, какие действия стоит предпринять, чтобы не столкнуться с различными атаками, определив для себя наиболее приоритетное направление. Например, можно запретить выкладывать статьи о своих разработках в области искусственного интеллекта в базы препринтов, поскольку известно, что очень часто злоумышленники берут информацию о разработках конкретной компании (и возможных уязвимостях в ее безопасности) именно там.

Любопытно, что теоретически и сами злоумышленники могут использовать MITRE Atlas, как базу знаний о возможных подходах к взлому. Но информационная безопасность — это всегда своего рода «гонка вооружений». С одной стороны — злоумышленники, пытающиеся найти уязвимость и использовать ее так, чтобы получить максимальную выгоду, а с другой — специалисты по кибербезопасности, которым для выявления подобных действий нужен оперативный доступ ко всем знаниям по этой теме.

Зачем нужен перевод

Сегодня на русском языке достаточно мало информации по теме безопасности искусственного интеллекта. Вместе с тем тематика крайне актуальна. Повышение доступности информации и расширение круга потребителей (студенты, исследователи, разработчики, специалисты по кибербезопасности и по data science) позволяют облегчить получение передовых знаний, усилить потенциал российских исследователей в развитии данного направления.

Сама идея и потребность в переводе появилась при подготовке нового курса «Атаки на системы искусственного интеллекта». Этот курс реализуется на факультете безопасности информационных технологий (ФБИТ) в рамках программы «Безопасность систем искусственного интеллекта». На данной программе фокус сделан на возможные атаки на системы искусственного интеллекта, а также на такие понятия, как кибер устойчивость и методы противодействия атакам. Изучаются различные подходы к валидации программного обеспечения и готовых библиотек, криптографические методы. По итогам обучения магистранты могут проводить анализ безопасности систем на всех этапах их жизненного цикла — от проектирования до ввода в эксплуатацию.

Автор данного курса, Воробьева Алиса, к.т. н., доцент ФБИТ, в процессе подготовки обнаружила, что переведены только фрагменты информации, а большая часть информации доступна только в статьях на английском языке. Так и появилась идея перевода MITRE Atlas — в первую очередь чтобы получить полноценные материалы для образовательных программ ИТМО.

Работу по переводу выполнила группа исследователей и разработчиков ФБИТ под руководством Воробьевой Алисы, занимающаяся вопросами безопасности искусственного интеллекта, в том числе:аспирант Дмитрий Сивков, магистранты Роман Сафиуллин и Кирилл Ерыпалов. Сейчас это достаточно мало изученное направление. Многие группы сегодня занимаются в основном выявлением дипфейков и текстов, сгенерированных искусственным интеллектом. Но область безопасности самого ИИ не менее актуальна, особенно для компаний, использующих модели машинного обучения в своей работе.

Перевод оказался довольно трудоемким, поскольку в этой сфере есть очень много специфической терминологии, а устоявшихся русскоязычных аналогов еще нет. Каждому такому термину пришлось подбирать наиболее близкий русскоязычный термин из уже сформировавшегося лексикона. Для этого приходилось штудировать опубликованные ранее статьи по теме (дабы не изобретать велосипед) у таких компаний, как Kaspersky, Positive Technologies и других.

Для относительно свежих понятий устоявшегося аналога не было. Постоянно появляются новые виды атак. Их описания переводят на русский язык, но не всегда это делают правильно. Иногда используют простые заимствования и транслитерации, например adversarial attacks пытаются переводить как адверсальные атаки, но это некорректно. В подобных случаях переводчикам пришлось предлагать собственную терминологию.

Русскоязычная версия размещена на сайте факультета: https://atlas.securityhub.ru/. Как и англоязычный аналог, она интерактивная — в каждое из полей можно углубляться, изучая кейсы.

Поскольку матрица на английском языке постоянно обновляется — по мере выявления атак в нее добавляются новые кейсы — обновления выходят и на русском языке. Учитывая ограниченность ресурсов группы, происходит это с небольшим опозданием относительно выхода оригинала (в несколько дней). Группа планирует продолжить работу в этом направлении, поддерживая матрицу в актуальном состоянии.

Предполагается, что на русском языке матрица MITRE Atlas будет использоваться не только в образовательных целях, но также будет востребована компаниями, использующими модели искусственного интеллекта и исследовательскими группами.