Всем привет! Меня зовут Никита, я работаю в центре машинного обучения «Инфосистемы Джет». Сейчас я учусь в своей второй магистратуре в ВШЭ ФКН на программе «Современные компьютерные науки» и в Школе анализа данных (ШАД).

Сегодня я хочу рассказать о сравнительно новой концепции, которая становится все более актуальной и использование которой совершенно точно необходимо в больших промышленных ML-проектах, — MLSecOps.

❓Что такое MLSecOps?

MLSecOps (Machine Learning Security Operations) — это комбинация методов из области DevOps, безопасности и машинного обучения. Не трудно догадаться, что основной целью MLSecOps является обеспечение безопасности моделей на всех этапах их жизненного цикла, начиная от разработки и обучения и заканчивая деплоем и эксплуатацией. В статье я расскажу о нескольких подходах для защиты ML-систем.

?Почему это так важно?

Представим, что какой-нибудь недобросовестный человек решил проникнуть внутрь системы и украсть ваши конфиденциальные данные, — звучит не очень круто, да?
Например, атаки типа man-in-the-middle могут позволить злоумышленникам перехватывать и изменять данные, передаваемые между компонентами системы.

Более наглядный пример — это adversarial attacks, когда злоумышленники манипулируют входными данными модели, заставляя ее делать ошибочные предсказания, что в случае, например, медицинских приложений может привести к неправильной диагностике, а в системах финансового анализа — к огромным убыткам.

Эти угрозы подчеркивают необходимость внедрения строгих мер безопасности для защиты данных и моделей на всех этапах их жизненного цикла.

?Кому нужна эта статья?

Думаю, всем, кто занимается проектами в сфере ML, этот пост может оказаться полезным, тем более что других статей на эту тему на Хабре я пока не нашел (может, я смогу привлечь внимание и спровоцирую рост количества статей, соответственно и развитие этой концепции).
О том, как внезапно родился и вырос интерес к теме MLSecOps, лучше всяких слов говорит график запросов:

Space ISAC также подчеркнул критическую важность MLSecOps для обеспечения надежности и безопасности систем AI/ML. Так что вангую, что в последующие месяцы показатель количества интересующихся темой будет также драматически расти. Поэтому предлагаю перейти сразу к делу и узрить MLSecOps.
P.S. Позже планирую опубликовать результаты моего более глубокого погружения в тему с примерами использования различных инструментов, библиотек и фреймворков.

?Три пункта, почему об этом стоит хотя бы задуматься

1. Данные — новое нефть
   Как правило, модели обучаются на больших объемах данных и зачастую могут содержать конфиденциальную информацию, а потеря или компрометация этих данных может иметь катастрофические последствия. Например, для ретейла утечка данных о торговле, используемых для обучения моделей, может позволить вашим конкурентам получить представление о торговых стратегиях, что нарушит рыночную целостность и конкурентоспособность бизнеса.

2. Атаки на модели
   Наши недоброжелатели могут манипулировать входными данными (атаки на входы) или изменять поведение моделей (атаки на модели), чтобы они делали неправильные предсказания или получали ту информацию, которую, к примеру, наша LLM не должна выдавать.

3. Приватность данных
   Соблюдение, например, федерального закона «О персональных данных» в России или его аналога, действующего в ЕС (General Data Protection Regulation, GDPR), и других нормативных актов требует применения надежных мер безопасности.

?Разница между MLSecOps и DevSecOps

DevSecOps:

• интеграция безопасности на всех этапах разработки программного обеспечения;

• основной фокус на обеспечении безопасности кода и инфраструктуры.

MLSecOps:

• включает в себя все аспекты DevSecOps и добавляет специфические методы и инструменты для обеспечения безопасности данных и моделей машинного обучения;

• дополнительный фокус на защите данных, используемых для обучения моделей, и на защиту самих моделей от атак и манипуляций.

?А кто-то уже внедрил MLSecOps?

Например, в 2016 году Microsoft запустила AI-чатбота Tay, который подвергся атаке на данные и начал генерировать нежелательный контент. В ответ на эту атаку Microsoft разработала и опубликовала инструменты защиты от атак на основе AI, такие как Counterfit, который есть в открытом доступе.

Также компания Ericsson, которая использует AI/ML для различных своих продуктов, внедрила Secure MLOps для интеграции практик безопасности на всех этапах жизненного цикла ML. Они используют базовые меры безопасности, такие как STRIDE, Microsoft AI Security Risk Assessment и MITRE`s ATLAS для оценки и управления рисками.

?Пайплайн разработки MLSecOps

В этой главе я описал справочную информацию об основных аспектах безопасности этой концепции, на которые стоит обратить внимание. Можно пройтись по ним как по чек-листу, чтобы проверить, все ли используется в вашем проекте. :)

Этап 1: ML SYSTEM DESIGN

Описание этапа: ML System Design включает в себя проектирование и архитектуру системы машинного обучения, которая будет устойчива к угрозам безопасности и сможет эффективно решать поставленные задачи. Этот этап охватывает выбор архитектуры, проектирование компонентов системы, а также обеспечение безопасности и надежности системы.

1. Оценка безопасности модели

• Идентификация угроз: На этапе проектирования ML-модели необходимо проводить всесторонний анализ векторов атак для построения модели угроз.

• Тип модели и задачи: Разные типы моделей (например, LLMs, GANs, нейронные сети) имеют различные уровни уязвимости. Важно учитывать:

  • специфику моделей и их уязвимость к различным типам атак;

  • бизнес-задачи, которые решает модель, и критичность данных.

2. Оценка данных

• Анализ источников данных: Оценка доверенности и происхождения данных. Важно проверить, что данные поступают из проверенных и надежных источников.

  • Проверка поставщиков данных и процедур их обработки.

  • Обеспечение целостности данных на всех этапах сбора и передачи.

• Конфиденциальность данных: Оценка данных на предмет конфиденциальности.

  • Оценка наличия PII (Personally Identifiable Information), данных о банковских картах и других видах чувствительной информации.

  • Внедрение методов защиты данных, таких как шифрование и анонимизация.

3. Выставление требований и анализ рисков по кибербезопасности

• Формирование требований: Определение и документирование требований безопасности для ML-системы.

  • Формирование политики безопасности, включающей в себя правила доступа, шифрование данных, мониторинг, управление инцидентами и т.д.

• Оценка возможных рисков и принятие обоснованных решений, которое включает в себя разработку планов управления рисками, включающих стратегии снижения, передачи, принятия или отказа от рисков, а также регулярное проведение оценки рисков и обновление стратегий безопасности в соответствии с изменяющимися угрозами и уязвимостями.

Этап 2: Data Operations (Операции с данными)

Описание этапа: Data Operations включает в себя все процессы, связанные с управлением данными на протяжении всего их жизненного цикла. Этот этап включает сбор, обработку, хранение и управление данными, которые будут использоваться для обучения и работы моделей машинного обучения.

Основные процессы:

1. Сбор данных:

   • сбор данных из различных источников, включая базы данных, сенсоры, веб-сайты и другие системы;

   • обеспечение соответствия собираемых данных требованиям по качеству и безопасности.

2. Очистка данных:

   • удаление дубликатов, заполнение пропущенных значений и корректировка некорректных данных;

   • обнаружение и исправление аномалий.

3. Подготовка данных:

   • преобразование данных в формат, подходящий для машинного обучения (например, нормализация, кодирование категориальных данных);

   • создание признаков, которые будут использоваться в моделях (feature engineering).

4. Хранение данных:

   • безопасное хранение данных с использованием шифрования и других методов защиты;

   • обеспечение доступа к данным только авторизованным пользователям.

5. Управление данными:

   • ведение журналов доступа и изменений данных для обеспечения аудируемости;

   • обеспечение соблюдения нормативных требований (например, GDPR, CCPA).

Этап 3: Model Operations (Операции с моделями)

Описание этапа: Model Operations включает в себя разработку, оценку и управление моделями машинного обучения. Этот этап охватывает все процессы от выбора и настройки алгоритмов до отслеживания и обновления моделей в процессе их эксплуатации.

Основные процессы:

1. Выбор и настройка алгоритмов:

   • выбор подходящего алгоритма машинного обучения для решения конкретной задачи;

   • настройка гиперпараметров модели для оптимизации ее производительности.

2. Тренировка моделей:

   • обучение модели на подготовленных данных;

   • валидация модели для проверки ее производительности на новых данных.

3. Оценка моделей:

   • оценка качества модели с использованием тестовых наборов данных;

   • проведение экспериментов для улучшения модели и сравнение различных версий.

4. Управление моделями:

   • версионирование моделей для отслеживания изменений и обновлений;

   • управление жизненным циклом моделей от разработки до развертывания и эксплуатации.

5. Обеспечение безопасности моделей:

   • защита моделей от различных угроз, таких как атаки на гиперпараметры, использование вредоносных библиотек и т.д.

Этап 4: Model Deployment and Serving (Развертывание и обслуживание моделей)

Описание этапа: Model Deployment and Serving включает в себя процессы развертывания обученных моделей в производственные среды и обеспечение их доступности для использования. Этот этап охватывает создание образов моделей, изоляцию, масштабирование, мониторинг и управление запросами на выводы.

Основные процессы:

1. Создание образов моделей:

   • подготовка моделей для развертывания, включая контейнеризацию и создание образов;

   • проверка моделей на наличие уязвимостей перед развертыванием.

2. Изоляция и безопасное развертывание моделей:

   • обеспечение изоляции моделей для предотвращения несанкционированного доступа и манипуляций;

   • использование контейнеров или виртуальных машин для безопасного развертывания.

3. Масштабирование и автоматизация:

   • обеспечение автоматического масштабирования моделей в зависимости от нагрузки;

   • настройка механизмов автоматического обновления и отката моделей.

4. Мониторинг и управление запросами:

   • мониторинг производительности и точности моделей в реальном времени;

   • управление запросами на выводы, включая балансировку нагрузки и ограничение скорости.

5. Обеспечение безопасности моделей:

   • защита моделей от различных атак, таких как инъекции в запросы, манипуляции с выводами и другие угрозы.

Этап 5: Operations and Platform

Описание этапа: Operations and Platform включает управление инфраструктурой и операциями, обеспечивающими стабильную и безопасную работу систем машинного обучения. Этот этап охватывает управление уязвимостями платформы, патчинг, изоляцию моделей, контроль доступа и эксплуатацию инструментов CI/CD.

Основные процессы:

1. Управление уязвимостями и патчинг:

   • регулярное сканирование инфраструктуры и приложений на наличие уязвимостей;

   • оперативное применение обновлений и патчей для устранения выявленных уязвимостей.

2. Изоляция и контроль доступа:

   • обеспечение изоляции моделей и систем для предотвращения несанкционированного доступа.

   • настройка и управление правами доступа для различных ролей и пользователей.

3. Мониторинг и аудит:

   • непрерывный мониторинг работы моделей и платформы для выявления аномалий и инцидентов;

   • ведение журналов аудита для отслеживания действий и изменений в системе.

4. Эксплуатация инструментов CI/CD:

   • настройка и использование инструментов для непрерывной интеграции и доставки (CI/CD);

   • автоматизация процессов развертывания, тестирования и обновления моделей.

5. Соответствие нормативным требованиям:

   • обеспечение соответствия требованиям безопасности и конфиденциальности данных;

   • регулярные аудиты и проверки на соответствие нормативным требованиям и стандартам.

Резюмирую

MLSecOps — это не просто концепция, а необходимость для современных ML-проектов. Он обеспечивает безопасность моделей на всех этапах их жизненного цикла — от разработки до эксплуатации.

А насколько, по вашему мнению, необходимо введение нового термина MLSecOps? Может ли существующий подход DevSecOps покрыть все аспекты безопасности в ML-проектах?

Надеюсь, этот материал оказался вам полезен. С удовольствием обсужу в комментариях различные мнения об аспектах технологии, пишите, отвечу.

? Полезные ссылки и материалы:

⏺️ MLSecOps: Ensuring Security and Trust in Machine Learning Systems

⏺️ Snowflake AI Security Framework

⏺️ OWASP: LLM AI Cybersecurity & Governance Checklist