Появление новых технологий часто открывает новые пространства для злоумышленников - возникают новые вектора атак, а технологии защиты зачастую не поспевают за ними.

В таких условиях коммерческие институты инициируют разработку фреймворков, стандартов и продуктов новых классов. Еще эффективнее идет развитие, когда коммерческий блок объединяет усилия с регуляторами, сейчас такое содействие организовывается, например, в рамках консорциума "Исследований безопасности технологий ИИ".

Результаты такой совместной работы мы сможем оценить в будущем, а сейчас я хочу поделиться своим анализом существующих на данный момент документов, регламентирующих тему безопасности ИИ в России.

Немного обо мне: меня зовут Слава и я являюсь студентом магистратуры AI Talent Hub в ИТМО, прохожу практику в лаборатории ITMO AI Security Lab и уже несколько лет работаю в сфере ИБ.

Введение

На момент написания статьи самыми цитируемыми документами среди тех, в которых упоминается тема безопасности ИИ являются следующие:

• Указ Президента № 490 - "О развитии искусственного интеллекта в Российской Федерации" - ссылка

• Приказ ФСТЭК №117 - "Требования о защите информации, содержащейся в государственных информационных системах, иных информационных системах государственных органов, государственных унитарных предприятий, государственных учреждений" - ссылка

• ПНСТ 836-2023 - "Функциональная безопасность и системы искусственного интеллекта" - ссылка

Документы с меньшим фокусом на безопасность, частично затрагивающие её:

• ГОСТ Р 59898-2021 - "Оценка качества систем искусственного интеллекта"

• ПНСТ 840-2023 - "Искусственный интеллект. Обзор этических и общественных аспектов"

Начнём с указа, ведь он утверждает стратегию, необходимую для любой масштабной работы.

Указ - стратегия "О развитии искусственного интеллекта в Российской Федерации"

Чем интересен документ:

В данном документе вводится терминология, определяются цели и задачи развития ИИ, а также уточняется мотивация его применения в национальных интересах, все описывается на высоком уровне абстракций - инструкций о защите вашей модельки здесь не найти.
Многие другие документы, как например, Приказ ФСТЭК №117 ссылаются на данный указ.

Останавливаясь на терминологии стоит зафиксировать определение доверенных технологий ИИ:

Доверенные технологии искусственного интеллекта - технологии, отвечающие стандартам безопасности, разработанные с учетом принципов объективности, недискриминации, этичности, исключающие при их использовании возможность причинения вреда человеку и нарушения его основополагающих прав и свобод, нанесения ущерба интересам общества и государства

Другие понятия новизной не отличаются, просто задают значения основных терминов: что такое вычислительная система, ИИ, наборы данных, их разметка и так далее.

Понять, зачем государству нужен ИИ, поможет определение целей его развития:

Целями развития искусственного интеллекта в Российской Федерации являются обеспечение роста благосостояния и качества жизни ее населения, обеспечение национальной безопасности и правопорядка, достижение устойчивой конкурентоспособности российской экономики, в том числе лидирующих позиций в мире в области искусственного интеллекта.

Как видно, безопасность вводится вместе с целями развития всего ИИ, но что же она значит - сможете ли вы несколькими словами ее описать? Я — нет, и если бы начал вводить определение, то точно бы наговорил что-то про конфиденциальность, целостность и доступность, но, забегая вперед, в ПНСТ 836-2023 мне встретилось намного более лаконичное определение:

безопасность (safety): Отсутствие неприемлемого риска.

Как говорится, три главных слова.

А риск в свою очередь имеет следующее определение:

риск; риск функциональной безопасности (risk; functional safety risk): Сочетание вероятности события причинения вреда и тяжести этого вреда.

С понятием безопасности разобрались, в указе она в первый раз встречается в перечислении вызовов, стоящих перед РФ, справедливо отмечая появление новых угроз при использовании ИИ:

II. Развитие искусственного интеллекта в России и в мире
17.16. Изменение экономической ситуации, односторонние ограничительные меры недружественных иностранных государств и иные изменения рыночной конъюнктуры, которые произошли в 2022 - 2023 годах, определили новые вызовы для Российской Федерации:
ж) необходимость обеспечения безопасности при разработке и использовании технологий искусственного интеллекта;
...
к) возникновение в сфере разработки, создания и использования технологий искусственного интеллекта новых типов угроз информационной безопасности, нехарактерных для других сфер применения информационных технологий;

Также безопасность упоминается среди принципов развития и использования ИИ - если коротко, то они обязывают предотвращать использование ИИ в зловредных целях и митигировать риски возникновения негативных последствий:

III. Основные принципы развития и использования технологий искусственного интеллекта
...
б) безопасность: недопустимость использования искусственного интеллекта в целях умышленного причинения вреда гражданам и организациям, предупреждение и минимизация рисков возникновения негативных последствий использования технологий искусственного интеллекта (в том числе несоблюдения конфиденциальности персональных данных и раскрытия иной информации ограниченного доступа), а также использование искусственного интеллекта в целях обеспечения информационной безопасности;
к) защищенность: безопасность и правовая охрана технологий искусственного интеллекта, разграничение ответственности организаций - разработчиков и пользователей технологий искусственного интеллекта исходя из характера и степени причиненного вреда, а также защита указанных пользователей от противоправного применения технологий искусственного интеллекта;
л) достоверность исходных данных: методологическое и технологическое обеспечение достоверности исходных данных, способствующее минимизации или устранению угрозы негативного воздействия на них.

На основе упомянутых ранее целей сформулированы задачи, включающие внедрение доверенных технологий искусственного интеллекта для обеспечения безопасности РФ и создание необходимой нормативно-правовой базы:

24. Основными задачами развития искусственного интеллекта в Российской Федерации являются:
...
е) обязательное внедрение доверенных технологий искусственного интеллекта в тех областях его использования, в которых может быть нанесен ущерб безопасности Российской Федерации;
ж) создание комплексной системы нормативно-правового регулирования общественных отношений, связанных с развитием и использованием технологий искусственного интеллекта, обеспечение безопасности применения таких технологий;

Приказ ФСТЭК №117

Данный документ является новой версией приказа №17, привнося множество нововведений, в число которых входит ИИ - о нем пишется следующее:

• При разработке системы с ИИ нужно думать и о безопасности самого ИИ (пункт 34)

• Для анализа логов можно использовать технологии доверенного ИИ (пункт 49)

• При использовании для функционирования информационных систем искусственного интеллекта нужно предотвращать любые попытки воздействия на модель, а также запрещено использовать информацию для служебного использования в целях обучения моделей (пункт 60)

• Определены требования к ответам модели, если у пользователей есть к ней доступ. Правила есть как для structured generation, так и для обычных текстовых ответов. Кроме того, расписаны необходимые действия по обработке запросов к модели и её ответов вне зависимости от типа генерации (пункт 61)

Обзор других изменений относительно предыдущей версии указа уже публиковался на Хабре - ссылка.

ПНСТ 836-2023

Чем интересен стандарт:

Данный документ описывает применение технологий ИИ в целях защиты информации. Применение данных технологий способствует появлению новых факторов риска, поэтому в документе рассматриваются также характеристики и связанные с ними факторы риска для функциональной безопасности в самих системах ИИ.
В приложениях приведены кейсы применения настоящего стандарта. Например, в приложении D показана связь между жизненным циклом безопасности, установленным в ГОСТ Р МЭК 61508-1, и жизненным циклом системы ИИ.

ПНСТ расшифровывается как "Предварительный национальный стандарт". Данный ПНСТ является переводом международного стандарта ISO/IEC DTR 5469 "Artificial intelligence - Functional safety and AI systems", модифицированным под особенности российской национальной стандартизации.

Часть терминологии вводимой данным документом мы уже ранее разбирали, но на ней стоит остановиться еще раз, так как само название документа "Функциональная безопасность и системы искусственного интеллекта" содержит не самое очевидное понятие функциональной безопасности. Рассмотрим его определение в тексте документа:

Функциональная безопасность (functional safety): Часть общей безопасности, обусловленная применением УО и системы управления УО и зависящая от правильности функционирования Э/Э/ПЭ систем, связанных с безопасностью, и других средств по снижению риска.

Управляемое оборудование; УО (equipment under control; EUC): Оборудование, машины, аппараты или установки, используемые для производства, обработки, транспортирования, в медицине или в других процессах.

Электрический/электронный/программируемый электронный; Э/Э/ПЭ (electrical/electronic/programmable electronic; E/E/PE): Основанный на электрической (Э), и/или электронной (Э), и/или программируемой электронной (ПЭ) технологии.

Грубо говоря функциональная безопасность — это гарантия того, что технические системы выполняют свои защитные функции правильно и вовремя, чтобы не допустить вреда людям, окружающей среде или имуществу.

Далее представлено описание смысловой нагрузки для каждого значимого раздела документа (все разделы за исключением тех, которые описывают область применения, нормативные ссылки, термины и определения, сокращения, общие положения функциональной безопасности).

Раздел 6 - "Использование технологии ИИ в Э/Э/ПЭ системах, связанных с безопасностью"

В разделе описывается схема классификации, показывающая применимость ИИ в задачах обеспечения безопасности учитывая разные контексты использования. Схема классификации представлена двумя артефактами в виде таблицы с соответствующей блок-схемой:

Раздел 7 - "Элементы технологии ИИ и принцип трех стадий ее реализации"

Раздел вводит представление о составных элементах технологии ИИ, разделяет их на уровни использования и для каждого уровня определяет подходящие концепции функциональной безопасности.

- для элементов высокого уровня (граф приложения, модель МО и связанные с ними инструменты) могут быть применимы специфические характеристики, приведенные в разделе 8;

- для элементов более низкого уровня (программы в машинном коде и подобные элементы) применимы характеристики, не связанные с ИИ, приведенные в существующих стандартах, например ГОСТ IЕС 61508-3, ГОСТ Р ИСО 26262-1, ГОСТ Р ИСО 26262-5, ГОСТ Р ИСО 26262-6, ГОСТ Р МЭК 61508-1, ГОСТ Р МЭК 61508-2, ГОСТ Р МЭК 61508-4

Далее описывается трехступенчатый принцип реализации системы ИИ, грубо говоря, представляющий реализацию любой системы в виде следующей последовательности: сбор данных, обучение на их основе и обработка/получение данных на выходе.

После чего демонстрируется процесс формирования критериев приемлемости на основе трехступенчатого принципа реализации.

Раздел 8 - "Характеристики систем ИИ и связанные с ними факторы риска"

В предыдущем разделе технология ИИ была разбита на несколько уровней, а также отмечалось, что для элементов высокого уровня применяются специфические характеристики, отличающиеся от привычных, никак не связанных с ИИ.
В текущем разделе как раз вводятся новые характеристики и факторы риска в системах ИИ.

Примеры таких характеристик:

• Алгоритм обучения, данные и модель

• Уровень автоматизации (степень независимости) и контроля

• Степень понятности и объяснимости

• Проблемы, связанные с окружающей средой

• Устойчивость к состязательным вводам данных и злонамеренному воздействию

• Проблемы аппаратных средств, связанные с применением ИИ

• Зрелость технологии

Раздел 9 - "Приемы верификации и валидации"

В этом разделе описаны различия между методами верификации и валидации для систем ИИ в сравнении с системами без ИИ. Если в машинном обучении “валидация” = проверка сходимости модели во время обучения, то в данном стандарте термины верификация и валидация применяются в контексте функциональной безопасности и относятся к проверке надежности и безопасности конечной системы, а не просто к точности модели.

Раздел структурирован по следующей схеме:

1. Введение

2. Проблемы верификации и валидации
   Выделено 5 основных проблем.

3. Возможные способы их решения
   Подраздел описывает два основных подхода к верификации и валидации: Анализ модели для извлечения понятной информации о поведении (делает ИИ класса I) и Косвенная оценка через анализ процесса разработки

4. Виртуальное и физическое тестирование
   Виртуальное тестирование/моделирование позволяет проверить тщательно отобранные сценарии для стресс-тестирования. Физические тесты важны для: "сопоставления результатов моделирования, проверки КПЭ и выявления неизвестных"

5. Мониторинг и обратная связь
   После введения в эксплуатацию необходим сбор статистики отказов. Для функций без абсолютного доказательства целевые показатели интенсивности отказов получаются эмпирически.

6. Объяснимый ИИ
   Успешная реализация позволит разработчикам понимать алгоритмы принятия решений и обеспечивать функциональную безопасность в соответствии с существующими стандартами.

Раздел 10 - "Меры контроля и снижения рисков"

В разделе подчёркивается, что устойчивость архитектуры системы ИИ (способность выдерживать сбои без потери безопасности) приоритетнее, чем просто повышение качества моделей МО. Основное внимание уделяется методам улучшения нефункциональных свойств систем — надёжности, доступности и качества. Предлагается комплексный подход от архитектурного проектирования до статистической оценки и защиты данных.

Раздел 11 - "Процессы и методология"

Уровень функциональной безопасности системы не зависит от использования ИИ, однако традиционная методология разработки моделей ИИ имеет пробелы с точки зрения требований стандартов. Поэтому необходимо адаптировать жизненный цикл функциональной безопасности (описанный, в частности, в серии стандартов ГОСТ Р МЭК 61508) с учётом специфики ИИ.

За основу может быть взята традиционную модель жизненного цикла разработки ИС - "V‑модель", которую допустимо модифицировать для итеративной разработки и циклов обучения моделей.

ГОСТ Р 59898-2021 - "Оценка качества систем искусственного интеллекта"

Данный стандарт описывает следующие темы:

• понятие качества СИИ

• методология, показатели и критерии оценки качества на стадиях жизненного цикла СИИ

• модель качества СИИ

• классификация существенных характеристик и показателей качества СИИ

Тема безопасности в данном документе затрагивается очень слабо, но внимание можно обратить на субхарактеристики безопасности СИИ, вводимые в Таблице 2 - "Существенные характеристики и субхарактеристики СИИ для модели качества продукта"

Как видно из таблицы, субхарактеристики защищенности отличаются от стандартных свойств информации (конфиденциальность, целостность и доступность), что в очередной раз подчёркивает специфичность темы безопасности в контексте использования ИИ.

ПНСТ 840-2023 - "Искусственный интеллект. Обзор этических и общественных аспектов"

Данный стандарт описывает этические и общественные аспекты использования ИИ, подчеркивая высокую скорость развития технологий ИИ, опережающую темпы формирования требований по данным аспектам.

В документе тема безопасности шире всего затрагивается в пунктах 6.2.7 и 8.2.9. Проанализируем их по порядку.

Раздел 6 - "Темы и принципы"

Раздел 6 описывает "Темы и принципы", в текущем контексте эти термины имеют следующее значение:

• Тема — это область этических или социальных вопросов, связанных с воздействием ИИ (например, подотчётность, справедливость, прозрачность и др.);

• Принципы, входящие в тему, — это нормы поведения, управленческие и технические меры, которые помогают решать этические вопросы.

В частности пункт 6.2.7 определяет значение для терминов защищенность и безопасность, описывает некоторые аспекты, связанные с темой защищенности и безопасности систем и приложений ИИ.

Описание защищенности и безопасности:

Защищенность (защита) направлена на то, чтобы избежать уменьшения травмирования и ущерба здоровью людей, имуществу и окружающей среде, и часто является существенным аспектом регулирования конкретных продуктов.
Безопасность направлена на снижение вероятности несанкционированного и ненадлежащего доступа к данным, активам или имуществу, поскольку ИИ может создавать новые угрозы безопасности, такие как состязательные атаки, отравление данных и кража моделей.

Основные аспекты безопасного подхода к использованию ИИ:

• надежность: cистемы и приложения ИИ, которые постоянно работают в соответствии с поставленными задачами;

• тестирование и мониторинг могут помочь минимизировать последующее неправильное использование и злоупотребление системой и приложением ИИ. Тестирование и мониторинг также помогают определить, являются ли системы надежными и спроектированными таким образом, чтобы противостоять непредвиденным событиям и состязательным атакам, которые могут нанести ущерб или способны манипулировать;

• предсказуемость: повышение предсказуемости систем и приложений ИИ обычно представляется как ключевой механизм, помогающий снизить риск компрометации систем ИИ;

• оценка и снижение рисков, связанных с безопасностью, с учетом сложности среды, в которой могут быть использованы системы и приложения ИИ (например, автономное вождение);

Раздел 8 - "Рассмотрение вопросов создания и использования этичного и общественно приемлемого ИИ"

В разделе подчёркивается зависимость этических вопросов от контекста использования системы ИИ и устанавливает неполный перечень этических и общественных аспектов для рассмотрения.

Тема безопасности раскрывается в пунтке 8.2.9, перечисляя следующие вопросы защищенности и безопасности:

• имеются ли механизмы коммуникации для обсуждения вопросов, связанных с защитой и безопасностью?

• существуют ли какие-либо известные последствия для защиты и безопасности при использовании системы и приложения ИИ по назначению или в случае невыполнения предусмотренных функций (т. е. предоставление недостоверных результатов, недоступность или использование не по назначению либо для выполнения задачи, для которой она не протестирована)?

• какие технические меры могут быть приняты для защиты собранных данных от потери и несанкционированного доступа, уничтожения, использования, модификации и раскрытия?

Выводы

Регулирование безопасности ИИ в России находится на начальной стадии – специализированного документа, посвященного исключительно этой теме, пока не существует. Между тем, обеспечение безопасности систем ИИ требует качественно новых подходов — на это указывают, в частности, раздел 7 «ПНСТ 836-2023» и перечень субхарактеристик защищенности в «ГОСТ Р 59898-2021».

Существующие стандарты охватывают весь жизненный цикл систем ИИ — от проектирования и сбора данных до эксплуатации, но остаются на уровне общих требований.

В перспективе ожидается появление специализированных стандартов с практическими методиками, измеримыми метриками и учетом специфики различных типов систем ИИ.

P.S.: Выражаю благодарность Шепилову Александру за помощь в доработке статьи