Технологии искусственного интеллекта стремительно развиваются, но вместе с возможностями появляются и риски. Промпт‑инъекции, злоупотребление инструментами агентов, уязвимости в оркестрации сложных систем — спектр угроз для ИИ увеличивается. Пока США и Китай соревнуются в эффективности и качестве генеративных моделей, европейцы принимают стандарты безопасности ИИ. В Европейском институте телекоммуникационных стандартов (ETSI) пару лет назад создали комитет защиты ИИ (SAI) для разработки комплексного набора стандартов безопасности ИИ. Рабочая группа комитета плодовита на отчеты, на текущий момент артефактов аж 10 штук. Разбираемся в первой части со стартовыми отчетами по безопаности ИИ от ETSI SAI.

Меня зовут Евгений Кокуйкин, мы разрабатываем продукт по защите genAI систем HiveTrace и изучаем новые типы атак на генеративные системы в лаборатории ИТМО. Пару недель назад коллега по рабочей группе в OWASP анонсировал выпуск отчета TS 104 223 «Baseline Cyber‑Security Requirements», но детальное изучение привело к необходимости систематизировать работы за последние два года из ETSI SAI. В этой статье попробуем извлечь полезное для практики и откинуть информацию, которая успела устареть за последние месяцы и практически не применима.

ETSI — независимая некоммерческая организация, признанная ЕС одной из трёх официальных европейских организаций по стандартизации наряду с CEN и CENELEC. Они регулярно выпускают глобальные стандарты для телекома, поддерживают Европейское регулирование и включают ведущие компании отрасли (например, когда‑то был участником Ростелеком). Работа ETSI непосредственно влияет на governance крупных организаций, которые ведут бизнес в ЕС и взаимодействует с другими организациями по выпуску стандартов и регуляций.

Все видели значок CE на игрушках, когда товар сертифицирован производителем для ЕС. Грубо говоря ETSI одна из всего трех организаций, которая такой сертификат выдает, но конечно не для игрушек, а для телекома.

Технический комитет ETSI SAI (Securing Artificial Intelligence) разрабатывает спецификации, которые: 1) защищают AI‑компоненты от атак; 2) снижают вероятность угроз в ИИ системах; 3) применяют AI для усиления кибер‑защиты; 4) учитывают социальные и этические аспекты безопасности.

Сейчас в ETSI SAI доступно 10 документов имеющих отношение к ИИ, ниже вы можете увидеть весь перечень

Исходя из таблицы выше, вы можете обратить внимание, что документы выходили не разом, а с разрывом во времени и это будет важно, когда мы начнем их разбирать более детально.

1. Первая волна (07‑2024) — методология: тестирование и каталог контрмер.

2. Вторая волна (01‑2025) — фундамент: формулировка проблем и безопасность цепочки данных.

3. Третья волна (03‑2025) — тематические спецификации для угроз, прозрачности и контролей.

4. Четвёртая волна (04‑2025) — единый базовый набор требований для внедрения.

5. Пятая волна (05‑2025) — увязка со законодательством (AI Act) и гайд по практической реализации.

Таким образом, историчность показывает последовательный переход от описания угроз и тестов → к процессным требованиям → к регуляторному мэппингу и руководству по внедрению в агентных AI‑системах.

Давайте разбираться с документами. 

TR 104 066 «Security Testing of AI»

Документ ориентирован на предиктивные ML‑модели. Он описывает методики fuzzing, differential testing и целый набор adversarial‑алгоритмов, но нигде не упоминает LLM, prompt‑injection, jailbreak или другие специфические атаки на genAI. Градиентные атаки конечно переносимы на GenAI, но сейчас не являются основным инструментом атак. 

Когда я начинал читать этот гайд, у меня были ожидания, что здесь можно почерпнуть идеи специфичных атак для LLAMATOR, но практических «рецептов» с готовым кодом в документе нет. Все техники приведены в виде формул, псевдокода и сравнительных таблиц эффективности. 

По сути – это справочник по фундаментальным техникам тестирования устойчивости нейросетей, поэтому если вам интересно смотреть по red team, то лучше воспользоваться OWASP red team guide(ссылка). 

Следующий на очереди TR 104 222 «Mitigation Strategy Report»

Здесь есть таксономия атак на ML модели(CV, NLP, аудио), явного упоминания LLM нет, хотя документ вышел в 2024 году, это объясняется тем, что первая версия была подготовлена в далеком 2021 и видимо, авторы хотели просто довести до релиза начатое и не трогать тему языковых моделей.

Ниже приведен пример таксономии атак, для целей статьи я немного сократил его, но идею вы можете уловить.

Итог документа, авторы признают, что материал опять же академический, конкретных рекомендаций или призыв к действию вы здесь не найдете, а жаль, название обнадеживало.

Два документа после длительного перерыва: TR 104 221 «Problem Statement» и TR 104 048 «Data Supply Chain Security»

Первый описывает угрозы для систем машинного обучения по двум осям — этап жизненного цикла и тип атаки / злоупотребления. К проблемам из таблицы выше, добавляют два новых класса: 

Некорректное использование искусственного интеллекта:

• обход ad‑blocker

• обфускация вредоносного кода

• deepfake‑контент

• подделка почерка или голоса

• фейковые переписки и др.

И Системные / процессные риски: 

• предвзятость, 

• этические огрехи, 

• отсутствие объяснимости, 

• уязвимости ПО/железа

На полноценную модель угроз не тянет, документ небольшой, больше похож на мемо для рассылки по корпоративной почте. 

Второй документ опять касается темы датасетов и защиты от разного рода отравлений данных и компрометации системы обучения. Ниже приведена иллюстрации пайплайна обучения, вокруг которого документ построен. 

В конце документа даны рекомендации по защите supply chain для моделей:

• Хеш-суммы могут использоваться для эффективной защиты целостности данных. При проверке целостности данных.

• Дообучение моделей с использованием проверенных или доверенных данных

• Соблюдение стандартных рекомендаций по кибербезопасности, таких как принцип минимальных привилегий при доступе к данным и к цепочке поставок.

• Логирование на всех этапах обработки и развертывания, включая сбор телеметрии модели.

TS 104 224 «Explicability & Transparency»

Документ, который погружает читателя в следующие понятия: 

Transparency — система «открыта для проверки», у неё «нет скрытых частей»; любую операцию можно подвергнуть внешнему аудиту 

Explicability — способность показать, как именно система пришла к результату («показать решение задачи шаг за шагом»)

Для обеспечения прозрачности ИИ систем авторы предлагают такие действия:

TR 104 030 «Critical Security Controls for AI Sector»

Бегло рассмотрим TR 104 030 «Critical Security Controls for AI Sector». По сути, документ отвечает на единственный вопрос: нужно ли менять перечисленные в более старом чеклисте ETSI TR 103 305 методы тестирование для AI-систем. Некоторые средства контроля за безопасностью из первоисточника ниже: 

Отчёт подтверждает применимость существующей методики Critical Security Controls и не вводит новых методик.

Здесь мы поставим паузу в разборе пакета документов группы Securing Artificial Intelligence ETSI. Многие документы не имеют явно выраженный фокус на проблематику LLM, и предназначены для работы с классическими ML-моделями. В следующей части, мы посмотрим на самые свежие майские документы, которые имеют отношение к вступившему в действие европейскому EU AI Act и уже затрагивают проблематику систем на базе LLM и агентных систем.  

P.S.Часто пишу про AI Security в телеграм-канале, подписывайтесь, чтобы не пропустить следующую часть