Привет, слышали про Искусственный интеллект (ИИ)? А про ИИ из каждого утюга?
Утюги говорят, что это очень полезная разработка? Помощники, ассистенты, чат-боты, фото/видео редакторы, диагносты и еще миллионы вещей делать умеют. ИИ уже пишет код, составляет резюме и придумывает тексты для Хабра. Но вместе с этим растут и риски. Причем не только баги, но и настоящие миллионные убытки.

Недавно я задала ИИ несложный вопрос и столкнулась с неожиданным, неверным ответом, который меня озадачил

Я спросила у ИИ, какие еще могут быть у тебя ошибки? И получила от него честный ответ

Я выяснила, какие самые частые фейлы ИИ

·                 Галлюцинации и ошибки: дезинформация и ложные выводы

·                 Предвзятость: расовая, гендерная, социальные убеждения

·                 Непрозрачность: «черный ящик», когда пользователь не понимает, почему ИИ принял такое решение

·                 Проблемы с безопасностью и конфиденциальностью: утечки данных, уязвимости, атаки на ИИ-системы

·                 Неоправданные ожидания и неэффективность: когда проект не приносит заявленной пользы или оказывается слишком дорогим в эксплуатации

·                 Нарушение авторских прав и интеллектуальной собственности

Последствия провалов ИИ: репутационный ущерб, финансовые потери, юридические риски, потеря доверия, полное удаление/отказ от проекта.


Три крупных кейса провала ИИ в 2024/2025 гг, приведшие к значительному финансовому и репутационному ущербу

 1.               Google, когда их система AI Overviews в поиске начала генерировать советы по поеданию камней или специфичные рецепты создание пиццы с клеем.

Потери: доверие пользователей, потенциальные миллиарды долларов в рекламных доходах.

2.               Microsoft, когда Copilot в корпоративном секторе столкнулась с критическими ошибками: неверные финансовые и юридические отчеты, вызванные «галлюцинациями» ИИ

Потери: сотни миллионов долларов в исках и штрафах, потерей клиентов, удар по репутации компании.

3.               JPMorgan Chase, когда произошла дискриминация кредитоспособности группы населения в AI-скоринге.

Потери: сотни миллиардов долларов штрафов и коллективных исков, отток клиентов, колоссальный ущерб репутации.


Как обстоят дела с публичными провалами при использовании ИИ в России?

Тут все тихо?
Потому что все молчат о своих провалах. Большинство российских компаний скрывает статистику, у нас пока нет публичных судебных прецедентов, потери маскируются.
Но мы-то знаем, благодаря вещанию из утюга, что ИИ стремительно и повсеместно распространяется в рабочей среде и быту.

Российские гиганты, такие как Сбер, Яндекс, Газпром и другие активно внедряют и используют ИИ для оптимизации процессов и увеличения прибыли.

Что же касается компаний поменьше, где ИИ пока тестируется и внедряется самими сотрудниками для оптимизации своего личного труда: программисты тестируют свой код или делегируют рутину ИИ, HR внедряет скрининг резюме и другие функции, менеджеры используют модели для анализа или элементарно формируют саммари, логисты оптимизируют маршрут и так далее.

Такие простые и, на первый взгляд, полезные действия могут оказаться небезопасными для компании. В России нет единого закона, который бы полностью регулировал ИИ, однако несколько законов затрагивают его использование и разработку.

Какие законы нарушаются и какие конкретные штрафы за это грозят?
Персональные данные (ФЗ-152 + КоАП 13.11)

Кейс: HR-ИИ хранит резюме с паспортными данными без защиты. Утечка.

Чем грозит: штраф до 1,5 млн ₽ за нарушение и репутационный краш.

 Защита прав потребителей

Кейс: ИИ-консультирует в e-commerce советует «не то», или алгоритм случайно завышает цены отдельным клиентам.

Чем грозит: компенсация + штраф 50% от суммы, массовые возвраты, потеря клиентов.

Трудовое право (ТК РФ + КоАП 5.27)

Кейс: ИИ-рекрутер отказывает кандидатам по возрасту или полу

Чем грозит: штраф до 100 000 ₽ за дискриминацию, иски за моральный вред

Антимонопольное право (ФЗ + УК 178)
Кейс: ИИ-ценообразователь «подстраивается» под конкурентов и создает картель

Чем грозит: оборотный штраф от 1/100 до 15/100 размера выручки (по КоАП РФ), уголовная ответственность для руководства

Информационная безопасность (ФЗ + КоАП 13.12)
Кейс: ИИ-модель открывает доступ к критическим данным.

Чем грозит: 100 000 ₽ (или до 500 000 ₽ за повторное нарушение), возможно, уголовная статья (ст.272 УК РФ), потери миллионы из-за утечек и атак.

 Курс на суверенитет и новые вызовы

В России существует курс на технологический суверенитет, закрепленный в Национальной стратегии развития искусственного интеллекта до 2030 года, утвержденной Указом Президента от 10 октября 2019 г. № 490, обновленной в 2023г. Для госкомпаний, субъектов критической инфраструктуры, ОПК, компаний, работающих с чувствительными данными или в стратегически важных отраслях использование российского ПО – обязательное требование.

 Почему стандартной документации для ИИ недостаточно?

·                 Непрозрачность «Черного ящика»: в отличие от обычного ПО, ИИ-модели не дают объяснения своих решений. Как это документировать?

·                 Динамичность и эволюция: модели постоянно переобучаются, иногда за ними сложно угнаться.

·                 Предвзятость: ИИ может наследовать и усиливать предубеждения.

·                 Этические и социальные последствия: ИИ принимает решения и влияет на людей, а это очень чувствительная сфера взаимодействия.

·                 Юридические и регуляторные риски: отсутствие прямого законодательства об ИИ в РФ.

·                 Финансовые риски: неэффективность, ошибки.

Итак, ИИ уже повсюду, а регламента по работе с ним пока еще нет?

 Гайд при документировании ИИ:

1)    Кто отвечает? Создание комитета по AI Governance. Да, если вы всерьез планируете использовать у себя в компании ИИ, то вам понадобится еще такой комитет. Назначаете ответственных: Директор, HRD, CTO, CPO и т.д.).

2)    Какие ИИ используются сотрудниками, оценка рисков и потенциальных выгод.

3)    Разработка внутренней нормативной документации. Сложно – но нужно!
Создайте и утвердите следующие документы:

·                 Политики использования ИИ: четко пропишите, какие ИИ-сервисы разрешены, для каких задач, и какие данные можно в них загружать.

·                 Процедуры внедрения и тестирования ИИ: опишите процессы оценки, выбора, тестирования и утверждения новых ИИ-решений перед их использованием в работе.

·                 Требования к документации ИИ-процессов: установите стандарты для описания того, как ИИ используется в конкретных задачах, кто отвечает за его результаты, как проверяется его корректность.

·                 Правила по работе с данными: четко регламентируйте, какие данные можно передавать ИИ, как обеспечивается их конфиденциальность и безопасность.

·                 Ответственность: кто несет ответственность, за решения принятые с  помощью ИИ.

 4)    Создайте реестр используемых ИИ-решений. Ведите учет всех используемых ИИ-сервисов, их версий, задач, для кого они применяются и ответственных лиц.
Инструменты: Confluence, Jira, Git, специализированные AI Governance платформы.

5)    Проводите регулярные аудиты. Периодически проверяйте соответствие фактического использования ИИ установленным регламентам.

6)    Инвестируйте в обучение: обучайте сотрудников не только использованию ИИ, но и основам информационной безопасности, этики и юридическим аспектам работы с ним.

 Как подойти к документированию ИИ и спокойному сну, пока другие горят в аду:

1) Начинайте вчера! Исправление ошибок на этапе продакшена в 10-20 раз дороже, чем на этапе проектирования.

2) Создайте межфункциональную команду: объедините юристов, технарей, аналитиков, HR. Каждый внесет уникальный взгляд во избежание проблем в будущем.

3) Регулярно обновляйте созданные документа по ИИ

4) Пишите ясно и понятно, документы должны быть понятны даже не специалисту.

5) Определите централизованное хранилище для документов. Все они должны быть легко доступны.

И напоследок

Помните Александру, которая добилась восстановления на работе после незаконного увольнения, связанного с частичной передачей ее обязанностей искусственному интеллекту и отсудила 1,5 миллиона ₽ у работодателя?

Менеджменту предстоит многое пересмотреть в процессе интегрирования ИИ, если ваша компания задумалась о замене части функционала на ИИ. И здесь также поможет формирование грамотной документации еще до того, как Вы приняли решение стремительно идти в ногу с прогрессом.

Изначально, компании следовало разработать и задокументировать внутренние политики и регламенты, описывающие процесс внедрения ИИ и его влияния на персонал, включая процессы переквалификации, изменения должностей или сокращение, с учетом требований трудового законодательства.

Компания должна была официально оформить и задокументировать изменения в должностных обязанностях, графике работы и оплате труда сотрудницы, получив ее письменное согласие или пройти предусмотренную ТК РФ процедуру изменения существующих условий труда.

Если внедрение ИИ, действительно, привело к сокращению объема работы или изменению штатного расписания, необходимо было строго следовать всем документационным требованиям и процедурам ТК РФ: заблаговременное уведомление, предложение других должностей, оформление всех необходимых приказов и расчетов при увольнении по сокращению.

 Это наглядный пример необходимости формирования соответствующей документации в компании по ИИ и реальным финансовым потерям.

Читатели Хабра, а у вас в компаниях есть уже документы про использование ИИ или всё держится на энтузиазме сотрудников? ?


Делюсь User Flow в AI: https://t.me/AIHRpro
Присоединяйтесь!