В апреле этого года американская исследовательская организация RAND опубликовала довольно любопытный отчёт об исследовании1, посвящённом рискам искусственного интеллекта (ИИ) для критически важной инфраструктуры. Авторы исследования опирались на информацию об «умных городах», и при оценке технологий рассматривали такие атрибуты, как доступность, мониторинг и контроль критической инфраструктуры, а также злоумышленное использование ИИ.
К технологиям, используемым в «умных городах» относятся:
машинное обучение, включая глубокое обучение и прогностический анализ;
обработка естественного языка (NLP), включая перевод, извлечение, классификацию информации, а также кластеризацию;
компьютерная речь, в том числе преобразование речи в текст, а также текста в речь;
компьютерное зрение, включая распознавание изображений и машинное зрение;
экспертные системы и робототехника.
Другие перспективные и конвергентные технологии, такие как киберпространство, анализ больших данных и интернет вещей также стали неразрывно связаны с искусственным интеллектом. Авторы исследования считают, что ранние возможности внедрения ИИ в критически важную городскую инфраструктуру являются начальными этапами разработки «умного города».
Этот пример представляет собой план, как приложения с поддержкой искусственного интеллекта, вероятно, будут включены в такие области, как образование, здравоохранение, энергетика, окружающая среда, управление отходами, сельское хозяйство, конфиденциальность и безопасность, мобильность и транспортировка, локализованное управление рисками и стихийными бедствиями.
Предположения и опасения
По мнению авторов исследования, ИИ станет столь же повсеместен, как интернет, мобильная связь и геопозиционирование. Такое распространение создаст как возможности, так и проблемы для использования ИИ. Он уже увеличил производительность и повысил эффективность во многих критически важных инфраструктурных объектах.
В более широком смысле, ИИ может обеспечить способность исследовать и анализировать большие данные для более глубокого понимания природы и улучшить человеческую жизнь, например благодаря персонализированной медицине.
Тем не менее, многие также высказывают и предостережения о катастрофических сценариях, в которых люди теряют свободу действий и становятся подвластными машинам, которые они создали. Также один из устрашающих сценариев предполагает время, когда системы искусственного интеллекта сформируют ценности и цели, противоположные тем, что присущи человечеству. По мере всё большего внедрения ИИ в повседневную жизнь такие сценарии могут стать более вероятными. Но даже обыденное использование ИИ может иметь неблагоприятные последствия.
Исследования и разработки в области искусственного интеллекта полагаются на огромные объёмы данных, которые являются важнейшим компонентом обучения ИИ. Это вариации характеристик объёма, скорости, ценности, разнообразия, правдивости, обоснованности, изменчивости и визуализации. Если данные для обучения ИИ не учитывают эти характеристики, то вероятность ошибок и неправильного использования ИИ увеличивается. Технологии искусственного интеллекта должны быть ответственными, справедливыми, отслеживаемыми, надёжными и управляемыми.
Авторы также пришли к выводу, что возможные проблемы, связанные с ИИ, будут накопительными. Города и критически важная инфраструктура будут всё чаще использовать ИИ. Также следует ожидать и роста количества злоумышленников. Их возможности будут расти по мере распространения технологий, появления большего количества вариантов их использования, когда вся мощь ИИ станет очевидной.
Авторы исследования обратили внимание на споры относительно защиты интеллектуальной собственности, которая связана с развитием систем искусственного интеллекта. Эти системы требуют огромных массивов данных. Некоторые эксперты говорят о совокупном количестве всех книг, когда-либо написанных и внедрённых в платформу искусственного интеллекта при проведении контролируемого обучения. Создатели такого контента, включая авторов и художников, обеспокоены по поводу отсутствия компенсации за свою роль в создании ресурсов для ИИ-платформ. Это создаёт сложную этическую дилемму и повышает вероятность того, что разработчики ИИ откажутся от ключевых потенциальных ресурсов, защищённых правами интеллектуальной собственности. В таком случае будет исключён важный пласт информации, который мог бы быть полезен в обучении моделей.
Насколько сегодня развит ИИ
Сегодня выделяют три категории ИИ:
искусственный интеллект узкого назначения, или «слабый» ИИ (ANI);
общий (универсальный) искусственный интеллект (AGI);
искусственный суперинтеллект (ASI).
Пока что технологии достигли только уровня ANI, хотя некоторые утверждают, что несколько приложений продемонстрировали ранний AGI.
ИИ уже напрямую используется в приложениях, связанных с критической инфраструктурой. Примеры включают:
медицину (например, диагностика пациентов и прогнозирование результатов);
финансы (например, обнаружение мошенничества и улучшение обслуживания клиентов);
транспорт (например, разработка беспилотных транспортных средств и профилактическое обслуживание);
производство (например, его оптимизация и улучшение качества).
Но это узкие области применения ИИ, в которых достигнута технологическая зрелость.
Анализ Contextual AI показывает, что распознавание почерка, речи и изображений, чтение и понимание языка моделями машинного обучения уже превосходят человеческие возможности. А такие задачи, как определение здравого смысла, элементарная математика и генерация кода достигли примерно от 85 до 98 % человеческих способностей. На российском рынке успешными примерами являются продукты Сбера GigaChat API, чат‑бот SaluteBot и SaluteSpeech VoiceCloning с помощью которых можно оптимизировать бизнес-процессы и создавать сервисы, обеспечивая при этом безопасность данных корпоративной информационной инфраструктуры.
Две стороны одной медали
Внедрение ChatGPT-4 в марте 2023 года — интересный пример того, как технологии искусственного интеллекта будут сформированы и раскрыты обществу. Предыдущие версии были в разработке в течение многих лет, в основном для научно-исследовательских и опытно-конструкторских работ. ChatGPT-4 заинтересовал более широкую общественность. Даже случайные пользователи были заинтригованы новой платформой искусственного интеллекта. Однако первоначальное внедрение выявило проблемы с точностью и согласованностью внутри платформы, заставляя разработчиков быстро вносить изменения для реагирования на возникающие проблемы.
Вероятно, такое же ранее прототипирование будет характерно и в отношении критической инфраструктуры, поскольку архитектура отдельных систем, которые вместе составят будущий ИИ, сама по себе является технологией с поддержкой искусственного интеллекта.
Этот подход является общим для многих технологий, таких как интернет, социальные сети, а теперь и искусственный интеллект. Для критической инфраструктуры это будет означать, что подсистемы, которые опираются на большие данные, сети, высокопроизводительные вычисления и интернет вещей будут максимально глубоко внедрены. Это также означает, что ставки будут очень высокими, если система катастрофически выходит из строя, особенно в секторе критической инфраструктуры.
Минимизация таких проблем предполагает разработку технологии и соответствующих мер по борьбе с последствиями. Ценности и цели платформ ИИ должны быть чётко сформулированы и поняты. Также должны быть разработаны ограничения для предотвращения отклонения от человеческих ожиданий и норм.
Авторы исследования считают, что необходимо лучшее понимание использования метода машинного обучения без учителя. Поскольку в ИИ он допускается, отслеживание таких систем становится более сложной задачей. Платформы ИИ также должны включать использование генеративных состязательных сетей (GAN). GAN состоят из двух нейронных сетей: генератора и дискриминатора. Генераторы создают реалистичные фальшивые данные, а дискриминаторы учатся отличать их от настоящих. Это позволяет системам ИИ обучаться и генерировать новые данные. Это также обеспечивает возможность оценить достоверность ИИ, а также выявлять дипфейки и другие фальсификации.
Кроме того, те же возможности ИИ, которые могут обеспечить прогресс в области кибербезопасности, также могут быть использованы для расширения возможностей злоумышленников. Системы искусственного интеллекта можно обучать адаптировать своё поведение, чтобы побудить специалистов по безопасности прийти к ошибочным выводам. Также могут разрабатываться новые версии вредоносного ПО, которые будут с большей вероятностью обходить антивирусные сканеры, проводить разведку сетей, выявлять уязвимости и применять социальную инженерию для проникновения в системы.
Угрозы искусственного интеллекта для критической инфраструктуры могут исходить от нескольких возможных источников. ИИ может быть использован в разработке и мониторинге критической инфраструктуры, которая могла бы дать преимущества в оптимизации конструкции, повышении эффективности и обеспечении безопасности. Однако такое использование ИИ может создавать угрозы.
В отчёте «Microsoft Digital Defense Report» от октября 2023 года говорится:
Технологии искусственного интеллекта могут обеспечить автоматическую интерпретацию сигналов, генерируемых во время атак, эффективную приоритизацию угроз, адаптивные меры реагирования на скорость и масштабы состязательных действий. Эти методы показывают большие перспективы для быстрого анализа и корреляции закономерностей в миллиардах точках данных для отслеживания широкого спектра киберпреступлений.
Тем не менее, та же технология GAN может быть использована и для эффективной атаки.
Растущее внедрение возможностей IoT также повышает уязвимость к кибератакам. ИИ уже влияет на энергосистемы через способность усваивать данные о шаблонах использования и предоставлять точные расчёты перспективного спроса на энергию, что становится его главной технологией управления электросетями. Однако это также увеличивает цифровой след и точки входа для хакеров.
Заключение
Возможности искусственного интеллекта будут всё чаще использоваться для повышения эффективности и результативности существующей инфраструктуры. Это принесёт как проблемы, так и возможности, которыми необходимо тщательно управлять. Технология искусственного интеллекта быстро развивается и будет интегрироваться с разной скоростью в различные критически важные инфраструктурные приложения. И одной из основных задач будет обеспечение баланса между повышением эффективности и обеспечением безопасности, особенно с учётом того, что частному сектору принадлежит большая доля критически важной инфраструктуры.