Что такое киберфизические системы, почему они так актуальны сегодня, и какую роль в их развитии играет искусственный интеллект?

Изучение различных свойств информационно-технических систем с точки зрения взаимодействия их физической и цифровой составляющих — новое и актуальное направление современной науки о киберфизических системах [1].

Главными составными частями любой киберфизической системы являются (Рис.1):

• физический слой системы (различные объекты реального физического мира самой разнообразной природы);
• цифровой слой системы (множество данных о системе, хранимых в памяти компьютеров, алгоритмы управления физическими объектами, алгоритмы обработки информации и пр.);
• интерфейс взаимодействия цифрового и физического слоя (различные сенсоры, управляющие механизмы и пр.);
• интерфейс взаимодействия цифрового и физического слоя с человеком (различные XR технологии).

Рис.1 Концептуальная схема киберфизической системы, включающая основные составные части и виды их взаимодействий.

Эти составные части взаимодействуют между собой во времени и пространстве, образуя единую экосистему, направленную на решение определённой задачи. С точки зрения эволюции систем, киберфизические системы являются следующей ступенью с большим масштабом гранулярности, т.е. такая система сама состоит из множества других сложных систем.
В качестве киберфизической системы могут рассматриваться как относительно небольшие объекты, такие как беспилотный летательный аппарат, система умных устройств помещения, так и весьма масштабные: заводы по производству летательных аппаратов или даже целые города.

Киберфизические системы (Cyber-physical systems, CPS) — объект пристального исследования многих лабораторий по всему миру. Это и лаборатории ведущих мировых университетов: CyPhyLab Калифорнийского университета в Лос Анджелесе, целый ряд подразделений MIT media lab, лаборатории технологических лидеров промышленности, таких как Bosch, Toshiba или PTC.

У CPS есть очень много общего с другими информационно-техническими концепциями, такими как интернет вещей, умная пыль и туманные вычисления, т.е. со структурами типа “грид”. Но нужно понимать, что CPS — более широкое понятие, чем перечисленные выше, и они могут являться составными частями целой киберфизической системы. Более того, если рассматривать составные устройства киберфизической системы, то по отношению к другим концепциям, в CPS они находятся на более высоком уровне взаимодействия (Рис.2).

Рис.2 Уровни взаимодействия объектов реального мира внутри цифрового слоя.

Если рассматривать степень влияния киберфизических систем на нашу жизнь, то достаточно сказать, что именно с осознанием этой концепции и возникновением действующих подобных систем связывают переход к индустрии 4.0.

Немецкая академия Acatech, один из лидеров в области развития Индустрии 4.0, уже говорит о перспективах национальных киберфизических платформ, которые складываются из трех типов сетей: интернета людей, интернета вещей и интернета сервисов. Если говорить про прототипы киберфизических платформ, то наиболее удачным примером на сегодняшний день является государство Сингапур, где на законодательном уровне принята инициатива “Умная нация”, которая подразумевает социальное и экономическое развитие на базе киберфизической платформы. Но не только лишь один Сингапур активно прорабатывает киберфизические платформы и системы — так, например, в США эта технология с 2011 года принята в ряд важнейших стратегических технологий. Про отличия киберфизических систем от другого типа систем и про их историю развития можно почитать здесь и здесь.

Рис.3 Киберфизические платформы как результат слияния интернета вещей, людей и сервисов.

В последнее время, для улучшения работы всех составных частей CPS, всё чаще используются методы искусственного интеллекта, в частности алгоритмы глубокого обучения. Данная конвергенция технологий формирует большое количество связей и данных — необходимых для развития ИИ.

Из-за недавно начавшейся 3-й революции ИИ, на сегодняшний день накопилось достаточно методов обработки данных самой разной природы, будь то изображения, текст, сигналы электрической или иной природы, трёхмерные данные и многое другое. Каждый день появляются новые средства по улучшению существующих алгоритмов глубокого обучения, как на фундаментальном математическом уровне, так и в виде более совершенных вычислительных единиц аппаратного обеспечения. Вместе с развитием области ИИ развиваются и киберфизические системы, поскольку качество работы таких систем определяется во многом качеством обработки данных присутствующих в системе.

Рис. 4 ИИ и его подобласти

В данной заметке на практических кейсах мы рассмотрим преимущества подхода, основанного на использовании методов глубокого обучения в киберфизических системах.

ИИ ускоряет симуляции цифровых двойников

Рис. 5 Сравнение качества рендеринга классическими алгоритмами компьютерной графики и с применением нейронных сетей.

В процессе проектирования и эксплуатации киберфизических систем возникает ряд проблем. Одной из них является проблема согласованности времени между физическими объектами и их цифровыми двойниками [3]. Для управления объектами в реальном мире и предсказания их поведения создаются цифровые копии в виртуальном пространстве, на основе математических моделей [4–6]. Время, необходимое для симуляции такой модели, может отличаться от времени, с которым протекают реальные физические процессы в моделируемом объекте. Часто случается так, что математическая модель настолько сложна, что время компьютерной симуляции превышает реальное. Для ускорения вычислений, при сохранении качества симуляции, предлагается использование методов глубокого обучения.

Показательным является кейс по ускорению рендеринга облачных газовых структур при прохождении через них света. На эту тему есть замечательный доклад от Евгения Туманова и соответствующая заметка на habr.

Рис. 6 Формальная постановка задачи рендеринга облаков. (Евгений Туманов, доклад на HighLoad++ 2018).

Традиционный подход для решения этой задачи заключается в том, чтобы для каждого пикселя рассчитываемого изображения решать основное уравнения рендеринга, которое является интегральным уравнением Фредгольма 2-го рода. Решение такого типа уравнений является сложной алгоритмической задачей и требует много времени. Основная идея по ускорению вычислений в этом случае — в использовании нейронной сети в качестве универсального аппроксиматора, которым заменяется решение самой времязатратной части классического численного метода.

Рис. 7 Идея применения методов глубокого обучения для задачи рендеринга (Евгений Туманов, доклад на HighLoad++).

ИИ помогает принимать решения в космосе

Рис. 8 ЦУП сегодня.

В качестве киберфизической системы может выступать как отдельный беспилотный летательный аппарат (БПЛА), так и целая группировка таких аппаратов вместе с наземными станциями связи и управления. Хорошим примером является запущенная недавно компанией SpaceX группировка спутников Starlink. В процессе эксплуатации подобных групп БПЛА на околоземных орбитах возникает проблема опасности столкновения с космическим мусором, в связи с чем требуется рассчитывать возможные манёвры и принимать решения по уклонению.

Решение этой задачи для одного единственного БПЛА представляет определённые сложности — решение о манёвре уклонения принимает специальная комиссия из баллистиков ЦУПа за несколько витков до потенциального столкновения. В условиях текущего количества космического мусора это работает. Но эффективных систем по расчистке околоземного пространства пока нет, а эффект Кесслера может привести к тому, что потенциальных столкновений может возникать несколько за один виток. В такой ситуации времени на принятие решения будет критически мало, а из-за сложности ситуации в небе, просчёт потенциальных манёвров уклонения будет представлять чрезвычайно сложную задачу даже для группы опытных баллистиков.

Рис. 9 VR интерфейс ЦУПа будущего.

В процессе реализации проекта TZUP, в котором принимала участие команда PHYGITALISM совместно со специалистами из других компаний и университетов, была создана система моделирования движения спутников в околоземном пространстве с возможностью расчёта вероятностей столкновения с космическим мусором. Эта система была использована в качестве среды для обучения агентов искусственного интеллекта (задача обучения с подкреплением), т.е. цифровой двойник околоземного пространства стал генератором синтетических данных для обучения алгоритма. ИИ здесь выступает в качестве помощника диспетчера ЦУПа будущего. Система предлагает манёвры уклонения и визуализирует их, а специалисту остаётся только принять решение, какой из предложенных манёвров использовать. Получился своеобразный Яндекс.Навигатор в околоземном пространстве.

Рис. 10 Расчёт вероятности столкновения с помощью компьютерного моделирования.

ИИ на страже безопасности CPS

Рис. 11 Визуализация симуляции технологических процессов в цифровом двойнике завода.

Другой важной проблемой является обеспечение безопасности CPS — создание систем защиты от киберфизических атак стало новым актуальным направлением в области информационной безопасности. Вы можете ознакомиться с размышлениями на эту тему в следующей заметке.

Давайте рассмотрим практический кейс под названием PlantSim, реализованного командой PHYGITALISM. Основная цель проекта заключалась в создании системы обнаружения аномалий в каналах связи между ПЛК (программируемым логическим контроллером), управляющим технологическими процессами на нефтеперерабатывающем заводе, и системой инженерного мониторинга (SCADA). Для поиска аномалий в каналах управления было предложено использовать рекуррентную нейронную сеть [7].


Рис. 12 Структурная схема рассматриваемой киберфизической системы.

В качестве данных для обучения такой сети используются синтетические данные, получаемые с цифрового двойника завода. Преимущество такого подхода, по сравнению с традиционным решением, основанным на логических правилах контроля каналов связи, заключается в разнообразии ситуаций, которые система искусственного интеллекта может детектировать. С помощью цифрового двойника завода возможно рассмотреть даже такие редко встречающиеся на практике, но потенциально опасные ситуации, как взрыв реактора. И конечно, важным фактором является скорость, с которой можно получать новые данные для обучения системы.

ИИ усиливает органы чувств CPS

Рис.13 Google project soli sensor.

Для лучшего качества функционирования CPS необходимо иметь как можно больше информации о состоянии среды, в которой функционирует такая система, и как можно точнее определять процессы, протекающие в её составных частях. Всевозможные сенсоры и датчики служат органами чувств для CPS. Чем лучше система“видит”, что происходит с ней и вокруг в данный момент времени, тем лучше будет качество принимаемых ею решений об управлении располагаемыми ресурсами.

Например, в контексте предыдущего раздела, чем более чувствительный терморегулятор установлен в цистерне перегона взрывоопасных жидкостей (при условии нечувствительности такого терморегулятора к шумовым выбросам), тем скорее в случае сбоя подогрева система безопасности сможет детектировать опасность и предотвратить её.


Рис.14 Использование project soli для управления устройствами с помощью жестов.

В качестве более жизненного примера можно рассмотреть распознавание тонких человеческих жестов с помощью wi-fi сигнала для управления гаджетами.
И здесь искусственный интеллект может помочь с улучшением качества работы существующих датчиков или с созданием новых сенсоров. Наглядно это демонстрирует датчик Project Soli от компании Google.

Основная идея здесь не нова: wi-fi роутеры представляют из себя трансмиттеры-ресиверы электромагнитных волн. Проходя через пространство, электромагнитная волна отражается от различных объектов и возвращается обратно в устройство. Если некоторый объект начинает двигаться, то его скорость складывается или вычитается со скоростью движения электромагнитной волны, из-за чего возникает смещение в частоте и длине отражённой волны. Это явление называется эффектом Доплера, и как раз его-то мы и можем использовать для детектирования жестов, и не только с помощью wi-fi роутера. Однако, не всё так просто.

Во-первых, обычные роутеры работают на частотах порядка 5GHz. Такая частота может быть недостаточной для хорошей разрешающей способности алгоритма классификации, т.е. близкие по форме, но всё же разные по сути объекты будут распознаваться как один и тот же объект. Данную проблему решают повышением рабочей частоты устройства (у project soli рабочая частота составляет 57 – 64 GHz).

Во-вторых, в реальных задачах требуется распознавать не только конкретный жест, но и кому этот жест принадлежит, в одном помещении может быть сразу несколько людей и у всех у них может быть разный приоритет в системе. Эту и многие другие неозвученные проблемы решают с помощью применения современных алгоритмов глубокого обучения [8]. Такой подход, например, используется в проекте WiSee, реализованном студентами и сотрудниками Вашингтонского университета.

Поскольку для работы нейросетевых алгоритмов требуется достаточно сложные, однако однотипные вычисления, для их реализации в железе существует специальные вычислительные единицы, т.н. TPU (tensor process init) или иначе — нейромодули, нейропроцессоры. Такие вычислительные единицы могут быть оптимизированы под конкретную задачу, будь то распознавание лиц, голоса или жестов. Как раз для решения задачи распознавания жестов или пространственных перемещений небольших объектов был создан специальный TPU “Soli I-CB”, который может быть встроен в различные умные устройства и гаджеты.


Рис. 15 Нейрочипы project soli.

Вывод

Киберфизические системы — важная составная часть информационной эпохи. Чем лучше мы понимаем как проектировать, анализировать, защищать и улучшать такие системы, тем лучше, безопаснее и понятнее мы делаем мир вокруг нас. Как можно увидеть из рассмотренных выше примеров, искусственный интеллект может улучшить работу CPS на всех уровнях, а синергия этих двух актуальных направлений (AI + CPS) принесет множество интересных и неожиданных улучшений в нашу жизнь.

Если вы студент бакалавриата или вам интересна тема CPS, AI, XR технологий и реализация подобных проектов, то на этот случай у нас есть магистерская программа “Дополненная/виртуальная реальность и искусственный интеллект” на базе факультета прикладной информатики и информационных технологий МАИ, в сотрудничестве с технологической студией PHYGITALISM. В основе программы — курсы по искусственному интеллекту, киберфизическим системам, виртуальной и дополненной реальности, в рамках которых мы поможем вам разобраться во всех премудростях работы с технологиями на практике.

Ждем вас!

Автор

Вадим Кондаратцев,
R&D Engineer PHYGITALISM
Преподаватель МАИ

vadim@phygitalism.com
itcentrmai@gmail.com

Источники

1. Allgower, Frank & Sousa, Joao & Kapinski, James & Mosterman, Pieter & Oehlerking, Jens & Panciatici, Patrick & Prandini, Maria & Rajhans, Akshay & Tabuada, Paulo & Wenzelburger, Philipp. (2019). Position paper on the challenges posed by modern applications to cyber-physical systems theory. Nonlinear Analysis. 34. 147–165. 10.1016/j.nahs.2019.05.007.

2. Paulo Tabuada, Cyber-Physical Systems: Position Paper

3. Lee, Edward A. “The past, present and future of cyber-physical systems: a focus on models.” Sensors (Basel, Switzerland) vol. 15,3 4837–69. 26 Feb. 2015, doi:10.3390/s150304837

4. R. G. Sanfelice. Analysis and Design of Cyber-Physical Systems. A Hybrid Control Systems Approach // Cyber-Physical Systems: From Theory to Practice / D. Rawat, J. Rodrigues, I. Stojmenovic. — CRC Press, 2016

5. Shao Z., Liu J. (2013) Spatio-temporal Hybrid Automata for Cyber-Physical Systems. In: Liu Z., Woodcock J., Zhu H. (eds) Theoretical Aspects of Computing — ICTAC 2013. ICTAC 2013. Lecture Notes in Computer Science, vol 8049. Springer, Berlin, Heidelberg

6. E. A. Lee and S. A. Seshia, Introduction to Embedded Systems — A Cyber-Physical Systems Approach, http://LeeSeshia.org, 2011.

7. Filonov, Pavel & Kitashov, Fedor & Lavrentyev, Andrey. (2017). RNN-based Early Cyber-Attack Detection for the Tennessee Eastman Process. ArXiv abs/1709.02232

8. Qifan Pu, Sidhant Gupta, Shyam Gollakota, Shwetak Patel (2013) Whole-Home Gesture Recognition Using Wireless Signals // The 19th Annual International Conference on Mobile Computing and Networking (Mobicom’13)