Стремительное развитие электроники и унификация программных решений привели к появлению умных устройств (Smart Devices), которые стали неотъемлемой частью нашей жизни. Если говорить об Интернете вещей (IoT), то это пока концепция. Она предполагает наличие множества окружающих нас предметов, которые получат доступ в Интернет и будут взаимодействовать между собой. Именно взаимодействие, по концепции Интернета вещей, является отличительным фактором по сравнению с существующими решениями умной электроники (Smart Electronics), например, достаточно популярных сейчас фитнес-браслетов, бытовых смарт-весов, да и в целом, таких систем, как умный дом и многое другое.


Alexa – voice control your smart home. Image: Amazon

Так или иначе, но вся затея с Интернетом вещей вращается вокруг социальных сетей и нового витка их развития. Уже сегодня можно поделиться результатами своего шагомера в Twitter, но вряд ли современные социальные сети трансформируются в концепцию социального IoT. Слишком много данных и слишком разные задачи придется решать таким сервисам. Но что было раньше и есть ли предпосылки создания Social IoT, как отдельного решения?

Еще в 1999 г. Билл Гейтс в своей книге «Бизнес со скоростью мысли» предложил идею цифровой нервной системы предприятия. Тогда основой такой нервной системы стала электронная почта и стремительно развивающиеся веб-технологии. Идея взаимодействия на уровне предприятия или организации была сконцентрирована на получении руководителем обратной связи от сотрудников, с предпочтением в сторону потока информации о проблемах или препятствий в работе. В целом, тогда это позволяло повысить эффективность бизнес-решений.

Позднее в 2005 г. Тим О’Райли предложил термин Веб 2.0, как новый виток развития веб-технологий. В концепции Веб 2.0 основным становится пользователь и пользовательский контент, который создает конкуренцию известным глянцевым журналам и профессиональным журналистским ресурсам. Сейчас Веб снова трансформировался, ведь мы уже живем в мире социальных сетей и сервисов доставки коротких сообщений, при этом, есть мнения, что наше время нужно считать эпохой семантического Интернета. В любом случае, на текущий момент, уже многие бумажные издания прекратили существование, трафик на веб-порталах снизился и перешел в направление общения в социальных сетях. Но почта, как была, так и существует, пользуются популярностью масса статических сайтов, а также блоггеры дают массу интересного контента, на который мы ссылаемся из социалок.

Очевидно, социальный Интернет вещей как сервис, станет эффективным дополнением существующих решений и расширит рамки взаимодействия, как людей, так и машин. Пока можно только рассмотреть текущие технические решения взаимодействия в мире Social IoT, чтобы понять, что нас ждет впереди. При этом, мы сами можем принимать участие в процессе трансформации Интернета и технологий присоединенных устройств.


iPhone X wireless charging. Photo: Apple

После упоминания Гейтса и О’Райли, нельзя не вспомнить о недавней презентации Apple. Судя по ленте Facebook, многие на моменте показа беспроводной зарядки решили, что это и есть очередная из «инноваций» компании, выразив иронию в комментариях. Беспроводная зарядное устройство – это не ново, относительно медленно по времени заряда, но все-таки, это достаточно удобная технология. Самое интересное – кадр презентации, где показано, как телефон «видит» процесс заряда других гаджетов фирмы. Вот, действительно, к чему следует стремиться – фактическое взаимодействие устройств «прозрачно» для конечного пользователя.

Например, на уровне взаимодействия компонентов умного дома можно сказать, что это и есть текущее состояние Интернета вещей. Но все же, это локальные решения, ограниченные физическим пространством помещения. Например, устройства, управляемые Amazon Echo направлены преимущественно на взаимодействие с человеком, но не между собой, а тем более, не особо размываются границы вокруг одного взятого дома, и при этом не объединяют домашний уют с рабочим пространством офиса и т.п., хотя вся технология направленна именно на это.

Как исключение из правила, некоторые компоненты умного дома могут «договориться» между собой. Типичным примером взаимодействия таких устройств является третье поколение обучаемых термостатов Nest Learning Thermostat. Также недавно появилось более дешевая модель Thermostat E без функции «Farsight», включающая дисплей, когда кто-то проходит мимо. Но не следует забывать, что фактически можно и самостоятельно «запрограммировать» соответствующие алгоритмы взаимодействия устройств на уровне смарт-концентратора (Smart Hub) умного дома.


Alexa device control process. Image: Amazon

Используя Alexa Skills Kit (ASK), достаточно прозаичным является добавление новых возможностей в поведении устройств умного дома. Все вычисления и обработка данных, включая распознавание речи, выполняется на уровне облака Amazon Web Services (AWS). Поведение устройств программируется на уровне сервиса AWS Lambda, а также доступна площадка готовых приложений Alexa Skills. Так или иначе, умения, поведение или, скорее, взаимодействие устройств и человека зависит от предопределенных скриптов. Интересен вариант добавления в такую среду технологий машинного обучения (Machine Learning) как облачного сервиса, а также интеграция со сторонними сервисами на основе мешап-сервиса IFTTT, который позволяет комбинировать свои действия и поведение устройств уже между различными сервисами и активностью в социальных сетях.

Если говорить об интерфейсе «умных вещей» и человека интересен вариант со смарт-замком, например, August Smart Lock, который может выдавать временные коды доступа для гостей. С другой стороны, если сложно программировать интеллектуальных голосовых помощников Amazon Alexa, Google Home или чат-бота, то всегда можно воспользоваться услугами платформы Conversation.one.

Говоря об умных голосовых ассистентах, смарт-концентраторе умного дома, сразу хочется заметить: что они смогут сделать, если в обычной кухне нет оборудования умной подачи воды, бытовая газовая печка включается пьезо поджигом, который управляется механической рукояткой и нас окружают добрые-старые системы уходящего в прошлое индустриального мира? Как такая смарт система узнает о происходящем в доме? Одно из решений – это установка видеонаблюдения. Но сколько камер тогда понадобится установить по всему дому, и не проще ли будет переоборудовать водопроводные коммуникации и т.п.?

В контексте этого, интересен опыт и видение проблемы исследователями университета Карнеги Меллон лаборатории Future Interfaces Group, которые предлагают использовать один «синтетический» или комбинированный датчик. Предложенный Synthetic Sensor объединяет датчики: температуры AMG8833, цвета TCS34725, магнитометр (3-х осевой датчик магнитного поля) MAG3110, атмосферного давления с гигрометром BME280, 6-ти осевой датчик ориентации (совмещенные 3-х осевые гироскоп и акселерометр) MPU-6500, качества сигнала Wi-Fi, движения AMN211, микрофон ADMP401, электромагнитного излучения. Впрочем, создается такое впечатление, что все, что было под рукой у инженеров, попало в этот универсальный чувствительный элемент умного дома. На основе регистрации данных записывается своеобразная «кардиограмма» происходящего в помещении и делается вывод, например, о том, что открыт кран с водой, включается газовая плита, работает блендер. Сразу вспомнилась публикация о выступлении профессора и автора книги «Бизнес в стиле фанк» Кьелла Нордстрема о будущем: «Всё, что может быть оцифровано, будет оцифровано».


Synthetic Sensor. Photo: Gierad Laput

При этом термин «умное пространство» смотрится очень ярко и красочно и является практически реализуемым на уровне отдельных решений. Все-же хочется отметить то, что концепция Интернета вещей должна учитывать не только взаимодействие, но и самоорганизацию окружающих нас предметов (Connected Devices). Такое синергетическое взаимодействие даст возможность перейти на новый уровень цифровой жизни, где совсем не потребуется изучать инструкцию к электронным устройствам, они станут максимум безопасными, смогут подстроиться под конкретную ситуацию и, при этом, будут менее заметны, как отдельные предметы. Вместе с этим, мы получим исчерпывающие данные о работе и состоянии таких присоединенных устройств.

Говоря о терминологии можно заметить, что если раньше везде использовалось понятие встраиваемые системы (Embedded Systems), то сейчас они стали не мыслимы без подключения к Интернет. Тем более, такое подключение сводится к использованию чипа за пару долларов, который вполне может стать «ядром» интеллектуального датчика или системы управления. Например, всем известный модуль на базе esp8266 и более современный esp32 компании Espressif или похожее решение других производителей.

Такой модуль основан на достаточно мощном 32-битном процессоре, как правило объединяется на микро-плате с внешней памятью программ и позволяет получить доступ к wi-fi или другому беспроводному каналу передачи данных. Но примечательно то, что фактически эти модули имеют выход в Интернет «из коробки».

Так же особенностью модулей является возможность программировать их на простом скрипт-ориентированном языке или вообще использовать Arduino IDE и его язык разработки программ, похожий на простой C/C++. Модули имеют немного портов ввода/вывода общего назначения, которые, можно аппаратно расширить, а интерфейсы, например, SPI, UART – служат для подключения к цифровым датчикам или к исполнительным механизмам.


The ESP8266 WiFi Module is a self contained SOC with integrated TCP/IP. Photo: Vowstar / Wikipedia

Итак, если раньше для обеспечения доступа к Интернет на уровне микроконтроллера требовалось программно реализовывать стек TCP/IP или же на плате использовать дополнительную микросхему, например, W5100 с аппаратной поддержкой проводной сети Ethernet, то сейчас беспроводный доступ к Интернет стал частью микропроцессорного модуля, значительно упрощая разработку. Хотя это и прибавляет проблемы с обеспечением безопасности на уровне конечного устройства, но такой вопрос вполне решаем в масштабах глобальной концепции Интернета вещей.

Интернет меняет интерфейс взаимодействия человека и смарт-устройства. Если сейчас основной инструмент взаимодействия – это смартфон, то вскоре голосовое управление, дополненная реальность (Augmented Reality) и просто автономная интеллектуальная кнопка прочно займут свое место в нашей жизни. Например, кнопка Амазон Dash Button, позволяет моментально сделать заранее определенный заказ в известном Интернет-магазине. Немного другую кнопку AWS IoT, можно запрограммировать на взаимодействие людей, устройств, облака и различных сервисов.

Примерно, как и с технологией Alexa Skills все программирование сводится к использованию без серверных облачных технологий AWS Lambda.


Route Clicks to AWS Services. Image: Amazon

Еще одна интересная идея и, как развитие концепции облачной кнопки, проект лаборатории Fluid Interfaces Массачусетского технологического института позволяет привязать физические кнопки и исполнительные механизмы друг к другу, используя технологию дополненной реальности. Предложено инновационное мобильное приложение для платформ Android и iOS под названием Reality Editor 2. Это приложение позволяет в пространстве, фиксируемом и снимаемом камерой смартфона и дополненном виртуальными линиями соединений, выбирать по предопределенным QR-кодам интерфейсы различных Интернет-вещей, связывая их воедино. Например, виртуально соединить независимую кнопку и лампу освещения и т.п.

Дополненная реальность помогает стартапу Hayo визуализировать место привязки действия к смарт-объектам умного дома. В этом проекте планируется на основе специального 3D-сенсора, инфракрасного датчика и программного обеспечения в облаке, дать возможность управлять «поведением» умного дома обычными жестами и взаимодействием с окружающими предметами. А дополненная реальность позволяет в телефоне обучить систему и установить виртуальные метки. Интересно, конечно, как в этом проекте планируется бороться с ложным срабатыванием на жесты, но очевидно, большие данные и обработка на стороне облака должна помочь в решении этой задачи.

Интересны не только супер-инновационные проекты, которые развивают концепцию взаимодействия устройств и людей на основе дополненной реальности, но и обычные разработки, например, климатическая система MeteoLogic компании GlobalLogic, которая использует интерфейс дополненной реальности для визуализации данных с датчиков.

Несомненно, сейчас отличное время для выхода стартапов с проектами в области Интернета вещей, использующих речевое управление, дополненную реальность, различные готовые решения в облаках известных вендоров. Для этого, может еще не совсем готова архитектура социального Интернета вещей, особенно в области безопасности, а также в обеспечении переносимости приложений. Очевидно, приложения могут запускаться в облаке и использовать интерфейс обычного браузера или мобильного устройства. Но, возможно запуск приложения должен адаптироваться к конечной платформе и, например, вместо браузера переходить в нативный режим приложения смартфона или умных часов.


Reality Editor 2 – a web-based tool for controlling the physical world. Video screenshot: Realityeditor

Социальный интернет вещей – это прежде всего надежность и безопасность, подкрепленные доверием пользователей к смарт-устройствам. Всегда найдутся приверженцы беспрецедентной безопасности, кто заклеит камеру планшета изолентой, заблокирует беспроводные сети. Впрочем, так и должно быть, ведь любая технология не должна нарушать границы личной жизни, а сосуществовать с миром людей, дополняя и упрощая способы решения рутинных задач. Информационная безопасность устройств IoT сейчас полностью зависит от надежности протоколов Интернет, технологий передачи данных, криптоалгоритмов, методов авторизации, аутентификации людей и устройств. Пока, это в своем большинстве, централизованные системы. Возможно, стремительное развитие распределенных методов построения информационных систем на базе технологии блокчейна кардинально решит, как вопрос безопасности Интернета вещей, так и доверия пользователей к смарт-концентраторам и множеству подключенных устройств.

В этом обзоре хотелось рассмотреть современные проекты и состояние вопроса взаимодействия в среде Интернета вещей, а также влияние социализации пользователей на развитие интерфейсов с электроникой и умными устройствами. Конечно, только вскользь затронут вопрос взаимодействия машин, но приведенные ссылки и размышления вокруг проблемы, позволяют сделать вывод о реализуемости в скором будущем концепции Social IoT.

Сейчас интересно и захватывающе наблюдать за развитием различных инновационных проектов и самим конструировать, разрабатывать смарт-устройства и программные компоненты для их поддержки. Несомненно, что этот обзор не смог охватить все нюансы взаимодействия машин и людей, а также соответствующие проекты и идеи стартапов. Надеемся на ваши комментарии с примерами реализации таких идей и направлений развития умных устройств.

---

Интересные ресурсы и ссылки:

• Bill Gates made these 15 predictions in 1999 — and it's scary how accurate he was
• What Is Web 2.0. Design Patterns and Business Models for the Next Generation of Software by Tim O'Reilly
• Nest Learning Thermostat vs. Nest Thermostat E: What's the difference?
• Alexa Skills Kit
• Сравнение Google Home и Amazon Alexa
• Распространение Alexa и разработки Amazon в направлении искусственного интеллекта
• Простые правила. Сервис IFTTT на службе «умного» дома
• Интеллектуальные замки
• Умный дверной замок August Smart Lock с поддержкой платформы Apple HomeKit предлагается за $199
• A single sensor could hold the key to the future of the smart home
• «Через 50 лет стран не будет — останутся только города»: основные тезисы лекции Кьелла Нордстрема о будущем
• ESP8266: Революция в мире интернета вещей
• ESP8266 Thing Hookup Guide
• ESP32 Thing Hookup Guide
• Ценность Amazon Dash не в продажах, а в данных
• Я уже попробовал делать покупки с кнопками Dash buttons от Amazon и вам не советую
• Amazon Dash Button в своих целях

Дополненная реальность

• A Web-Based Tool For Controlling The Physical World
• MIT's Reality Editor Controls IoT Devices via Augmented Reality
• Hayo – Augemented Reality Control for your Home
• Дополненная реальность и социализация людей на новом уровне
• Обзор VR/AR новинок Google I/O 2017

Blockchain & IoT

• Объяснение блокчейна для веб-разработчиков
• Блокчейн и IoT: перспективы взаимодействия и проблемы на пути развития
• В Тайланде применят блокчейн и технологию “Интернет вещей” для почтовых и железнодорожных услуг