Предлагаем вашему вниманию текстовую версию видео лекции Станислава Полонского, посвященная  сенсорике в Интернете вещей. Станислав - физик, кандидат физико-математических наук, начальник управления перспективных исследований и разработок в Исследовательском центре Samsung. Много лет жил и работал в США.

Это лекция вводного уровня, рекомендуется студентам и начинающим инженерам и программистам. В ней будет обзор существующих сенсоров и технологий Интернета вещей  в приложениях Умного дома и персонального здоровья, а также размышления автора о том, что интересует лично его в этой сфере, и советы на будущее тем, кто еще только задумывается о создании своего устройства. Будем обсуждать, как измерять пульс, вариабельность сердечных сокращений, насыщенность крови кислородом - и можно ли превратить собственную квартиру в измеряющую среду. 

Добрый день, меня зовут Стас Полонский, я представляю российское подразделение Samsung, управление перспективных исследований и разработок (Samsung Advanced Institute of Technology).

Сперва я хотел бы обратить внимание, что прежде чем говорить о сенсорах, науке, технологиях, необходимо найти потребность. Нужна ли ваша идея, нужно ли ваше приложение? Как выйти на потребителя, на людей, которым потенциально ваша идея нужна, и с чем выйти? Есть термин “минимальный жизнеспособный продукт” (MVP). Какие минимальные движения вы должны предпринять, чтобы проверить на практике, нужна ли ваша идея?

Моя лекция из четырех частей:

1. Потребности. Я расскажу, как мы представляем эти потребности без проверки рынков, исключительно исходя из того, что описывается в прессе. Посмотрим, как так называемая кривая шумихи Гартнера видит использование Интернета вещей. Поговорим о том, чего москвичи ожидают от Интернета вещей, более точно - от “Умного города” как его части. Оказывается, что людей очень сильно волнует Интернет вещей в применении к здоровью

2. Сенсоры в медицине. Я приведу примеры сенсоров, которые могут быть полезны для Интернета вещей в области персонального здоровья: как измерить пульс, как измерить электрическое сопротивление нашего организма - называется “импеданс” - и для чего это нужно, и, наконец, как при помощи носимых сенсоров измерить электрокардиограмму, электроэнцефалограмму. 

3. Сенсоры для Умного дома. Мы поговорим о газах, о запахах, которые бывают в доме, бывают неприятными и опасными. Еще одна интересная тема - мы постоянно теряем вещи, и мне кажется, было бы абсолютно классно, если бы мы могли эти вещи находить при помощи Интернета вещей. 

4. Пожелания. Мое личное мнение, какие проекты было бы классно сделать. Может быть, у них есть шанс найти своего потребителя.

Потребности

Итак, начинаем. Что такое кривая шумихи Гартнера? По оси X время слева направо, и по оси Y - ожидания.

В самом начале кривой возникают новые красивые идеи. Они плохо разработаны и пока плохо понятны. Вначале мы всегда встречаем их с энтузиазмом, и наши ожидания от технологии быстро возрастают, соответственно финансирование этих идей улучшается. Мы лучше понимаем эти идеи, и через какое-то время становится ясно, что не все из них сработают, не все из них нужны. Что начинается после достижения максимума ожиданий? Мы видим так называемую “Долину смерти”. Многие технологии здесь погибнут и никогда не выживут. Только часть, пройдя “Долину смерти” - здесь это даже не показано, потому что их так мало - в какой-то момент очень маленькая часть технологий доходит до промышленности.

Почему я показываю эту кривую? Здесь достаточно много технологий, связанных с Интернетом вещей. Я выделил их красным: 

• Паспорт здоровья: здесь, мы ожидаем, Интернет вещей может помочь нам. 

• Цифровой двойник человека. Очень похожая вещь. Компьютерная программа, структура данных, которая более-менее описывает, что происходит с человеком, но на каком-то примитивном уровне, скорее всего, на уровне физиологии. Необязательно таскать человека к врачам, вдруг наши алгоритмы помогут нам. Я надеюсь без врачей понять, что же происходит сейчас с человеком. 

• Технология социального дистанцирования. Очень модная, и может быть, она окажется полезной. Есть очевидный запрос и очевидно простая реализация.

Ключевые идеи, которые хотелось бы здесь донести: 

1. Интернет вещей пока еще не взлетел, пока что это много надежд, небольшие приложения, но повсеместного использования нет. 

2. Мы говорим о сенсорике Интернета вещей. Сенсорика - эта физика, и за двести-триста лет развития физики мы изобрели массу сенсоров. По всей видимости, особой нужды изобретать новые сенсоры у нас нет. Но важно посмотреть, как существующие сенсоры могут быть вписаны в новые модели, сценарии использования, которые позволят продавать. Я напоминаю: как инженеры, мы хотим не только делать вещи, но и продавать их. Этим занимается не только отдел продаж, инженеры тоже должны об этом беспокоиться.

Итак, давайте двигаться дальше. Что думает Москва? Это слайд из стратегии “Москва - Умный город 2030”, и здесь показаны проценты по опросам, какие технологии больше всего нас волнуют. Это на 64% персональная медицина, и на втором месте всего на два процента меньше, это Умный дом. Другие технологии в принципе не так сильно отстают по процентам. 

Понятно, москвичам хочется всего и сразу, но тем не менее на первом месте это персональная медицина и умный дом. Поэтому мы и сосредоточимся на этих двух темах. Москвичи, и скорее всего все россияне и весь мир, возможно, действительно хотят иметь Интернет вещей, помогающий персональной медицине или Умному дому, но для меня пока совершенно не очевидно, что люди готовы платить за это.

Сенсоры в медицине

Сенсор пульсовой волны

Какие существующие сенсоры могут быть использованы для персональной медицины? Например, это сенсор пульсовой волны. Научное название - фотоплетизмография, часто используется аббревиатура PPG. Картинка выглядит сложно, но на самом деле это просто сечение пальца. 

В зависимости от того, как сокращается сердце, наполняемость кровью в пальце может быть большой или маленькой, и это показано двух смежных картинках слева и справа. Почему это важно: когда мы пропускаем свет через палец, наполненность кровью пальца измеряется оптически, исходя из того, как свет проходит сквозь палец. Это необязательно должен быть палец, это может быть ухо или другие части тела. Мы можем вытащить пульсовую волну, она показана здесь внизу со своими характерными частями. 

Да, это не просто синус, это сложная форма, она часто говорит врачам о том, что с нами происходит. Причем анализировать волну могут и умные алгоритмы. Что конкретно мы при помощи этого датчика измеряем? Прежде всего, пульс. Достаточно ли пульса? Не всегда. Например, можно посмотреть, насколько регулярен пульс, как часто меняется скорость сокращений сердца, это называется вариабельность (heart rate variability, HRV). Еще можно измерить насыщенность крови кислородом, эта переменная называется SpO2. Это, пожалуй, основное. 

Небольшое лирическое отступление: мечта разработчиков оптических сенсоров - измерить сахар в крови. Это важно для диабетиков, это важно для контроля, как и что мы едим, но, насколько я понимаю, это очень сложная задача, и сейчас она еще не решена. Так что давайте думать больше про то, как часто сокращается наше сердце - это пульс, как меняется частота сердечных сокращений и насколько наша кровь насыщена кислородом. 

Это была теория, а теперь перейдем к практике. Что можно сделать на основе сенсоров пульсовой волны? В медицине они широко используются. В поликлинике на палец надевают оптическую прищепку, и она измеряет сокращение сердечной мышцы. Но всё-таки это узкоспециализированные вещи. 

Можно ли вытащить эти сенсоры и проникнуть на потребительский рынок? Это делается, к примеру, в носимых устройствах. Например, на корпусе часов Samsung Gear S3 Frontier есть небольшое окошечко, там стоят оптические элементы, которые светят на руку и вытаскивают эти данные.

Я не думаю, что это очень важно абсолютно всем. Может быть, важно для атлетов. Но мы экспериментируем, смотрим, что конкретно можно сделать, какие проекты возможны. Например, в медицине пока что большинство датчиков с проводом - неприятно, неудобно, если вы лежите в кровати и повернулись на другой бок. Все ли можно сделать беспроводным через WiFi и Bluetooth? В принципе, была хорошая идея и даже есть попытки стандартизации - американское министерство здравоохранения говорит на эту тему уже несколько лет.

Что можно сделать для потребительского рынка: любопытно, что стресс и вариабельность сердечных сокращений связаны между собой, и можно оценивать стресс. Более того, существует биологическая обратная связь - знание этих характеристик может оказать влияние на наше поведение. Можем ли мы из этого сделать какую-то увлекательную игру, конечной целью которой будет, естественно, управление нашим стрессом? Мне кажется: почему бы не попытаться встроить все эти датчики в мебель, в окружающую среду, стулья, столы, это было бы интересно. 

И еще чуть-чуть о возможных используемых технологиях. Частоту сердечных сокращений не обязательно смотреть измерительным прибором, прикладывая его к руке, пальцам. Видеокамера, наблюдая нас, видит, как микроскопически меняется цвет лица в зависимости от сокращений сердца. Эта информация вытаскивается, и она не такая точная, как носимый сенсор, но тем не менее может оказаться важной для отдельных приложений. Сейчас радары используются не только у военных и на аэродромах. Создаются микросхемы, которые при помощи радара могут измерять частоту сокращений. XETHRU - пример компании, которая занимается такими радарными микросхемами. 

Подведу итог: если вас интересует измерение частоты сердечных сокращений, то в этой задаче используется не только оптика, но и видеокамера, и радиодиапазон.

Измеряем сопротивление

Теперь рассмотрим сенсор электросопротивления организма. По-научному это называется биоимпедансометрия. Импеданс - термин из электроники, связывает токи и напряжения. “Био”, потому что мы не кусок металла, не графитовый стержень - мы сложный объект, и наше сопротивление зависит от ряда факторов: насколько мы полные или тощие, сколько в нас воды; более того, на разных частотах наше сопротивления отличается, не константа. 

Посмотрим несколько примеров, как измеряется импеданс. Вот эта большая колонка может находиться в клинике. 

Вот пример умных часов, которые измеряют ваш импеданс. 

Если не вдаваться в подробные объяснения, то вот эта чашка на картинке ниже - это клетка нашего организма, и на схеме показано, что даже на уровне элементарной биологической клетки в нас есть сопротивление и емкость. Клеточная мембрана - это кожура, это стенки “чашки”, они фактически непроницаемы для электрического тока. С точки зрения электроники они представляют собой емкость в зависимости от того, в каком состоянии клетка принимает и выпускает ионы. Когда мы измеряем сопротивление, можно сказать многое о том, какие процессы происходят внутри нас. 

Эта тема имеет много приложений: можно ли предсказать появление и развитие болезней, и так называемый основной обмен веществ, то есть сколько калорий мы сжигаем. Мы ведь сжигаем их не только, когда упражняемся в тренажерном зале, но и когда сидим, и это тоже важно знать. Как мы потребляем наши калории? Всё это широко используется для спорта, либо врачами-диетологами. Это интересные темы, они есть на рынке. Насколько они удачны или нет, тяжело судить. Но кто сказал, что у вас не будет своих хороших идей, которые бы вы смогли довести до рынка? 

Я хотел бы предложить идею. Как правило, мы говорим либо о специализированном оборудовании для импедансометрии, либо про умные часыносимые устройства. А можно ли те же самые измерения проводить в окружающей нас среде? Можно ли сделать умный стол, кресло, кровать, либо даже пол, который бы проводил эти измерения? Я к этому вернусь позже, но сейчас я отмечу одну вещь. Когда мы говорим про Интернет вещей, то самое последнее, что я хотел бы сделать как инженер, это заставлять человека активно использовать датчики, обвешаться ими, надеть на шею, на уши, на руки. Не думаю, что это сработает. Мне ближе идея прозрачности, когда среда, окружающий вас мир не вызывает у вас негативных эффектов, и не заставляет вас думать - как, к чему подключиться. Мне кажется, это одно из требований к технологиям будущего. Они должны быть неинвазивными и прозрачными для нас как пользователей. 

Измеряем электроактивность

Давайте перейдем к другим датчикам, связанным с нашим здоровьем: сенсор электроактивности организма. Это может быть электрокардиография: мы смотрим, как сердце ведет себя электрически, либо электроэнцефалография - это про наш мозг. Здесь очень простая теория: подключить электроды к поверхности нашего тела и смотреть, какие токи и напряжения у нас возникают. Можно измерить электрическое расстояние между различными частями тела, и чем больше измерительных точек мы используем, тем точнее будут наши измерения. 

Тут я снова призываю помнить о том, что в быту это вряд ли сработает. Если вы в госпитале, либо вы профессиональный атлет, желающий улучшить свои показатели, то может быть, вы этим воспользуетесь. Но для большинства из нас обвешаться датчиками сложно, и вряд ли кто-то будет это делать в повседневности. Лучшее приложение, по всей видимости, будет наименее инвазивным, чтобы не не мучить пользователя бесконечным измерениями. 

Давайте посмотрим, какие приложения датчиков электроактивности организма есть. Скорее всего, вы хотя бы раз в поликлинике снимали электрокардиограмму. 

При помощи электрических датчиков можно измерить также частоту сердечных сокращений либо вариабельность. Для атлетов очень важен режим, с какой частотой бьется сердце. В принципе, это идея старая - фитнес-трекер. По всей видимости, в будущем будут найдены способы не просто измерить свою частоту сердца, но и сделать какие-то более серьезные рекомендации, которые реально помогут человеку стать более тренированным, сбросить вес. Идея фитнес-трекера не нова, но качество современных фитнес-трекеров не идеально, поэтому я  и предлагаю обратить внимание на эту тему.

Умный дом

Итак, мы обсудили три сенсора для персонального здоровья, и сейчас мы переходим к Умному дому. 

Газовые сенсоры

Мне бы хотелось выделить для начала газовый сенсор. Какие газы нас волнуют? CO2 - углекислый газ. Мы не хотим находиться в помещении, где много углекислого газа. Если у нас газовая плита, то если в комнате появляется CH4 - метан - это проблема, может быть взрыв. Другие взрывчатые вещества тоже хотелось бы определять. Как это делается? Хорошо известен оптический способ, или, я бы даже сказал, спектроскопический, когда поглощение молекулами газа на определенной длине волны связано с концентрацией этого газа. 

Бывают датчики электрохимические: взаимодействие молекул газа с поверхностью нашего электрического прибора может быть зарегистрировано электрическим способом. 

Наиболее футуристический, и мне безумно интересен, третий вариант, когда используется система обоняния человека, насекомых, животных - биологический. Тут важно сказать, что в случае первых двух сенсоров мы можем определять только простые вещи типа углекислого газа. Клетка же, в отличие от других сенсоров, чувствительна к запахам, которые важны для людей: запах протухшего мяса, запах духов - это реально важные для нас запахи. Использовать генетически модифицированную обонятельную клетку - очень интересная тема, в ближайшем будущем возможно будут большие прорывы. 

Я хотел бы обратить внимание вот на что: посмотрите, компьютеры распознают речь, зрение, это все подвластно анализу инженеров, но с запахами ситуация совсем пока не блестящая. Нам по-прежнему нужны люди-эксперты, если мы говорим про духи, никакой автоматизации распознавания запахов пока что нет. Тема исключительно интересная! 

Вот идеи для студенческих проектов: отслеживание качества воздуха,углекислоты и утечки опасных газов. Еще один пример - контроль качества продуктов. У вас в холодильнике прокисло молоко, как об этом сообщить пользователю? Т.е. важно применение сенсора в неком устройстве, а не сенсор сам по себе. 

Из примеров устройств. Как насчет рекуперации воздуха в помещении? Если концентрация углекислоты поднялась, не пора ли автоматически проветрить помещение? Если такие продукты на рынке есть, то насколько они идеальные, насколько они встраиваются в  существующую инфраструктуру - большой вопрос. Повторюсь, важно не что-то потрясающее и новое, а что-то, что продается. 

Поиск предметов

Не знаю, как вы, а я регулярно теряю вещи, поэтому любая автоматизация поиска потерянных вещей - ключей, книжек, компьютеров, собак, кошек - очень интересная тема. Опять же, нельзя сказать, что на рынке этого нет. Мы можем искать что-то вблизи, в масштабах нескольких метров, но если кошка или собака убежала, нам уже нужны километры. Вся эта тема, мне кажется, готова для коммерциализации. 

Если начать с самых простых решений, то стоит сказать о пассивных RFID-метках. Это просто небольшая антенна, связанная с микросхемой, наверняка вы видели их на товарах в магазинах. 

Другое решение - поставить GPS-сенсор, прикрепить его на машину или на кошку, и узнать, где она, даже во многих километрах от нас. 

А если необходимо будет искать потерянные вещи на больших расстояниях?  Скорее всего нам понадобятся батарейки. Хорошо, если батарейки хватит на несколько месяцев, но, например, в случае GPS-геолокации, она может служить только пару дней. И это плохая новость для нас, инженеров. Для такого кейса неприемлемо, чтобы пользователь часто менял или заряжал батарейку, и это нерешенная проблема. Если вначале я говорил, что для сенсоров все технологии известны и нужно найти лишь приложение для них, то здесь я бы сказал, что есть место для хорошей физики и радиоэлектроники. 

Какие еще идеи для проектов я бы хотел предложить? Может быть, это звучит футуристически, но если будет решена проблема с батарейками и мы можем пометить вещи, то возможно  компьютерная система сможет навести порядок, если вы не способны сделать это сами? Может ли система запомнить, что такое порядок, когда вещи находятся на своих местах, и если вдруг вещь окажется не на своем месте, система вежливо нас попросит положить эту вещь на место? Это реально моя любимая идея, мне кажется, здесь очень большие приложения, потому что мы не самый аккуратный биологический вид на этой планете, и мы постоянно боремся с бардаком в доме и на работе. Если мы сможем электронным способом навести порядок, это было бы классно.

Заключение

Итак, давайте посмотрим, о чем мы сегодня говорили. Мы поговорили о том, какие направления Интернета вещей нам интересны: это персональное здоровье, это Умный дом. Мы коротко обсудили, какие сенсоры для этого используются и дали примеры, как эти сенсоры могли бы быть встроены в приложения, которые потенциально могут найти своих потребителей. 

Я хотел бы дать вам несколько рекомендаций. Прежде всего - ориентироваться на коммерческий успех. Если вы инженер, я бы не рекомендовал слишком сосредотачиваться на науке, на формулах. Начните с покупателей ваших идей. Инженерия - это не просто создание вещей, она начинается с продаж. По моему мнению, инженер, не думающий о продажах, по всей видимости, не самый лучший инженер. 

Далее, при создании ваших решений Интернета вещей, я рекомендую руководствоваться следующими принципами. 

1. Прозрачность: ваше решение не должно менять стиль жизни, образ жизни потребителя. У людей уже есть наработанные привычки, и если для использования вашего нового продукта их нужно поменять, вряд ли они будут пользоваться вашим устройством. Поиграться с ним - да, но вашим постоянным потребителем он вряд ли станет. 

2. Беспроводность: если у вашего устройства есть провод, скорее всего, вы не сможете это никому продать. И тут возникнет беспроводная передача и мы переходим к третьему принципу.

3. Защита данных. Используйте криптографию с самого начала; что бы вы ни делали, ваши данные должны быть защищены! Тем более, если мы говорим о таких чувствительных вещах, как персональная медицина. 

4. Эффективное энергопотребление. Как я уже говорил, если вы хотите использовать батарейки, подумайте, как часто потребитель захочет менять их? Ваш продукт должен быть настолько энергоэффективным, чтобы он работал на батарейке многие годы, либо вы могли использовать методы передачи энергии на расстоянии. 

Я хотел бы завершить лекцию, с моей точки зрения, идеальным устройством - Умной розеткой! Реально, когда я думаю про умную розетку, она удовлетворяет всем принципам, о которых я только что говорил: прозрачность и беспроводность. По определению, в розетке всегда есть  электричество, вам не нужно думать о батарейках. Вы не добавляете ничего нового, вы не навешиваете ничего на себя. И если в этой розетке сделать модульную систему и добавить разъемы для новых расширений, мне кажется, это могло бы быть удачной идеей для стартапа. 

Повторяю, это не новая вещь. Но умные розетки есть пока что не в каждом доме - в ваших руках сделать так, чтобы умные розетки были везде. Какие расширения этой розетки можно предложить? Из примеров по Умного дома: это датчики газов. Можно встроить поиск предметов в розетку. Чтобы найти положение вещей, нужно делать триангуляцию, то есть посмотреть расстояние до разных розеток, и узнать, где находится эта вещь, и мне кажется, в случае розеток это абсолютно возможно. 

Если есть вопросы, пишите в комментариях. Я и мои коллеги в Samsung Research Russia всегда рады пообщаться с талантливыми интересующимися людьми.

Видео лекции

Авторы

Станислав Полонский — Начальник управления перспективных исследований и разработок Исследовательского центра Samsung

Татьяна Волкова — Автор учебной программы трека по Интернету вещей IT Академии Samsung, специалист по программам корпоративной социальной ответственности Исследовательского центра Samsung

Ссылки

Если вам понравился материал, то ознакомьтесь и с другими статьями тех же авторов:

1. Статья Татьяны Волковой “График Гартнера 2019: о чём все эти модные слова?”

2. Статья Станислава Полонского “5G - где и кому он нужен”?