Слева направо: эволюция датчиков КВЧ-излучения со встроенным радаром, источник: Google AI
Миллиметровые волны (ММВ) или крайне высокие частоты (КВЧ) — диапазон радиоволн с длиной волны от 10 мм до 1 мм, что соответствует частоте от 30 ГГц до 300 ГГц. Они используются в военных и полицейских радарах, сканерах безопасности, КВЧ-терапии для лечения многих болезней, астрономических инструментах.
Но сейчас наступает эпоха, когда радары миллиметрового излучения (mmWave, 60 ГГц) созрели для широкого коммерческого применения. Скоро их разрешат встраивать в обычные смартфоны. Это открывает кардинально новые возможности по использованию портативных гаджетов: распознавание жестов в автомобилях, дистанционный мониторинг сна, отслеживание перемещения всех людей в офисе и многое другое.
Раньше для использования радаров mmWave в бытовой электронике требовалось специальное разрешение FCC. Первыми его получила Google в 2018 году, затем Vayyar, Amazon и некоторые другие компании.
13 июля 2021 года Федеральная комиссия по связи США предложила открыть диапазон 60 ГГц для коммерческих приложений mmWave. Это решение зажгло зелёный свет для десятков стартапов и новых коммерческих продуктов, которым разрешили свободно использовать радары КВЧ без специального разрешения FCC.
Возможность широкого применения КВЧ-радаров появилась также благодаря прогрессу в изготовлении RF CMOS
RF CMOS
Микросхема RF CMOS (РЧ КМОП) или RFIC объединяет в себе радиочастотную (RF), аналоговую и цифровую электронику. В последнее время стало возможно разместить на одной микросхеме радар, антенны и вычислительные ядра, что позволяет выпускать датчики mmWave по гораздо более низкой цене.
Радар работает путём передачи электромагнитных волн и обработки ответных волн, отражённых от окружающих объектов. У сигнала на частоте 60 ГГц длина волны 5 мм, что позволяет mmWave получать подробную информацию о нас и нашем физическом окружении.
Например, вот как выглядит результат обработки отражённого сигнала КВЧ на смартфоне, если человек приближается (слева), удаляется (в центре) или делает жест рукой (справа).
Данные КВЧ-радара на смартфоне, источник: Google AI
4D
На КВЧ-микросхемах обычно несколько антенн, так что датчик получает картинку как бы в четырёх измерениях. Кроме трёх координат, датчик улавливает ещё скорость каждой отражённой точки. Подробнее о принципе работы 4D-радаров см. здесь.
На диаграмме ниже сравниваются четыре типа распространённых датчиков: ультразвук, камера (2D), лидар (3D) и радар (4D). Как видим, радар является единственным датчиком, который получает информацию о скорости объекта.
Ещё одно преимущество радара заключается в том, что он может видеть сквозь пластик и другие материалы. Это делает его отличным выбором для бытовой электроники, поскольку его можно разместить под корпусом любого гаджета.
Радар невосприимчив к факторам окружающей среды, таким как свет, температура и пыль, так что он отлично работает в условиях, где фотосенсор бесполезен. При этом он чрезвычайно надёжен, в микросхеме буквально нечему ломаться: здесь нет движущихся частей или линз.
Настоящая польза радаров mmWave проявляется, если их интегрировать в системы ИИ. Например, исследователи из университета Карнеги — Меллон в прошлом году обучили нейросеть, которая точно классифицирует по данным радара различные виды деятельности: махи руками, приседания, езда на велосипеде, хлопки, выпады, прыжки с места.
КВЧ-радары в бытовой технике
Первый прототип коммерческого устройства со встроенным радаром показала студия Google ATAP (Advanced Technology & Projects) в 2015 году. Это был проект умных часов Google Soli, разработанный командой под руководством Ивана Попырева (см. статью на Хабре).
Если вкратце, Project Soli — это радар на миниатюрном чипе, который можно встраивать в любые окружающие объекты: например, зеркало, плита, телевизор. Любые предметы, которые взаимодействуют с человеком. Теперь они будут распознавать жесты пальцами с точностью менее 1 мм.
Не требуется установка громоздких камер и дополнительного оборудования, тем более никакие камеры не смогут отслеживать движения с частотой 10000 FPS, как это делает Soli. Бесконтактные жесты можно использовать для расширения UI различных устройств.
В октябре 2019 года радар Soli встроили в смартфон Pixel 4 (маркетинговое название (Motion Sense), где он ускорял процесс разблокировки по лицу наряду и поддерживал распознавание нескольких базовых жестов, такими как управление музыкой. Но с тех пор чип не включали ни в один смартфон Pixel. Вероятно, разработчики решили ещё поработать над применением этой технологии в смартфонах.
Кроме того, в 2021 году компания Google выпустила умный дисплей Nest Hub второго поколения с функцией Sleep Sensing.
Умный дисплей Nest Hub
Функция Sleep Sensing использует радар Soli для мониторинга сна человека рядом с дисплеем на основе его движений и дыхания — всё это без камеры или какого-то нательного сенсора.
Разбор этого гаджета ценой $60 показал чип радара Infineon, который стоит $3,65.
Google Nest Hub (2-е поколение)
Компания Amazon в начале 2021 года выпустила умный дверной звонок Ring Video Doorbell Pro 2 со встроенным КВЧ-радаром. Соответствующая функциональность для потребителей преподносится как функции '3D Motion Detection' и 'Bird's Eye View'. У радара меньше ложных срабатываний и шире радиус действия, чем у стандартной ИК-камеры. Кроме того, он видит сквозь кусты, деревья и другие препятствия.
Amazon также последовала примеру Google, применив КВЧ-радар для мониторинга качества сна.
Apple пока ничего не выпустила со встроенным радаром, но в начале 2021 года получила патент на устройство с круговой радарно-антенной решёткой.
На базе технологии mmWave работают устройства офисного мониторинга нового поколения, которые точно отслеживают местоположение сотрудников в офисе в реальном времени.
Над автомобильными КВЧ-радарами работают компании Novelic, Arbe, Vayyar, Uhnder, and Oculii и др.
Стартап Miku разработал радионяню со встроенным радаром Miku Pro Smart Baby Monitor, которая не только снимает ребёнка на видео, но дистанционно отслеживает частоту дыхания и качество сна.
Технологию можно использовать также для беспроводной связи как внутри, так и снаружи помещений. Все крупные сотовые операторы сейчас работают над внедрением mmWave. Есть и сторонние проекты, такие как Facebook Terragraph и стартап Aervivo.
Стандарт WiGig (WiFi на частоте 60 ГГц) принят ещё в 2009 году и постепенно набирает обороты. Например, Intel создала беспроводной адаптер для гарнитуры Vive VR с использованием WiGig, у которого практически нулевая задержка и скорость передачи данных 4,6 Гбит/с.
Последний стандарт WiFi сочетает в себе методы радиолокации и связи для беспроводного зондирования с помощью WiFi-маршрутизаторов. То есть маршрутизатор WiFi сможет эффективно отслеживать перемещение объектов по квартире и распознавать жесты.
Как видим, прогресс в производстве КВЧ-радаров и решение FCC открыть спектр 60 ГГц помогло выйти на рынок ряду гаджетов с принципиально новой функциональностью. Судя по всему, mmWave — очередная прорывная технология, которая сильно повлияет на окружающие нас интерфейсы. Возможно, через несколько десятилетий распознавание жестов будет естественной характеристикой многих гаджетов и других окружающих объектов.
Для продвижения нового стандарта и единых API в январе 2022 года образован технологический альянс Ripple.
Комментарии (50)
dydyman
02.02.2022 21:46+7Шапочку придется шить по технологиям стелс, максимум плоскостей и параллельных линий. В обычной человека будет видно еще лучше )
General_Failure
03.02.2022 09:34+3Мятая фольга с максимумом плоскостей подойдёт? Или нужно аккуратно, обязательно с параллельными линиями?
Popadanec
03.02.2022 12:11+3Нужно отражение в сторону. А мятая как попало только увеличит радарную видимость.
dydyman
03.02.2022 12:45При сложной геометрии параллельные линии нужны чтобы сократить количество углов отражения с разных плоскостей и ребер. Но можно взять и более простую геометрию, к примеру, пирамиду с основанием в виде ромба. Мятая фольга даст большое количество углов отражения, как и изогнутые поверхности, этого лучше избегать.
Geckelberryfinn
02.02.2022 21:55+20Через несколько лет после массового выпуска, добавят в прошивки телефонов возможность следить, какое приложение использует данные таких датчиков. Будет очередная киллер-фича.
А в новую колонку добавят физические кнопки, разрывающие цепь питания к этому датчику
А до этого будут утечки постельных радарных сцен знаменитостей, фейковые приложения анти-радар, детектор вакцинированных от ковида "эпсилон" и, конечно, хайрез нюдсы с радара
dMac
02.02.2022 23:36+1Ну конечно. Видеть сквозь стены - мечта любого журналиста. Ой, кажется, я счас нечаянно придумал радарный бинокль...
GospodinKolhoznik
02.02.2022 22:33+8Я даже знаю, как они изменят жизнь. Теперь системы отслеживающие работу сотрудников на удалёнке будут не только трекать движения мышки, но и с помощью такого устройства отслеживать движение рук сотрудника, чтобы специально обученная нейросеть могла сопостовлять движения рук с движениями мышки, чтобы выявлять тех, кто имитирует движение мышки с помощью скриптов или механических устройств.
Rive
02.02.2022 23:08+2Те кто могут контролировать подневольных учеников и не успевших сбежать сотрудников - уже используют видеокамеры, а радар даст недостаточно полную картину.
fougasse
02.02.2022 23:08Я думал, что управление мультимедиа жестами в машинах уже давно есть, а, оказывается, это ещё только должно изменить мир.
ClearAirTurbulence
02.02.2022 23:19+1Оно, может, и есть (лично не встречал, но в люксовых, возможно). Но если оно и есть там, скорее всего, как все детекторы жестов, расрпространенные сейчас, сделаны на основе камер (обычная+ик+сетка), типа как kinect. А у этого способа по сравнению с радарами есть минусы.
7313
02.02.2022 23:19+4А чего ссылка на квч терапию на английском-то? Это ж наша технология.
https://www.gastroscan.ru/handbook/322/9354
Мы, помнится, в 87-м совместно с мединститутом испытания прибора Явь-1АМ проводили на добровольцах. И хотя пытались лечить язву желудка (довольно успешно кстати), у одного испытуемого кожа разгладилась на руке после старого сильного ожога, у одной старушки зрение улучшилось и вроде бы даже у кого-то зуб под коронкой начал расти.
PanDubls
03.02.2022 03:02+9"Ньюту, возможно, интересно было бы узнать, что из тридцати девяти тысяч женщин, проверенных булавкой за долгие века охоты на ведьм, двадцать девять тысяч вскрикнули от боли, девять тысяч девятьсот девяносто девять не почувствовали ничего, поскольку применялись вышеупомянутые коварные булавки, а одна ведьма заявила, что булавка чудесным образом исцелила ее ногу от артрита.
Звали эту исцеленную Агнессой Псих."
Kuzyok777
04.02.2022 17:54УВЧ-терапия — методика физиотерапии, не имеющая достаточных научных доказательств эффективности[⇨], в основе которой лежит воздействие на организм пациента высокочастотного электромагнитного поля с частотой электромагнитных колебаний 40,68 МГц либо 27,12 МГц.
iggr63
03.02.2022 07:47+3Да КВЧ диапазон становится более доступен и все что с ним связано тоже. Роде и Шварц например презентовали сканирующию систему для аэропортов которая показывает что у идущего пассажира под одеждой в реальном времени. Обещали не хранить изображения. Еще более неприятную вещь испытали американцы - систему для разгона демонстраций работающую в W диапазоне. У протестующих возникает ощущение ожога по всему телу без каких-либо признаков на коже. Волна слабо поглащается кожей но нагревает подкожые ткани из-за большего содержания воды.
drWhy
03.02.2022 11:36+1Будущее рядом«Вспомнить всё» и «Стиратель». От КВЧ всего в нескольких порядках ;)
werwolflg
03.02.2022 12:40+1>Роде и Шварц например презентовали сканирующию систему для аэропортов которая показывает что у идущего пассажира под одеждой в реальном времени.
Там вроде ТГц используют, в таких системах.
iggr63
04.02.2022 02:23Да насколько я помню ближе к ТГц, я со своими 263 ГГц был самый низкочастотный на конференции.
Machirodont
03.02.2022 08:30+3В первую очередь, к сожалению, думается о том, что еще какую-то новомодную дрянь запихнут во все телефоны, где она будет жить своей жизнью, шпионить, глючить, жрать батарейку и портить жизнь - и придется тратить еще больше времени на всяких 4pda чтобы настраивать, разлочивать, перепрошивать, удалять и блокировать. Это психическое расстройство как-то называется?
mctMaks
03.02.2022 09:42+2паранойя обыкновенная или при более запущенном случае паранойя конспиролгическая.
где она будет жить своей жизнью, шпионить
сейчас и без этой функции о вас в интернете знают многое, если не все.
ну и с учетом мирововых дефицитов, можно ещё пару лет спокойно спать. если вы конечно не покупаете новую флагманскую модель смартфона сразу после анонса.
Machirodont
03.02.2022 12:26Насколько я понял, эта штука будет снимать в реальном времени, в том числе, параметры фигуры человека, паттерны физической активности и некоторые физиологические параметры - вроде частоты дыхания. Это позволит, например, генерировать по этим данным очень реалистичные фейковые видео. Или обучить нейросетку довольно точно распознавать эмоциональное состояние человека и применять различные манипулятивные методы в моменты наибольшей психической уязвимости.
Все это и так сейчас возможно и применяется, но эффективность и доступность явно значительно вырастет.
drWhy
03.02.2022 11:44Как бы она сама ещё чего-нибудь не разлочила, перепрошила или заблокировала в голове у владельца ;)
juramehanik
03.02.2022 08:43+5Чрезвычайно Большой Телескоп не будет использовать Крайне Высокие Частоты. Аббривеатуры такие аббривеатуры.
Спасибо, что терагерцевый диапазон не назвали аля Неприлично Высокие Частоты.
Chayko_true
03.02.2022 12:01Уже вполне себе используется в автомобилях с управлением мультимедия жестами. Та же BMW.
j_aleks
03.02.2022 12:12два занятных нюанса что ли...
1-некая лаборатория гдето в там на основе теоритеческих изысканий расчитала что на основе молекуларной структуры воды должно быть несколько окон прозрачности в оной, собрали утановку, светили через метр воды в диапазоне 100+ гигагерц, и да, даже график напечатали сейчас не помню то-ли 3 то-ли 4 пика присутствуют...
2-совсем посторонний источник, небезизветная DARPA получила заказ на разработку средств связи диапазона 100+ гигагерц...
занятно...
iggr63
04.02.2022 02:36+1Да это известная особенность земной атмосферы, диапазоны с КВЧ-1 до КВЧ-5 как раз в окнах прозрачности. А частоты вне таких окон используются для наземной связи особенно закрытой.
SomeUser11
03.02.2022 12:53А кроме жестов (которые мне например не нужны) как ещё эти радары можно использовать?
tmin10
03.02.2022 14:12Точно считать людей в комнатах и смотреть, что они делают. Для домашней автоматизации будет полезно и кажется проще, чем с камер информацию получать.
Popadanec
03.02.2022 14:25Да и безопасней чем камера.
К тому же работа будет уверенней. Т.к. pir сенсор не даст понимания, есть ли кто внутри, т.к. срабатывает только на движение. А камера ночью/днём может слепнуть.tmin10
03.02.2022 14:45Есть ещё датчики присутствия, вроде как RIP сенсорны на стероидах. Они позволяют детектировать уже без движения, но точной информации по числу и поведению не выдадут тоже.
shadrap
03.02.2022 14:57RIP сенсорны на стероидах
вы че т не то написали , наверное PIR сенсоры на..., а стероиды это гормоны)
Я использую 20ГГц радары комбинированных с Пирами для охраны периметра, стоит отметить их отличное качество срабатывания и отсутствие ложных... и дистанция впечатляет , до 15-17 метров
tmin10
03.02.2022 15:23Конечно, PIR. А «на стероидах» — оборот, показывающий, что это усиленная версия чего-то.
hogstaberg
03.02.2022 20:49+1В обозримом будущем бытовая техника будет чётко и уверенно распознавать управляющие жесты пользователей. Даже случайные сквозь три несущие стены и закрытую дверь туалета.
impexp
Теперь точно пора будет надевать шапочку из фольги
Korobei
И вдобавок источник помех с собой носить, хотя в некоторых странах они незаконны. Может маломощный, типа чтобы только в пределах нескольких метров фонить.
avkudrin
*мы все умрем mode on*
А потом вас переедет беспилотная машина, когда вы вечером будете через дорогу переходить. Расследование покажет, что для оптической камеры было уже слишком темно, для ИК - еще слишком светло, а радар был ослеплен глушилкой.
*мы все умрем mode off*