Современные технологии машинного обучения (ML) позволяют извлечь полезный сигнал из массива данных, который раньше считался просто шумом. Это открывает новые возможности для разведки и шпионажа, в том числе прослушки телефонов и слежки за гражданами.
Группа исследователей Университета Пенсильвании разработала аппаратно-программный комплекс WirelessTap, который снимает звук по вибрации телефона. Это принципиально новый способ прослушки, который не использовался ранее.
Теоретически, такие системы транскрибирования речи можно установить в общественных и публичных местах, школах, больницах, снимая в реальном времени текстовую расшифровку телефонных переговоров в помещении. Полученные тексты могут использоваться для профилирования граждан и обучения ИИ.
Система использует миллиметровый радар, то есть радиолокационную систему миллиметрового диапазона, в сочетании с системой распознавания речи на основе ИИ. Установка способна транскрибировать разговоры по слитной речи со словарным запасом 10 тыс. слов.
Точность распознавания постепенно снижается с расстоянием: от 59,25% на расстоянии 50 см до 2% на расстоянии 300 см.
С расстоянием увеличивается и количество галлюцинаций:
Исследование основано на проекте 2022 года, в котором использовались аналогичные технологии. Тогда система показала точность 83% при распознавании по списку из десяти слов. Но распознавание слитной произвольной речи — это кардинально новый уровень качества, по сравнению со списком из десяти слов.
Миллиметровый радар в диапазоне 77–81 ГГц регистрирует вибрации, которые передаются через наушник на смартфон. Такие же радары применяются в беспилотных автомобилях, датчиках движения и беспроводных сетях 5G. Исследователи протестировали атаку в реальных условиях, с участием пользователей, которые держат смартфон у уха.
Для обработки сигнала они донастроили опенсорсную модель Whisper с помощью техники Low-Rank Adaptation (LoRA), когда вместо изменения всех параметров модели добавляются небольшие обучаемые матрицы низкого ранга. Это позволяет адаптировать модель к новой задаче с минимальными затратами ресурсов.
Модель Whisper изначально обучена на чистом звуке и не способна эффективно распознавать зашумлённый сигнал. Однако LoRA позволяет донастроить всего 1% параметров Whisper специально для радиолокационных данных, улучшив результаты распознавания без перестройки модели целиком.
Хотя точность 60% далека от идеала, даже частичные совпадения ключевых слов могут иметь серьёзные последствия для безопасности. Например, дистанционное чтение по губам обычно распознаёт лишь 30−40% произнесённых слов, но в сочетании с контекстом всё равно помогает понять смысл разговора.
Аналогично, и новая система может выявить конфиденциальную информацию, если её грамотно использовать, дополнив контекстом и экспертными знаниями.
Научная статья "Wireless-Tap: Automatic Transcription of Phone Calls Using Millimeter-Wave Radar Sensing" опубликована в сборнике Proceedings of WiSec 2025: 18th ACM Conference on Security and Privacy in Wireless and Mobile Networks (PDF). В статье описана система, которая включает в себя программу для генерации синтетических данных, обработку и инференс в OpenAI Whisper ASR.
Спуфинг голосового сигнала
Учёные надеются, что результаты их исследования повысят осведомлённость общественности, чт��бы люди стали более внимательными во время конфиденциальных звонков.
По мере развития технологий с каждым годом растёт риск злоупотребления искусственным интеллектом и сенсорными системами. Возможности органов чувств ограничены. Например, зрение ограничено очень узким диапазоном электромагнитного излучения 380−780 нм. Такая же проблема со слухом. Из этого можно сделать вывод, что достоверные полные данные об окружающем мире можно получить только приборами.
Звуковой сигнал также подвержен спуфингу. Можно предположить, что в будущем технологии позволят не только считывать, но и модулировать вибрации телефона с помощью наведённого сфокусированного излучения, так что звуковым сигналам по телефону (словам собеседника) нельзя будет доверять в полной мере.
Комментарии (55)
Vinitski
07.12.2025 16:12С трёх метров достаточно хорошего микрофона, чтобы услышать слова собеседника на том конце с точностью 100%.
Astroscope
07.12.2025 16:12Кэп просит прощения, что в данный момент сильно занят объяснением очевидного другим людям и не может отвлечься, поэтому попросил меня от его имени написать для вас примерно следующее; передаю своими словами насколько я сам его понял. С микрофоном очевидно, для чего он предназначен. Открыто установленный или умышленно скрытый - микрофон имеет только одно предназначение. А бытовой радар выглядит прибором, который не предназначен и не подходит для прослушивания, поэтому никогда не расценивается как угроза конфиденциальности, примерно эквивалентная микрофону. Оказывается, потенциально радар можно приспособить для выполнения несвойственной и не ожидаемой от него функции микрофона.
begin_end
07.12.2025 16:12Стоит заметить, что в роли микрофона могут отлично работать пищалки (спикеры, буззеры) и любые динамики. А иногда - некоторые детали, склонные к "микрофонному эффекту" - кварцевые резонаторы, SMD конденсаторы и дроссели в условиях "удачного расположения", где плата может работать как диффузор динамика. Можно сделать схемотехнику столь хитро, что использование этих деталей в микрофонных целях будет не очевидно без копания прошивки контроллера девайса.
Wesha
07.12.2025 16:12Генерал Файлура рассказывает капитану, что в большую хреновину не-подозрительного назначения можно незаметно хоть сотню микрофонов напихать.
wazzard
07.12.2025 16:12Точность 2% на расстоянии в 300 см, это уровень распознавания "мычания" разговаривающего между слов.
Тут явно напрашивается возможность снимать данные сразу с 5-10 датчиков.
И не совсем понятно, возможна запись разговора обоих собеседников, через вибрацию телефона, или все таки только непосредственно наблюдаемого?
JM777
07.12.2025 16:12Похоже здесь почти никто не понял о чём идёт речь, судя по наивным комментам. О потенциальной технической возможности кого-нибудь подслушать, даже если микрофон ещё не успели поставить. Не о готовой технологии, а о потенциальной угрозе конфиденциальности, в том числе от бытовых устройств, если кто-нибудь заинтересованный вложит в соответствующие разработки много ресурсов.
LinkToOS
07.12.2025 16:12Даже так скажем - исследователи изо всех сил стараются доказать, что новые технологии потенциально опасны. Цель исследования не в том чтобы разработать устройство для прослушки, а в том чтобы доказать, что какие-нибудь злодеи непременно смогут такое устройство разработать. Микроволны + искусственный интеллект = Большая Апасность! (здесь должен быть знак "Осторожно, быстрый прогресс!". Но сам рисовать я не умею, а просить об этом ИИ не буду. Потому что Апасно!)
stalker_316
07.12.2025 16:12Ещё в лохматых годах придумали, как прослушивать на расстоянии с помощью лазера и дрожания оконного стекла...
KbRadar
07.12.2025 16:12И где это?
WaldemarsonTheForester
07.12.2025 16:12В каком смысле? Это давно используется. И уже в девяностых публиковали схемы устройств, которые "дрожат стеклом" так, чтобы затруднить работу подобным устройствам.
И даже не по стеклу: https://habr.com/ru/companies/intersect/articles/529330/
Хотя это уже из области потенциальных угроз.KbRadar
07.12.2025 16:12Устройства для зашумления стекла давно есть, а вот эффективной считывалки звука со стекла ни разу не видел, и даже примеров записей не видно нигде. Связано это думается с тем что ветер и прочие вибрации здания настолько сильнее качают стёкла что получить на этом фоне речевой сигнал может быть чрезвычайно сложно, если вообще возможно. Мне это напоминает ещё "грязную бомбу" про которую все говорят, на трассах, в (аэро)портах и прочих метро стоят детекторы гамма- и зачастую нейтронного излучения, бабла на этом распилено не один олимпиард, а изготовителей грязной бомбы не поймано ни одного. Зато объективы с ториевыми линзами и старые часы тормозят регулярно, хотя опасности они не представляют никакой в реальности.
Dr_Faksov
07.12.2025 16:12"Буревестник" - самоходная самонаводящаяся "грязная бомба". Как минимум. И может кто знает - где он намотал 14 000, если вся РФ от Калининграда до камчатки - 7. И да, не заметить его было нельзя. Скорость у него как у рейсового Боинга.
KbRadar
07.12.2025 16:12Там "грязи" не так много ибо топлива мало и оно имеет низкую степень выгорания, максимум несколько гектар загадить может, причём активностью такой которая не вызовет быстрых проблем и позволит её не спеша вывезти с грунтом и захоронить.
AuroraBorealis
07.12.2025 16:12кто знает - где он намотал 14 000
А кто знает правильный ответ, тот получит десять лет! ©
Wesha
07.12.2025 16:12где он намотал 14 000
(Устало:) Кругами, челодой моловек, кругами, аки бегун на стадионе.
ManulVRN
07.12.2025 16:12Почти уже 30 лет назад присутствовал в качестве студента профильного направления на конференции, где выступали с докладами наши преподаватели и работники местного радиоэлектронного НИИ. То ли аспирант, то ли молодой кандидат наук рассказывал как раз о работе над подобной считывалкой. С его слов, при благоприятных условиях можно было догадаться об общем смысле разговора, то есть результат был такой себе. С другой стороны, это было почти 30 лет назад, и инициативная работа молодого сотрудника в едва живом на тот момент НИИ с соответствующими ресурсами.
jar_ohty
07.12.2025 16:12Чаще всего такой способ прослушки давал сигнал со столь низкой степенью разборчивости, что впору было нейросеть привлекать для того, чтобы оттуда извлечь хоть какой-нибудь смысл.
AlexMaison
07.12.2025 16:12Для этого есть виброшторы. А по самой статье, если переживаете за конфиденциальность своих разговоров - используйте сваз.
Wesha
07.12.2025 16:12Когда мне нужно провести реально конфиденциальные переговоры — мы с другим человеком накрываемся голова-к-голове одеялом и выкладываем сообщения кубиками с азбукой.
DvoiNic
07.12.2025 16:12Делайте это в ванной комнате, включив воду... Или используйте кубики с азбукой брайля.
Wesha
07.12.2025 16:12Делайте это в ванной комнате, включив воду...
Зачем? Мы ж и так молча, аудиторный канал утечки заблокирован.
используйте кубики с азбукой брайля.
Зачем? Одеяло и так блокирует оптический канал утечки.
KbRadar
07.12.2025 16:12>Точность распознавания постепенно снижается с расстоянием: от 59,25% на расстоянии 50 см до 2% на расстоянии 300 см.
И как это измерялось?
Dolby
07.12.2025 16:12Не помню точно, но где-то в конце 80-х начале 90-х в журнале Юный техник была представлена схема просушки с помощью инфракрасного лазерного луча, отраженного от окна комнаты. Метод широко известный, принцип тот же и в купе с ML имеет намного больший потенциал практического применения, имхо
DvoiNic
07.12.2025 16:1290-й год, инфракрасный лазер в ЖЮТ, схема? Урежьте осетра...
JustMoose
07.12.2025 16:12В ЮТ было много интересного. Конкретно ИК лазер не помню, но хорошо запомнил вариант с параболической тарелкой и микрофоном в фокусе. Там же, вроде, и трубочки были разной длины, для создания резонанса и усиления некоторых частот.
DvoiNic
07.12.2025 16:12Да, в ЮТ было много интересного, и лазер с импульсной накачкой (на органических красителях, например, родамине) печатался еще году в 71-м... Но не непрерывный ИК в 90-м..
I_Horus_i
07.12.2025 16:12Какая-то фигня, если мы можем в 40см от человека установить шпионский радар, что мешает нам установить там микрофон?
Если мы считаем, что наличие "радара" и отсутствие "микрофона" даст особо тупым ощущение секюрности, то не понятно почему бы не снимать колебания корпуса радара или ещё что-нибудь такое.
ArtMan99
07.12.2025 16:12Пока что это далёко от практики, но сам факт существования побочного акустического канала, неприятный
Wesha
07.12.2025 16:12Миллиметровый радар в диапазоне 77–81 ГГц
А ведь они смеялись, когда я говорил, что соседи облучают меня микроволновым излучением! /s
Dr_Faksov
07.12.2025 16:12"Если у вас мания преследования, то это вовсе не означает, что за вами не следят"
DvoiNic
07.12.2025 16:12Вы, конечно, шутите, мистер Фейнман
Я сел у стола, психиатр начал просматривать мои бумаги. - Привет, Дик - сказал психиатр бодреньким голосом, - Где ты работаешь? А я думаю: "Кого он там из себя воображает, если может обращаться ко мне подобным образом?" - и холодно отвечаю: "В Шенектади". "А у кого ты там работаешь, Дик?"-спрашивает психиатр, снова улыбаясь. - В "Дженерал электрик". - Тебе нравится работа, Дик? - говорит он с той же самой улыбкой до ушей на лице. - Так себе. - Я вовсе не собирался вступать с ним в какие бы то ни было отношения. Три милых вопроса, а затем четвертый, совершенно другой. - Как ты думаешь, о тебе говорят? - спрашивает он низким серьезным тоном. Я оживляюсь и отвечаю: - Конечно! Когда я езжу домой, моя мать часто говорит, что рассказывает обо мне своим подругам. - Но он не слушает пояснений, а вместо этого что-то записывает на моей карточке. Затем опять низким серьезным тоном: - А не бывает ли так, что тебе кажется, что на тебя смотрят? -Я уже почти сказал "нет", когда он добавил: - Например, не думаешь ли ты, что сейчас другие парни, ожидающие на скамейках, сердито уставились на тебя? Когда я был в очереди у этого кабинета, я заметил, что там было на скамейках человек двенадцать, ожидавших приема у трех психиатров, и им больше абсолютно не на что смотреть. Я разделил 12 на 3 - получается 4 на каждого, но я несколько консервативен и поэтому говорю: - Да, может быть, двое из них сейчас смотрят на нас. Он приказывает: - Ну, повернись и посмотри, - и даже не беспокоит себя тем, чтобы посмотреть самому! Я поворачиваюсь и - конечно же! - два парня смотрят. Я показываю на них и говорю: - Ага, вон тот парень и еще тот смотрят на нас. - Разумеется, когда я повернулся и стал показывать туда-сюда, другие парни тоже начали на нас глазеть, ну, я и говорю: - Вот теперь еще и этот, и двое вон оттуда, ага, теперь вся скамья. - Он да же не взглянет, чтобы проверить, - занят заполнением моей карточки.
...
ManulVRN
07.12.2025 16:12"Гр. Щин просверлил в моей стене отверстие и пускает скрозь него отравляющих газов" (с)
unC0Rr
07.12.2025 16:12Эксперимент интересный, но не вижу доказательства, что он работает не за счёт вибрации всей установки от звука.
Kreastr
То есть записать звук с 50 см сложно, а установить и запитать миллиметровый радар на диапазон 70 ГГц и никто нтчего не заподозрит?
DanilinS
Сейчас на рынке полно радарных датчиков присутствия человека. Миниатюрное батарейное устройство. Работают они на частотах 5.8 ГГц, 10ГГц, 24ГГц, 60ГГц а иногда на более высоких частотах 77 ГГц и выше.
Так что с наличием миллиметрового радара в квартире проблем нет.
Kreastr
Спасибо за объяснение. А как Вы считаете, что проше добавить незаметно в такой радар достаточно вычислительной мощности чтобы распознавать речь из радара или микрофон?
Moog_Prodigy
В сам радар можно ничего и не добавлять, пусть гонит по своему радиоканалу сырые данные куда нибудь за стенку рядом, а там уже можно поставить мощный вычислятор (или ретранслятор куда-то в облако).
KbRadar
Этих сырых данных там может и на гигабит в секунду набраться невзначай
Moog_Prodigy
Ну я щупал эти "бытовые" радары, там гигабитом и не пахнет в выходных данных. Ну точнее не вот конкретно эти из статьи, а миллиметровые на 24 Ггц. Вычислялка внутри встроенный asic, а наружу uart обычный торчит, со вполне себе уартовскими скоростями.
Astroscope
Для вывода результатов распознавания речи в виде plain текста этого очевидно достаточно. Остался вопрос роста вычислительной мощности прочей начинки радара, чтобы она могла этот текст извлечь из обрабатываемых ею сигналов - распознать речь, преобразовать в текст, и выдать распознанное через UART. Не уверен, что в контексте относительно массовых и не слишком дорогих устройств это не вопрос уже сравнительно близкого будущего.
fio
Если в устройстве есть (официально или не очень), то это общепонятная информация, что устройство может слушать. А вот если там радар, то совсем не очевидно что может.
DanilinS
Зачем там вычислительная мощность? Домашний радарный датчик по умолчанию подключен в внешнюю сеть для реализации функций умного дома. Отфильтровать поток от радара на звуковой диапазон и гнать наружу на сервера. А там как угодно обрабатывай.
И еще: такой датчик прекрасно видит биение сердца и движение легких при дыхании. ( например: R60ABD1 Радиолокационный датчик миллиметрового диапазона 60 ГГц , контролирующий дыхание, сон, биосенсорный модуль для дыхания и сердцебиения) И зачем пытаться снять информацию с сотового если можно снять информацию с горла человека? Мне кажется это будет намного проще.
Kreastr
А если почитать статью, то там вот пишут что это все же не фильтр а нейронка которую учили восстанавливать речь из шума который снимает радар.
Вопрос зачем это то, что меня и интересует. Зачем вообще радар если человек разговаривает по телефону? Уже есть в телефоне все что нужно для записи. А если не по телефону, то телефон скорее всего рядом. А если нужно слушать кухонные разговоры так проще ИМХО в бытовую технику микрофон/акселерометр добавить. Особенно если посмотреть на полученное качество в 60% на расстоянии в 50 см это прям супер полезно.
LinkToOS
Распознается то что он слышит, а не то что он говорит. Сигнал снимается с поверхности смартфона или наушника.
Это простой периодический сигнал, от большой площади поверхности с большой амплитудой движения. Паттерны соответствующие словам намного сложнее.
Wesha
Но ведь посол ничего не заподозрил!
KbRadar
Кстати, известно ли почему там нет нормального противовеса к антенне?
Wesha
Я, конечно, радиотехник не настоящий, транзисторы на свалке нашёл, но, насколько я своим умишком понимаю, противовесом как раз и служила коробочка, и в зависимости от изгибания мембраны менялась добротность контура, а поскольку облучение было микроволнами, то несколько тысяч раз в секунду таких изменений добротности легко детектировалось и давало сигнал ЗЧ.