Ученые из Национального Университета Сингапура (National University of Singapore) открыли способ улавливать звуки в помещении при помощи робота-пылесоса. При этом у пылесоса, который тестировали специалисты, нет встроенного микрофона. Принцип подслушивания несколько иной — вместо микрофона используется лидар.

^{На схеме лидар перехватывает данные во время конференции пользователя}
Лидар состоит из двух элементов: лазерный излучатель и приемник. Лидар замеряет расстояние до объектов с высокой точностью с помощью лазерного луча. И, как оказалось, при помощи лазера можно отлично слышать все, что происходит вокруг робота-шпиона.


В чем суть эксперимента? Пылесос установили рядом с мусорным ведром. Лидар направили на ведро. В 20 см от ведра установили аудиоколонку, которая воспроизводила звук с громкостью около 70 дБ. В результате применения специализированного оборудования исследователям удалось не только подслушать звук. Как оказалось, эта технология позволяет:

• с 96% — определить пол говорящего,
• с 91% — восстановить произнесенные цифры,
• с 90% — идентифицировать музыкальные заставки (выбиралось из 10 вероятных),
• с 67,5% — идентифицировать личность говорящих в помещении людей (также выборка из 10 возможных).

^{Принцип работы лидара}
Как происходит запись? Лидар вращается с частотой 5 Гц, за один оборот записывает 360 значений расстояния. Но такой частоты регистрации недостаточно. Ученые видоизменили электрическую цепь в блоке прибора, чтобы он записывал расстояние без вращения. В таких условиях частота записи вырастает в 360 раз до 1,8 кГц.

Что дальше? Затем данные фильтруют. Распознают пустые фрагменты, которые остаются, когда луч не возвращается обратно. Также отбрасывают низкочастотный шум и усиливают звук в низких частотах. Результирующий сигнал обрабатывают нейросетевыми алгоритмами.


Сверточная нейросеть относит звуки к известным ей классам. Инженеры обучали ее на открытой базе — Free Spoken Digit, а также на собственной подборке записей музыкальных заставок с YouTube.

Какие еще способы существуют

^{Скриншот записи со схемой восстановления звука от пакета чипсов}
Несколько лет назад ученые из Массачусетского технологического института продемонстрировали, как можно восстановить звук самыми неожиданными способами. В одном случае восстановили мелодию от комнатного растения. А в другом эксперименте снимали на камеру и восстанавливали аудио, звучащее рядом с пакетом чипсов. Преобразовать звук удалось с помощью высокоскоростной камеры: по изменениям пикселей на изображении снимаемого объект.

^{Система Lamphone}
Летом текущего года в Израиле ученые подслушали речь, звучащую в доме в реальном времени, по вибрациям лампочки. Способ назвали Lamphone. Для этого нужен телескоп с подключенным к нему фотодиодом. Оптический приемник преобразует падающий на него свет в электрический сигнал. С помощью алгоритма сигнал переводят в речевую спектограмму, из которой извлекают речь собеседников.