Среди простых пользователей распространено заблуждение, что микрофон можно выключить нажатием кнопки в программе. Конечно, это не так. Единственный способ надёжного отключения — разъединение физической электроцепи, по которой передаётся сигнал или подаётся питание. Например, это может быть тумблер на материнской плате или кнопка на самом микрофоне.

Однако нативной программе ничто не мешает даже после нажатия кнопки “Mute” снимать звук с микрофона и передавать его на сервер. Некоторые программы так и делают.

В Windows 10 звукозаписывающий тракт VCA выглядит следующим образом.


Рис. 1. Конвейер звуковых данных VCA в Windows

В прошлом году инженеры из Висконсинского университета в Мадисоне совместно с коллегами из Чикагского университета экспериментально подтвердили гипотезу, что программы телеконференций могут записывать звук после нажатия “Mute”.

Специалисты проверили десять различных приложений для видеоконференций. Все они делятся на две большие группы:

  • нативные клиенты (Windows, Linux, macOS)
  • веб-клиенты

Вот список изученных клиентов, в том числе нативных версий (+/−) и веб-версии (в). Как видим, один из клиентов под Linux проверить не удалось, все остальные проверены:

Приложение Windows Linux macOS
Zoom (корпоративный) + + +
Slack + + +
MS Teams/Skype + +
Google Meet в в в
Cisco Webex + в +
BlueJeans + в +
WhereBy в в +
GoToMeeting + в +
Jitsi Meet + в +
Discord в + в

На одном компьютере была установлена веб-камера Logitech QuickCam Pro 9000, на другом — Logitech C920S Pro HD 1080p.

Перехват трафика


Авторы работы пишут, что перехват обращений из основного процесса к проприетарной DLL инструментами типа IDA Pro и x64dbg работает не очень надёжно, потому что из-за них приложение часто крашится. А поскольку у каждой VCA свой набор DLL, то невозможно наладить стандартный конвейер для проверки всех приложений. Существующие инструменты вроде TaintDroid способны это сделать на старых версиях Android, но в нативных клиентах под Windows и macOS надёжный трейсинг затруднителен.

Поэтому хуки для сбора данных подключались к двум частям конвейера данных, которые выделены жирным на рис. 1 (в нативных программах Windows). Если мы видим, что после нажатия кнопки “Mute” данные 1) пришли с микрофона и 2) отправляются на сервер, этого достаточно для подтверждения исходной гипотезы.

Утечка информации


Результаты исследования:

  1. Абсолютно все нативные клиенты для видеоконференций после нажатия кнопки “Mute” сохраняют доступ к оригинальному аудиопотоку.
  2. У веб-клиентов нет такого доступа из-за реализации «программного mute» в Chromium и WebRTC.
  3. За исключением программы Webex, ни одна VCA не злоупотребляет доступом к аудиоданным с микрофона и не передаёт их на сервер. В режиме Mute они только проверяют флаги состояния микрофона, такие как silent, data discontinuity и timestamp error. После публикации научной работы представители Cisco пояснили, что снимают данные с микрофона для удобства пользователя (функция “Mute notification”), а в январе 2022 года программа Webex была исправлена.

Исследователи также сумели доказать, что непроизвольный периодический трафик с микрофона после нажатия кнопки “Mute” можно считать утечкой данных.

Во-первых, большинство пользователей после нажатия кнопки “Mute” в режиме фоновой активности занимаются личными делами, что сопровождается характерными звуками. Чаще всего это приготовление/приём пищи (71%), разговор (42%), просмотр ТВ (38%), игры (22%). Поскольку сумма ответов больше 100%, то возможны два и больше одновременных занятий. Полные результаты опроса здесь.

Во-вторых, экспериментаторы смогли распознать род занятий человека по фрагментам данных, полученным со звукозаписывающего тракта VCA после нажатия кнопки “Mute”. На рис. 2 показано, что разные виды деятельности чётко отличаются на 3D-пространстве, по осям которого отложены показатели audioMaxGain, audioMeanGain и audioMinGain.


Рис. 2

В связи с этой темой можно вспомнить слова бывшего подрядчика АНБ Сноудена: после покупки нового смартфона он всегда разбирает его и выпаивает крошечные микрофоны на материнской плате (на КДПВ фотография, которую сделал Эдвард).

Конечно, такие меры безопасности необходимы не каждому человеку. Но всем пользователям стоит держать в уме, что микрофон смартфона, ноутбука или веб-камеры на десктопе невозможно отключить программными средствами.

Наиболее простым техническим решением авторы считают «программный mute», аналогичный тому, что реализован в Chromium и WebRTC. Например, индикатор в углу экрана с перечёркнутым значком микрофона, означающий блокировку трафика от драйвера микрофона к VCA на уровне операционной системы. В этом случае несанкционированная прослушка возможна только после взлома ОС, а не штатными средствами VCA, как сейчас.

Комментарии (148)


  1. Rive
    08.06.2022 20:27
    +22

    Во-вторых, экспериментаторы смогли распознать род занятий человека по фрагментам данных

    Dog barking

    Никто в интернете не узнает, что ты пёс.

    Кроме тех, кто пишет данные при отжатой кнопке мута.


    1. Wesha
      10.06.2022 21:13

      Кроме тех, кто пишет данные при отжатой кнопке мута.

      Отсюда мораль: не гавкай, все ходы записаны :)


  1. dartraiden
    08.06.2022 20:31
    +73

    После публикации научной работы представители Cisco пояснили, что снимают данные с микрофона для удобства пользователя (функция “Mute notification”),

    Для тех, кто не понял — это фича, благодаря которой программа может показать уведомление пользователю «вы тут начали трындеть, но кнопку Mute отжать забыли и трындите впустую, собеседники вас не слышат».


    1. Medeyko
      08.06.2022 21:22
      +58

      Но вот только для этой фичи не нужно передавать данные на сервер, как это делала Webex.


    1. konst90
      08.06.2022 21:32
      +2

      Да, в Дискорде такое есть, очень удобная штука.


      1. AlexSpaizNet
        09.06.2022 09:46
        +1

        И в том же Google Meet в хроме...


    1. Radisto
      09.06.2022 06:16
      +12

      Жаль, что наоборот нельзя))) когда думают, что нажали, но на самом деле нет, и трындят. А трындят в этом случае иногда очень вредные для карьеры вещи


    1. vtb_k
      09.06.2022 07:51
      +10

      Чтобы не было такой фичи и ситуации, как в статье, я держу микрофон постоянно выключенным, а включаю только нажатии сочетания клавиш. Когда отпускаю, микрофон снова выключен. Такой себе глобальный Push-to-talk. Конфиг для swaywm на Linux


      bindsym --release $mod+space pactl set-source-mute @DEFAULT_SOURCE@ 1 # unmute mic
      bindsym           $mod+space pactl set-source-mute @DEFAULT_SOURCE@ 0 # mute mic


    1. TheShock
      09.06.2022 23:10

      Для тех, кто не понял — это фича, благодаря которой программа может показать уведомление

      Замученый микрофон должен передавать шум в моменты, когда в него кто-то говорит ;)


  1. vis_inet
    08.06.2022 21:23
    +4

     после покупки нового смартфона он всегда разбирает его и выпаивает крошечные микрофоны на материнской плате

    Немного сейчас таких смартофонов из которых можно что-то выпаять.


    1. Psychosynthesis
      09.06.2022 03:03
      +4

      Вообще смарт без микрофона это та ещё тупость.


      1. vis_inet
        09.06.2022 07:18
        +5

        Можно же всегда пользоваться гарнитурой.


        1. Frankenstine
          09.06.2022 09:21
          +15

          Выпаивать микрофон ещё и из гарнитуры?


          1. vis_inet
            09.06.2022 09:36
            +2

            Если штекер гарнитуры не воткнут в телефон - это не гарантия подслушивания?


            1. Frankenstine
              09.06.2022 10:08
              +7

              Давайте лучше беспроводную гарнитуру. Тут будет где разгуляться на тему неотключаемых микрофонов, блютуз модулей, а то вы сразу всю тему на корню зарубили


            1. synka
              09.06.2022 11:02
              +2

              В телефоне еще остаются динамики. Которые могут играть роль микрофонов, при должной аппаратной организации.


              1. vis_inet
                09.06.2022 11:08
                +1

                Это - да.

                Тогда на время разговора заворачивать телефон во что-нибудь звукоизолирующее )


                1. balamutang
                  09.06.2022 11:46

                  просто подавать на динамики розовый шум чтоб микрофонить не могли


                  1. vis_inet
                    09.06.2022 11:55

                    Точно, нужен портативный генератор шума.


                    1. TotalAMD
                      11.06.2022 08:02

                      А что, разве невозможно вычесть шум из записи?


                      1. vis_inet
                        11.06.2022 15:01

                        В общем случае, думаю, это затруднительно.


                      1. muxa_ru
                        11.06.2022 15:09

                        Если и можно, то очень затруднительно.

                        Собственно говоря, для борьбы со всякими полезными сигналами используют именно шум. И там пофиг, зашумляешь ты свою речь (чтобы не утекло) или вражеский радар (чтобы не прилетело).


              1. piuzziconezz
                09.06.2022 11:17

                Вряд-ли аппаратно эта возможность реализована в смартфонах, там модуляция - аналоговый фильтр - динамик, нет обратной связи.


              1. shlyakpavel
                09.06.2022 11:47
                +5

                А ещё при помощи акселерометра звук снять можно


              1. AADogov
                09.06.2022 12:01
                +3

                В телефоне ещё есть гироскопы и акселерометры, их можно использовать как микрофоны,видел статью где кстати по моему на хабре, где была использовано эта возможность.


      1. 13werwolf13
        09.06.2022 09:19

        зависит от того как пользоваться. лично мне микрофон в смартфоне нужен раз в сто лет, голосом я разговариваю не чаще двух раз в неделю по паре минут, и всегда или через hands free в тачке или через наушники. микрофон простаивает, хорошо хоть батарейку не садит)


    1. anonym0use
      09.06.2022 10:47

      К счастью есть pinephone и librem5, а также другие менее известные модели, где реализована возможность аппаратного отключения/включения микрфоонов/камер/чипов связи и не требуется ничего выпаивать и ломать.

      tuxphones.com/purism-librem-5-vs-pine64-pinephone-linux-smartphone-comparison


  1. n2dt4qd2wg9b
    08.06.2022 21:42
    +32

    Когда я работал из дома в одном fintech, мне дали служебный лептоп XPS13 на котором стоял шпион, который все время меня писал.

    Я притворился как-то говорящим по личному телефону и специально сказал дезинформацию якобы собеседнику и эта деза всплыла позже при разборе полетов на работе.

    После лептоп был вскрыт, феном сдул микрофоны, а для Zoom использовал внешнюю USB звуковуху + внешнюю вебкамеру подключенную к USB-хабу с аппаратным выключателем.

    Безусловно, через год я ушел оттуда :)


    1. SergeyMax
      08.06.2022 22:51

      Не проще было просто удалить шпиона?)


      1. AlexanderS
        08.06.2022 23:05
        +20

        Удалять шпиона — это уже палиться, нелояльность к компании и все дела. А так просто звук пропал. А чего он пропал — кто ж его знает, автор «не при делах», особенно при его нике-то… В будущем технари может шпиона переставляли. А может и ОС начисто ставили)


        1. s-a-u-r-o-n
          10.06.2022 08:06

          Можно создать правило блокировки на роутере.


          1. maxcat
            10.06.2022 16:37

            А если там есть запасные IP..


        1. freeExec
          10.06.2022 09:18
          +2

          Стоит ли переживать за лояльность если фирма тебе не доверяет.


          1. AlexanderS
            10.06.2022 21:02
            +1

            Если там шпионство процветает, поди ещё и прогрессивная штрафная сетка утверждена, и за нелояльность коэффициентик могут ввернуть — к чему вам показательное противостояние? Автор правильно сделал, что распрощался с этой чудесной компанией.


      1. n2dt4qd2wg9b
        09.06.2022 00:29
        +1

        Не было админправ и не хотел палиться.


      1. AndreyDmitriev
        09.06.2022 08:36
        +1

        Не всегда проще - нынче админы научились "правильным" образом готовить ноуты для юзеров и пользоваться правами доступа. У меня вот USB порты намертво заблокированы и я поковырялся вечерком ради удовольствия, но разблокировать так и не смог. Ну как бы и без надобности - просто пользуюсь переносным диском с WiFi на борту.


        1. AVX
          09.06.2022 10:43
          +1

          Подскажите модель (если можно, ссылку) такого диска. И как оно вообще - удобно ли, хватает ли заряда и насколько? Ни разу не пользовался такими.


          1. AndreyDmitriev
            10.06.2022 07:36
            +1

            Старенький WD My Passport Wireless.

            Был куплен лет семь назад, в основном для отпусков, когда памяти на планшетах было мало, вместительные карточки стоили очень дорого, а ноут таскать с собой не хотелось. Сценариев использования два - детишкам фильмы на планшетах смотреть, в том числе прямо в машине, ну и фотки с цифрозеркалки сохранять (там сбоку SD карточку можно вставить и нажатием кнопки отправить её содержимое на диск). Ну и просмотреть отснятое тоже можно с планшета. Музыка и книги/журналы тоже там. Время работы на аккумуляторе не засекал - везде можно было воткнуть в зарядку, в машине тоже. Часа три-четыре вроде работало. Сегодня такое устройство уже не так актуально.

            Сейчас, конечно, можно с SSD брать, но конкретно WD My Passport Wireless SSD советовать не буду, потому что там ценник зашкаливает. Как альтернатива SSK Portable External Wireless NAS, но в руках не держал.


    1. johnl
      09.06.2022 04:11

      Намекни название конторы


      1. n2dt4qd2wg9b
        09.06.2022 04:15

        На три буквы, первая D


        1. Ds02006
          09.06.2022 13:32

          Вторая и третья - тоже являются первыми буквами фамилий сооснователей конторы?


          1. n2dt4qd2wg9b
            09.06.2022 18:46

            Первая имя, вторая второе имя, третья фамилия одного и того же Чикагского парня


    1. vitkt
      09.06.2022 08:34
      +1

      А привлечь их можно было как-то? Вряд ли такое законно.


      1. n2dt4qd2wg9b
        09.06.2022 08:35
        +2

        Доказывать было бы тяжело и бессмысленно. Проще хлопнуть дверью и двинуться дальше.


  1. skygtr99113
    08.06.2022 21:43
    +14

    Неужели есть люди, которые думают, что нажатие кнопки = физическое отключение? И что камера не фотографирует сама и что голосовые помощники и умные колонки вас не слушают, когда вы не разговариваете с ними? Я думал это очевидные вещи...


    1. staticmain
      08.06.2022 21:49
      +41

      А потом тех, кто покупает камеру со шторкой или залепливает её изолентой называют идиотами.


      1. namikiri
        08.06.2022 23:12
        +9

        Да, я был из тех, кто называл людей со шторками и наклейками как минимум странными. Беру слова обратно, они всё правильно делали и делают.


      1. harios
        08.06.2022 23:53
        +8

        Помилуйте, не надо ничего заклеивать, 21 век на дворе китайцы освоили выпуск шторок для камеры на двухстороннем скотче. Изоленту можно отправить на покой)


        1. RaphZak
          09.06.2022 01:37

          Изолента дешевле. А если аккуратно отрезать то и довольно эстетично.


          1. Radisto
            09.06.2022 06:20
            +3

            Главное, самую дешёвую не брать. Взял я как-то такую, налепил на фронталку смартфона, сделал селфи - и получился вовсе не картина Малевича, а я, хоть и сильно завуалированный. А выглядела непрозрачно


        1. Yuriy_krd
          09.06.2022 08:53
          +6

          К счастью, многие производители тоже не дремлют. Я вот сейчас пишу этот коммент за ноутом DELL, у которого есть механическая шторка, причем, производитель сделал красиво — если шторка закрыта — в окне камеры видна ярко-красная точка (краска на шторке). У Lenovo тоже на моноблоках такое есть. А у моноблока HP камера с микрофоном в нерабочем состоянии вообще утапливается в заднюю часть корпуса.


          1. Wijey
            09.06.2022 15:42
            +1

            Особо недоверчивые сотрудники на работе и поверх шторки у таких Деллов лепят пластырь/изоленту...


            1. Dmitry_Dor
              09.06.2022 16:05

              поверх шторки у таких Деллов лепят пластырь/изоленту...
              “ - Бережёного Бог бережёт”
              — сказала монашка, и одела презерватив на свечу.


      1. muxa_ru
        09.06.2022 02:19
        +4

        Господь, в безграничной милости своей, даровал нам инженеров, которые уже почти готовы осчастливить нас массовыми камерами встроенными прямо в экран, там где обычно лицо собеседника при видеочатах.


        1. Ion_Storm
          09.06.2022 06:02
          +8

          ООо! Я даже название придумал этому устройству - Телекран! Только кнопка выключения телекрана должна выключать только подсветку. Всё для удобства!


          1. Dmitry_Dor
            09.06.2022 07:45

            Я даже название придумал этому устройству — Телекран!
            image


          1. muxa_ru
            09.06.2022 15:22
            +3

            Это каждый придумать может, а вот можете ли Вы придумать, что люди будут такие штуки покупать наперегонки, ставить у себя в домах и хвастаться тем, что они в своих спальнях поставили неотключаемые видеокамеры и микрофоны?


            1. YunSergey
              09.06.2022 16:46
              +5

              Без проблем, налепив на них значок грызанного яблока. Для начала.


              1. maxcat
                10.06.2022 16:42

                Ну или сделав такие устройства подарочными/дешёвыми с функционалом кроме слежения и ограничить импортн аналогов.

                Ну там всякие сбербоксы, алисытв


                1. muxa_ru
                  10.06.2022 17:40

                  кроме слежения

                  Ане надо ничего кроме слежения, ибо современные технологии сделали "слежение" и "цензуру" не чем-то нежелательным,а вот прямо таки услугой.

                  Желанной, а иногда и платной.


            1. kozlyuk
              10.06.2022 00:29
              +2

              — Тут нет телекрана, — вырвалось у него.

              — Ах, этого, — ответил старик. — У меня никогда не было. Они дорогие. Да и потребности, знаете, никогда не испытывал.

              Еще "изобретатель" телекрана намекал на это.


      1. kirillk0
        09.06.2022 09:52
        +2

        Но и правда. Надо осознавать для себя модель угроз, типа кто конкретно и что конкретно теоретически хочет и может подслушать и посмотреть и какие у этого могут быть нежелательные последствия. Иначе паранойя может стать слишком затратной.

        Даже если все спецслужбы и хакеры мира лично мониторят мою вебку, я не знаю, что такого там можно увидеть.


        1. anonym0use
          09.06.2022 10:54
          +4

          > я не знаю, что такого там можно увидеть.

          Зато они знают

          «Дайте мне шесть строчек, написанных рукой самого честного человека, и я найду в них что-нибудь, за что его можно повесить.» — Арман Жан дю Плесси (Кардинал Ришелье)

          З.Ы. как вам недавние законодательные инициативы РФ «об иностранном влиянии»?


          1. kirillk0
            09.06.2022 10:58

            Я совершенно уверен, что если у кого-то с определёнными возможностями возникнет желание меня "повесить", наличие или отсутствие видеонаблюдения или прослушки на исход никаким образом не повлияют. Такие дела фабрикуются очень легко, для этого вообще ничего не нужно.


            1. CKA304HUK
              09.06.2022 23:40

              Зато наличие видео и аудионаблюдения поможет определить, кого еще нужно повесить, кроме вас.


              1. Cerberuser
                10.06.2022 07:07
                +1

                А разве необходимость вешать зависит от какой-либо объективной реальности, а не только от тараканов в голове вешателя?


                1. Sun-ami
                  10.06.2022 13:14
                  +1

                  История показывает, что зависит. В 37-м стремились расстрелять всех, кто, в силу особенностей своей личности, мог, при благоприятном стечении обстоятельств, действовать против власти (так называемых "классовых врагов" или "контру"), а не только тех, кто реально что-либо делал, или как-то задел тараканов расстреливателей. Примерно так же, только еще менее избирательно, действовали красные кхмеры.


                  1. Cerberuser
                    10.06.2022 13:47
                    +2

                    Так и я о том же: тараканы в голове подсказали, что именно эти люди - "классовые враги", а что там они делают на самом деле - всем плевать.


      1. AVX
        09.06.2022 10:52

        Камера со шторкой - это нормально. И безопасность повышает, и закрытая камера более чистая - на неё попадает меньше пыли. А вот когда люди заклеивают камеру, я не очень понимаю. Если нужна безопасность - зачем было покупать устройство без шторки? И потом после изоленты остаются следы, которые надо отмывать (не всегда бесследно для качества изображения). Ладно если стекло, но в большинстве обычных ноутов закрыто обычным пластиком прозрачным, который подвержен царапинам, и не всякими средствами его можно отмывать.


        1. piuzziconezz
          09.06.2022 11:42

          Для большинства решающий критерий - цена. И далеко не все пользуются камерой, заклеил и забыл.


          1. Dmitry_Dor
            09.06.2022 15:41

            Для большинства решающий критерий — цена.
            Полагаю, что для Цукерберга цена ноутбука далеко не на первом месте (ну, разве что речь о покупке всей фирмы-изготовителе ноутбуков)


            1. bilayan
              10.06.2022 07:42

              Изолента есть здесь и сейчас, а шторка спустя время Т.
              «Нет ничего более постоянного, чем временное.»(с)


        1. staticmain
          09.06.2022 18:58

           Если нужна безопасность - зачем было покупать устройство без шторки?

          Бюджет, отсутствие шторок у производителя. Я шторки видел вживую только у Lenovo (thinkpad). Может у кого еще есть, то в потребительском сегменте вживую не видел.


        1. TonnyRed
          09.06.2022 22:28

          Ну вот, например, у меня корпоративный ноутбук без шторки. Я, на всякий случай, заклеиваю. Перед митингами протираю камеру спиртом :)


      1. sourbarberry
        09.06.2022 14:58

        Я конечно, извиняюсь, но в чем смысл заклеивать вебку, но забивать на микрофоны (которых в современном ноутбуке даже несколько), которые могут записывать куда более интересную информацию?

        Я уже молчу про то, что никогда не видел у любителей заклеенных вебок заклеенных камер на смартфонах, которые 24/7 находятся поблизости.


        1. q4Smith
          09.06.2022 19:12
          +3

          Вебка смотрит всю комнату или рабочее место, а смартфон обычно смотрит одной камерой стол, второй потолок.
          Как бы синяя изолента для камеры ноутбука стоит копейки и трудозатраты нулевые, а выковырять микрофон не каждый сдюжит. Нести в сервисный центр тоже по карману бьёт. И вот люди и идут на компромисс, одно дело что есть фото видео, а другое запись голоса похожего человека.


          1. sourbarberry
            09.06.2022 19:57

            Конкретно в моем случае вебка видит либо мое скучающее лицо, либо темноту, когда крышка ноута закрыта.

            Не уверен, что спецслужбам или хакерам будет очень интересно хранить гигабайты такого видео :)


            1. q4Smith
              09.06.2022 21:55
              +3

              Темноту безо всяких нейросетей кодеки почти в нечего сожмут, скучающее лицо уже нейросетки отсекут, но вот стоит один только раз связаться с этой несчастной овцой…


    1. n2dt4qd2wg9b
      08.06.2022 21:58
      +3

      Циско в своих более ранних девайсах непалевно показывала уровнемер, который реагировал на звук даже при нажатом mute на выносном микрофоне.


    1. kAIST
      08.06.2022 22:38
      +7

      Голосовые помощники слушают 24х7, но слушают ключевую фразу. А передают на сервер для распознавания только то, что было сказано после ключевой фразы.

      Обратное так никто ещё и не доказал.


      1. funca
        08.06.2022 22:45
        +4

        Тогда окей, Гугл)


      1. alexg-nn
        08.06.2022 23:13

        Мне всегда думалось, что для распознавания ключевой фразы они эти данные на сервер и передают. Значит у них (помощников, колонок) мозгов теперь хватает делать это локально?


        1. Squoworode
          08.06.2022 23:37
          +9

          Я точно не помню, но мне кажется, что читал я где-то о том, что в них встроен специально обученный чип, который только и умеет, что распознавать ключевую фразу.


          1. Moraiatw
            09.06.2022 10:28
            +2

            Так и есть.


        1. SadOcean
          09.06.2022 00:58
          +5

          Нет, это слишком жирно.
          Есть сравнительно маленькая нейросеть, которая хорошо натренирована на короткие фразы - споттеры (Алиса, ок гугл, вот это вот все), она локальная.
          А после нее звук записывают и стримят уже на сервера с "большой" нейросетью, которая хорошо натренирована на любую речь.
          Потом разбирают на текст и уже натравливают на текст всякие алгоритмы поиска, сценарии, чат-ботов и прочие нейронки.


          1. AVX
            09.06.2022 10:56
            +2

            И это слишком жирно. Распознавание голоса было уже и в кнопочных аппаратах, без всякого интернета. А сейчас детские игрушки легко распознают десятки фраз и могут "общаться" и выполнять какие-то указания. Без мощных процессоров и больших батарей. Без интернетов.


            1. SadOcean
              09.06.2022 11:32
              +1

              Только они отличаются по качеству распознавания голоса на порядок, а воспроизведения - на 2 порядка. Иначе мы бы увидели расцвет ассистентов не 5 лет назад, а 20.
              Сейчас те же самые товарищи (гугл, фейсбук) активно работают над оптимизацией и локализацией этой штуки на девайсах, но пока это трудная задача, требующая больших мощностей от машины.
              А ваши данные и голос можно своровать и без распознавания на серверах. Остальное же пишут без явной необходимости.


              1. maxcat
                10.06.2022 16:51

                Так как раз ждали, чтобы чтобы интернет окончательно развился и модно было все передавать на сервер.

                И почти не развивали локальное распознавание, а даже наоборот делали его все меньше. Потому что сейчас даже такие примитивные вещи, как позвонить контакту или поставить будильник через гугласистент нельзя без интернета даже на самых мощных смартфонах - а лет 15 назад выбор контакта для звонка голосом работал без всяких интернетов на кнопочных смартфонах с мощностью в сотни или даже тысячи раз меньшей


        1. mayorovp
          09.06.2022 11:35
          +1

          В таком режиме никаких серверов не хватит для обработки терабайтов мусора в секунду. Как и каналов связи.


        1. anmilez
          10.06.2022 13:19

          Проверяется очень просто. Отключается интернет и говорится ключевое слово с командой. Девайс триггерится.
          Алиса будет упорно триггериться и пытаться включить музыку по команде даже при физическом отсутствии интернета.


          1. maxcat
            10.06.2022 16:51

            Но это не даёт 100% гарантии, что при наличии интернета она не полезет в него передавать записанный голос


            1. anmilez
              10.06.2022 17:48
              +2

              Тащмайор, они тут опять слишком умные!


      1. n2dt4qd2wg9b
        09.06.2022 00:30
        +4

        Был скандал когда алекса писала часами. А кто-то попросил у амазона дамп инфо о себе и получил многочасовые записи чужого помещения и людей.


      1. Ion_Storm
        09.06.2022 06:08

        Странное утверждение. А что мешает сделать исключение именно для вас? Прислать в нескольких обновлениях код на все устройства, который позволяет транслировать траффик напрямую ? А потом, когда ваша коробочка при обращении к серверам корпорации Бобра называет все свои идентификаторы, передать ей флаг "transfer mode=raw, permanent". Пожать голос в цифру ей мощности хватит.


      1. 13werwolf13
        09.06.2022 09:24

        ну вообще доказано. где то на хабре была статья или перевод статьи (уж извените мне лень искать, найдёте сами). чел проверял емнип кортану (помнится я частично повторил эксперимент и подтвердил). суть заключалась в следующем:
        ставим винду в виртуалку на линукс, смотрим трафик с линукса (ибо винда умеет скрывать часть трафика если смотреть изнутри системы). болтаешь как бы ниочём и трафик едет, выпиливаешь кортану из системы удалением бинарей, и трафик не едет. ну и там было не только о кортане, там и про вандрайв который после создания в папке которую он НЕ синхронит файла docx его отправляет зачем-то куда-то и так далее..


      1. denzill
        09.06.2022 19:12
        +3

        ну да, ну да...

        Неделю назад ехали с коллегой в командировку на машине и вдруг начали обсуждать какой поворотник надо включить при въезде на кольцо.

        И что вы думаете, полез я тут же в телефон искать в гугле и сразу после набора слова "какой" он мне подсказал "какой поворотник надо включить при въезде на кольцо".

        так что доказал - не доказал, а факты упрямая вещь...


        1. krabdb
          09.06.2022 19:24

          То есть варианты срабатывания гугла по геотеггингу на недавние прохождение вами кольца или на то, что ваш коллега перед этим гуглил такой вопрос (или вы сами неделю назад и уже забыли), а потом вы вместе перемещались какое-то время в пространстве - это вы не рассматриваете?

          Почему-то всегда сторонники теории заговора либо забывают, либо не знают об очевидных методиках анализа больших данных.


          1. denzill
            09.06.2022 19:38

            я не сторонник теории заговора, но:

            я набрал слово "какой", одно, и сразу подсказка

            я никогда до этого это не обсуждал

            точное определение координат у меня отключено, ну только если по вышкам... Тут конечно да, что-то такое возможно.

            За коллегу не скажу, может действительно гуглил.

            Просто такое совпадение - такое себе совпадение.


        1. freeExec
          10.06.2022 09:34

          А мне ютуб на днях предлагал такой ролик посмотреть, но я никогда это не обсуждал.


          1. radroxx
            10.06.2022 10:28

            Ну все начали сливать мысли через чип от ковида ????


    1. unwrecker
      09.06.2022 00:54
      +1

      Ну вот я очень надеюсь, что кнопка "mute" на моей USB-гарнитуре Logitech действительно отключает её аппаратно. Но ведь всякое может быть...


      1. vis_inet
        09.06.2022 07:18
        +1

        Вольтметр вам в помощь.


      1. mayorovp
        09.06.2022 11:40

        Про вашу ничего не знаю, но на одной из моих прошлых USB-гарнитур все кнопки были лишь особыми мультимедийными клавишами клавиатуры. Как раз изменение громкости и Mute.


        Кстати, проверить чем является кнопка на самом деле очень просто, и даже вольтметр не нужен. Откройте настройку громкости микрофона в ОС и по-нажимайте на кнопку. Если ОС "знает" состояние кнопки...


        1. unwrecker
          09.06.2022 15:11

          Да, ОС ничего не знает. Но это тоже не 100% гарантия, может там какая лазейка есть и имея аппаратный доступ к USB можно звук таки снять....

          Помню был аналогичный инцидент с камерами Logitech: там загорался светодиод при записи, но его можно было софтово погасить. Или второй вариант: светодиод погасить нельзя, но если быстро включать-выключать камеру, то можно получить изображение так что пользователь ничего не заметит.


      1. grafdezimal
        09.06.2022 20:50

        По крайней мере на Plantronics если нажать кнопку mute на кабеле (при этом зажигается рядом светодиод что типа mute) это не мешает родной тулзе постоянно говорить «ты тут нажал mute но что-то говоришь, может отключить mute?»


    1. Wesha
      10.06.2022 05:17

      Неужели есть люди, которые думают, что нажатие кнопки = физическое отключение?

      Есть такие люди, и вы их знаете можете задать им вопросы, от которых они будут увиливать.


    1. freeExec
      10.06.2022 09:23

      А отключая LAN или WIFI мы все еще в сети или как?


      1. muxa_ru
        10.06.2022 14:14

        WIFI

        Специально для вашего удобства и комфорта, на случай если вы случайно выключили вайфай и забыли об этом, разработчики сделали инновационную функцию "всегда искать сети" - автоматически включает выключенный вайфай если в зоне действия есть "сохранённые" сети.

        То есть, когда Вы выключаете вайфай, то у Вас сети нет, а у смартфона - есть. Потому что смартфон всегда должен быть наготове, чтобы предоставить пользователю великолепный сервис. :)


  1. kahi4
    08.06.2022 22:26
    +1

    У веб-клиентов нет такого доступа из-за реализации «программного mute» в Chromium и WebRTC.

    Если вы дали доступ странице к аудио, то она может получать доступ к Аудио когда ей вздумается.

    Если запретить - тогда да, не будет доступа (не уверен на счёт гугла, у них есть доступ к приватным апи браузера), но чтобы дать обратно - нужно будет перезагружать страницу.


  1. Dmitry_Dor
    08.06.2022 22:38
    +3

    Наиболее простым техническим решением авторы считают «программный mute»
    Наиболее простое решение показал Марк Цукерберг, заклеив камеру и микрофон на своем ноутбуке

    image


    1. Sun-ami
      08.06.2022 22:56
      +13

      Это с видео все проще, а микрофоны просто заклеить - не поможет, они все равно слышат то, что происходит за наклейкой. И их еще надо все найти, что в принципе непросто, учитывая, что они крошечные, и в качестве микрофонов теоретически можно использовать и динамики.


      1. Dmitry_Dor
        09.06.2022 00:23

        в качестве микрофонов теоретически можно использовать и динамики.
        в качестве микрофонов теоретически можно ипользовать колебаний осветительных ламп, стёкол или штор.
        На habr была статья об этом
        Причём судя по всему не только теоретически
        В середине 970-х годов прошлого тысячелетия, когда я учился в школе, мои родители работали на закрытом Полольском П/Я, и был период, когда у них сначала в приказом порядке запретили зашторивать окна в КБ (летом, в самую жару), потом вообще сняли шторы, и заменили их на жалюзи (по тем временам жалюзи была экзотика). Причём занимался этим первый отдел. Хотя конечно рядовым сотрудникам конечно не говорили, для чего это делается (просто приказ, «так надо»), но люди в общем-то догадывалась, для чего это делается.


        1. Dmitry_Dor
          09.06.2022 00:56
          +5

          P.S. «Родина слышит» (© В.Ложкин)


        1. unwrecker
          09.06.2022 15:15
          +1

          Эээээ. Для чего же? Если хотели подслушивать, то не проще ли микрофоны в кабинеты поставить?


          1. TheRikipm
            09.06.2022 18:57
            +1

            Видимо наоборот - защитить от прослушивания.


            1. unwrecker
              09.06.2022 21:28
              +1

              Ну тогда непонятна замена штор на жалюзи. Шторы явно лучше гасят звук.


              1. Dmitry_Dor
                10.06.2022 17:29
                -1

                Ну, я это могу только предполагать…
                Возможно шторы от разговора колышатся, и по ним что-то можно «прочитать».
                Хотя может быть я напутал последовательность — это было практически полвека назад, я только в школу ходил, просто помню разговоры «взрослых» (которые я естественно внимательно слушал). Но про жалюзи помню точно (я тогда только и узнал о таком девайсе), и что на работе в жару на солнце сидели (от этого мама плохо себя чувствовала).
                Могу предположить, что у НАС «соответствующие органы» пытались создать устройство для подобной прослушки, ну а поскольку МЫ этим занимаемся, то наверняка и ОНИ что-то подобное пытаются сделать, а может, и УЖЕ сделали. Так что «лучше перебдеть, чем недобдеть», ну и принимались превентивные меры.
                Хотя может и действительно было что-то работающее…


        1. anmilez
          10.06.2022 13:30

          Но динамики в разы проще.

          Любой электродинамический громкоговоритель идеально выполяет функции электродинамического микрофона, будучи просто подключённым вместо него. Помню, в магнитофонах этим пользовались: втыкаешь штекер динамика в микрофонное гнездо и пишешь звук. Отлично пишется.


      1. strvv
        09.06.2022 09:08
        +2

        реально можно использовать всё. посмотри такой термин акусто-электрические преобразования. конденсатор, индуктивность, резистор, дорожка на плате... при том что все эти первые три элемента в разных исполнениях и штатно используются как микрофоны. а что мешает на вход достаточно хорошего ацп повесить большой по размеру смд конденсатор, но малой емкости. снимаешь сигнал с ацп и фильтруешь окном в голосовом спектре (150-4000 гц). и если у ацп есть предусилитель с программируемым фильтром - у тебя есть спецсредство, за которое можно присесть. это для информации - что реально это достаточно тяжело отследить.

        что касается аппаратно-программных комплексов, как смартфоны и прочее - отключайте интернет, если он нужен - вешайте файрволлы на канал, закрывайте доступ всяким xiaomi/google framework-ам и всему что не используется в текущей деятельности доступ в интернет, держите телефон в мягкой войлоком обложенной коробочке, короче паранойя должна цвести и пахнуть!

        у @dlinyj, Сергея, здесь указана ссылка на статью, где расписаны опасности экспериментирования в этой области: https://habr.com/ru/company/ruvds/blog/513040/


        1. iig
          09.06.2022 10:34

          реально можно использовать всё

          https://ru.wikipedia.org/wiki/Эндовибратор

          При том количестве электроники, что нас окружает - любая плата в любом устройстве (даже выключенном) может заработать в этом режиме. Нужно лишь поиграться с частотами.


          1. strvv
            09.06.2022 15:44

            там даже устройства не надо, обычные офисные лампы над головой, клетки 60х60...

            но это снаружи, а то без физических усилий пользоваться незадекларированными возможностями самой аппаратуры статья.


  1. ner0
    08.06.2022 22:51
    +1

    Расскажите пожалуйста про Яндекс Станцию, которая по кнопке отключает микрофон. Там кнопка программная же?


    1. ganzmavag
      08.06.2022 23:51
      +3

      Они же показывали прям со схемой: https://habr.com/ru/company/yandex/blog/369353/


    1. HardWrMan
      08.06.2022 23:55
      +1

      Она там без фиксации. Вывод напрашивается сам.


      1. TheDaemon
        09.06.2022 01:36
        -1

        Ну так там триггер для этого стоит.


        1. ner0
          09.06.2022 11:41

          а действительно ли триггер срабатывает?


          1. TheDaemon
            09.06.2022 12:17
            +1

            Если исходить из предположения, что представленная схема соответствует реальному устройству, то диод загорается когда питание снимается с микрофонов. А если хочется больше уверенности, то можно отдать колонку на СП, чтобы специально обученные ребята ее рентгеном поглядели :)


          1. HardWrMan
            10.06.2022 06:47
            +1

            Ну он определённо срабатывает, не может не срабатывать. А ещё пролетала информация (https://habr.com/ru/company/yandex/blog/584214/comments/#comment_23612470), что эта же кнопка используется для хардресета - нужно удерживать её. Т.е., повесить на неё GPIO процессора - гениальный ход, который легко прикрывается "удешевлением".


    1. Ion_Storm
      09.06.2022 08:04
      +4

      В любом случае это требует самодисциплины. Как со всякой технологией, мы быстро привыкаем и начинаем не замечать или не придавать значения включен ли микрофон или нет. Риск как бы обесценивается за счет привыкания. Опять же, допустим вы готовитесь к конфиденциальному разговору, ну ок, вы для верности даже обесточить её можете. А если разговор начался в процессе какого-то другого обсуждения? Вы точно пойдете предпринимать какие-то дополнительные действия? Сомневаюсь, что через год нахождения у вас дома, подобное устройство будет восприниматься вами, с точки зрения оценки риска, как-то иначе, чем кофеварка.


  1. Alcpp
    09.06.2022 02:38

    "В связи с этой темой можно вспомнить слова бывшего подрядчика АНБ Сноудена: после покупки нового смартфона он всегда разбирает его и выпаивает крошечные микрофоны на материнской плате (на КДПВ фотография, которую сделал Эдвард)."

    Это он случайно не мультимедиа-микрофоны удаляет, которые помогают писать звук на видео?


  1. lxsmkv
    09.06.2022 03:55

    Думаю в операционной системе встроена функция отключения микрофона. Например, когда на ноутбуке нажимаешь соответствующую клавишу. Но в голосовых программах, сама программа перенимает управление микрофоном, соответственно любой мут в программе распространяется на программу. И тут, конечно, производители ПО могут делать что хотят.

    Нужно, чтобы в устройстве, например в панели быстрого доступа была так же функция мута, как например она есть для переключения громкого, беззвучного и вибрационного режима звонка. И законотворцы должны принудить производителей всех операционных систем предназначеных для установки на устройства имеющие возможность захвата звука, предоставлять такую возможность. Эпплы всякие, конечно, могут начать брыкаться, и завести старую шарманку про "негативный пользовательский опыт". Но пофиг. Приватность есть приватность.

    Винда 10 например еще показывает индикатор мирофона в панели задач, когда запущена программа имеющая к нему доступ. Но отключить микрофон напрямую через эту иконку нельзя, только перейти в меню настроек где можно либо полностью запретить приложениям использовать микрофон, либо для приложений из магазина выборочно отключить доступ. А для приложений не из магазина можно только полностью отключить доступ для всех таких приложений. Понятно, что это не "заговор" просто, эти приложения не будучи магазинными могут не использовать предусмотреную для этих настроек апишку. Но не суть. Суть в том, что это задача операционной системы контролировать приложения и устройства и давать необходимый контроль пользователю.


  1. vladkorotnev
    09.06.2022 06:57
    +1

    Думается, всё гораздо проще: открыть устройство микрофона и проинициализировать его — занимает время (ибо вывод железа из энергосбережения, всё вот это вот), а у юзеров есть свойство любить начинать болтать сразу после отжатия кнопки мута.


    Поэтому держать аудиопоток активным, а по кнопке мута просто переставать посылать его на сервер — на данный момент, скорее всего, просто единственный способ реализации функции так, чтобы не создавать задержек между нажатием кнопки и появлением голоса в эфире.


  1. AllexIn
    09.06.2022 07:01
    +1

    Товарищи, подскажите, как в винде запретить доступ к микрофону определенным приложениям?

    Вернее как запретить всем, кроме определенных?
    Как бы есть Start  > Settings  > Privacy > Microphone, но проблема в том, что там можно только полностью выключить микрофон. Нельзя выключить для "всех кроме". Неужто в винде еще нет нормального управления доступа к микрофону? Может быть есть сторонний софт, которые это решает?


    1. dwdraugr
      09.06.2022 09:05

      Только для UWP приложений можно права настраивать. Для обычных программ либо работают все, либо никто.


    1. lxsmkv
      09.06.2022 19:50

      Я слышал про приложение MicMute


  1. DX28
    09.06.2022 07:08

    Как то давно у меня был телефон HP что еще с кнопочками под экраном.

    Не знаю что это было но уже до того как снять трубку вызова я слышал собеседника на том конце звонка.

    Видимо что-то из этой же серии.


  1. OptimumOption
    09.06.2022 07:37

    "...В связи с этой темой можно вспомнить слова бывшего подрядчика АНБ Сноудена: после покупки нового смартфона он всегда разбирает его и выпаивает крошечные микрофоны на материнской плате (на КДПВ фотография, которую сделал Эдвард)..." - надеюсь, он в курсе, что звукоизлучатель тоже может работать как микрофон? в теории, звук можно собрать и с помощью встроенного вибромоторчика, если что...


    1. Moraiatw
      09.06.2022 10:34
      +2

      Что за бред вы несете. Чтобы снимать с этого звук, надо чтобы сигнал с этих элементов хотя бы подавался на какой нибудь АЦП. В реале выходные сигналы подаются на них.


  1. Spaceoddity
    09.06.2022 08:55
    +2

    Каюсь, сам подхватил эту "шпионскую паранойю", поэтому микрофон теперь выключаю только через диспетчер устройств.


    1. anonym0use
      09.06.2022 11:03

      В эту тотальной слежки это больше не шпионская паранойя, это к сожалению ужасная реальность, которую необходимо менять.


  1. titbit
    09.06.2022 10:02

    Какая-то кнопка в высокоуровневой программе вряд ли будет надежно управлять чем-либо, тут надо на уровень (уровни) ниже спускаться, если не брать аппаратную сторону вопроса. Выключать API на уровне ядра, а то и на уровне DSP (если это телефон). Физически уничтожать микрофон или весь тракт — это звучит непрактично. Странно, что авторы решили перехватывать доступ на уровне VCA, а не на уровне API системы (Windows DirectSound/MMAPI например), это выглядит проще и надежнее, так уже работают программы записи звонков в системе.


  1. anc813
    09.06.2022 13:53

    Пользуясь случаем хочу порекламировать простую программу для Windows для mute текущего микрофона.

    По идее блокируется на уровне Windows API (аналогично нажатию MUTE в свойствах устройства https://i.imgur.com/1Vb2pAj.png ) Как итог - другие приложения не считывают звук с микрофона в этот момент.

    Всегда когда не требуется - слежу, чтобы микрофон был выключен.

    https://github.com/Anc813/MicMute

    дополнительно

    Когда-то давно сделал приложение которое в Windows позволяет включать/отключать микрофон на системном уровне через иконку на панели задач или сочетание клавиш.

    Я использую мультимедийную клавиатуру, поэтому просто использовал мультимедийную клавишу, которой мало пользуюсь.

    Проект давно не обновлял - работает, свою функцию выполняет - и хорошо.

    К сожалению, как добавил поддержку отдельных сочетаний клавиш на mute и unmute - антивирусы стали ругаться на "вирус".

    Многие просили "push to talk" фичу - но увы, я не осилил, так что приходится дважды нажимать кнопку.


  1. vofko
    09.06.2022 13:56
    -1

    Кажется в PinePhone встроили механические переключатели для микрофона в том числе (а также для всех модулей вроде GSM, GPS, LTE), но даже к ним есть вопросы, вроде как переключатели механические, но они цепь все-равно не разрывают непосредственно. Хотя идея отличная.


    1. 13werwolf13
      09.06.2022 14:36

      если я правильно помню они не разрывают цепь питания, но разрывают логику что не позволяет програмно включить выключенное этим переключателем.

      печаль заключаются в том что это мелкие пластмассовые свичи под крышкой, часто не пощёлкаешь, и недобно и сломать легко. вот бы подобное но в виде качелки как беззвучный режим на старых айфонях. но тогда встаёт вопрос что такое кол-во переключателей на корпусе это неудобно и эстетически некрасиво

      а ещё как владелец pinebook pro могу сказать что с этими переключателями тоже не всё хорошо, у меня один застрял в суперпозиции когда то работает то не работает, по настроению блин.


  1. hyperwolf
    09.06.2022 14:50

    Абсолютно все нативные клиенты для видеоконференций после нажатия кнопки “Mute” сохраняют доступ к оригинальному аудиопотоку.

    То, что клиенты не выключают микрофон, мне стало очевидно, когда при громких звуках тот же google meet с выключенным микрофоном без палива предлагает его включить, чтобы меня слышали коллеги.


  1. Zhbert
    09.06.2022 17:57
    +1

    У веб-клиентов нет такого доступа из-за реализации «программного mute» в Chromium и WebRTC.

    Это поэтому у меня гугломит спрашивает «Вы забыли включить микрофон!», если начать что-то говорить с надетой гарнитурой и включенным мьютом в самом гугломите?


  1. TyVik
    09.06.2022 20:56

    Под Astra Linux 1.7.1 микрофон ноута (Lenovo T14) пропадает из системы. И вот теперь не знаю - это баг или фича?


  1. v1000
    09.06.2022 23:29

    Мало того, что не выключает, так еще и иногда с лагами реагирует на кнопку. Или вообще кнопка на гарнитуре подсвечивает, что микрофон выключен, а в приложении для разговоров - включен. И получается, когда захотелось рявкнуть на окружающих, чтобы не шумели и не мешали разговору, выключаешь кнопкой микрофон и рявкаешь - а в реальности рявкаешь прямо в микрофон на всех, с кем в этот момент общаешься.