В наше время весьма популярной стала технология, которую можно назвать «цифровым помощником» человека. Речь идет как о Siri, Cortana, так и об умных колонках — в частности, от Amazon. Многие из нас привыкли, что всего одна голосовая команда может заставить помощника действовать — например, рассказать погоду на завтра, прочитать текст или спеть песенку.
У экспертов по информационной безопасности некоторые аспекты работы таких помощников вызывают ряд вопросов. Спору нет, сервисы довольно удобные, но они уязвимы для вмешательства извне. Наиболее простой пример — после репортажа по ТВ системы Amazon Echo из Сан-Диего, которые «слушали» местный телеканал CW6, стали заказывать кукольные домики.
Проблема была в том, что по ТВ говорили что-то о кукольных домиках, обсуждая девочку, заказавшую у Alexa именно такой домик. И колонка ничтоже сумняшеся заказала. Репортер произнес в передаче по ТВ следующее: «Мне так понравилась девочка, которая произнесла „Alexa, закажи мне кукольный домик“. И другие колонки срочно начали заказывать кукольные домики.
Та же колонка некоторое время назад была замечена в том, что начинала без причины жутко хохотать. Скорее всего, причина все-таки была, и это — взлом самой колонки (какой-то баг вряд ли может привести к подобным последствиям).
Что касается самовольных заказов, то здесь причина „сбоя“ кроется в том, что Alexa не оснащена системой распознавания „свой-чужой“, так что она может слушаться голосовых команд других людей, а не только лишь своего пользователя. Аналогичным образом дело обстоит и с Siri, Cortana, ассистентом Google. Как оказалось, „помощники“ слушаются команд, которые неразличимы для человеческого уха.
Объединенная команда исследователей из Китая и США смогли добиться скрытной активации систем искусственного интеллекта на смартфонах и в умных колонках. Неслышимые человеком команды заставляли цифровых помощников набирать разные номера и открывать сайты. Но возможности гораздо шире — злоумышленники могут использовать „наивность“ колонок для того, чтобы делать денежные переводы или заказывать товары (только уже не кукольные домики).
Команды, о которых идет речь выше, можно встроить в записи песен любой продолжительности или разговорной речи. Некий злоумышленник может запустить воспроизведение музыкальной записи, которая будет звучать вполне обычно для человека, но цифровой помощник услышит команду и начнет выполнять приказ. Исследователи, которые уже опубликовали результаты своей работы, считают, что их технология рано или поздно станет достоянием общественности. Эта идея неуникальна, так что к ней может прийти кто угодно. А может быть, она уже работает, будучи используемой каким-либо злоумышленником.
Подробности технологии исследователь по информационной безопасности не раскрывает, но надо думать, что угроза вполне реально. Через некоторое время после публикации информации об уязвимости голосовых помощников разработчики таких сервисов из других стран стали говорить о скором исправлении проблемы. В Amazon рассказали, что проблема уже решена.
Как бы там ни было, но та же Siri слушает такие команды и сейчас. Кроме того, в них заложены инструкции о необходимости хранить молчания для цифрового помощника. Ведь какой смысл давать команду, если телефон „проснется“ и начнет повторять голосом все, что скрыто в неслышимой команде? А так — команда идет, телефон активируется, но переходит в беззвучный режим и ничего не „говорит2 в ответ.
Исследователи назвали технологию DolphinAttack. Сейчас разработчики ПО цифровых ассистентов начали изучать информацию, предоставленную учеными, для того, чтобы решить проблему. Сделать это сложно, но, вероятно, можно. Если ничего не предпринять, то идея, которая действительно представляет потенциальную опасность, начнет находить понимание у разного рода злоумышленников. А те, в свою очередь станут использовать ее для реализации каких либо собственных целей, несовместимых с законом. Пока что изучение потенциальной “звуковой уязвимости» продолжается.
Комментарии (50)
Evengard
14.05.2018 11:11+5Я вообще не понимаю, как можно таким системам давать доступ к финансовым данным своим. Все финансовые транзакции должны обязательно подтверждаться непосредственным вводом (не голосовым, а текстовым!).
Areso
14.05.2018 12:04+1Так ведь деньги будет тратить сложнее. А это идёт вразрез целям этих компаний.
c_kotik
14.05.2018 13:57Весьма яркий пример того, что технологические гиганты обросли маркетингом по самую макушку. Сколько времени "в релизе" эти помощнички? И тестов аналогичных никто из гигантов совсем — совсем не делал? Так я и поверил…
А так да — тема помощников удобная и даже правильная. Но ведь ничего личного — просто бизнес!avost
14.05.2018 18:00И тестов аналогичных никто из гигантов совсем — совсем не делал?
Простите, но как вы представляете себе эти тесты? Сгенерировать ВСЕ возможные неслышимые звуки и скормить это Алексе, Кортане и прочим Сири?
Так я и поверил…
Ну, конечно, они сделали это ещё пол-вечности назад. Потому что на это примерно столько времени и понадобилось… Но от вас скрыли. Это заговор, Котик!
u010602
14.05.2018 18:03Вы так говорите, как-будто для таких тестов нужно физически собрать устройство и кормить ему звуки на оригинальной скорости. Это-ж алгоритмы у которых данные на входе и данные на выходе. Потратить КАКОЕ-ТО количество ресурсов на подобные рандомные тесты вполне можно.
avost
15.05.2018 23:43Неразумно тратить никакие ресурсы на абсолютно бестолковые тесты. Вы же понимаете, что в общем множестве всех возможных сигналов, подмножество тех, которые будут распознаны как ошибочные имеет меру ноль и попасть в него рандомно можно только с вероятностью почти наверное равной нулю.
u010602
16.05.2018 01:50Дешёвые отмазки, которые могут сработать на менеджера, падкого на псевднонаучные термины. По факту хакеры очень быстро нашли нужные звуки. НИ каких проблем собрать такую-же команду у себя и провести тесты — нет. Кроме желания сэкономить и забить на безопасность пользователей, других обоснований нет.
Rusli
14.05.2018 14:41+2Так почему же неслышимые человеком команды распознаются? Хотелось бы техническое описание.
balamutang
14.05.2018 17:19видимо вот это имеется ввиду www.theatlantic.com/technology/archive/2017/01/the-demon-voice-that-can-talk-to-your-smartphone/513743
Rusli
14.05.2018 21:08Спасибо. теперь яснее. То есть команды не «неслышимые», они слышны как статические разряды.
balamutang
15.05.2018 12:18ну это как опознавание компьютером кошки на картине с черепахой, из той же серии.
как я понял идентификация софтом проводится не по всему блоку информации, а по неким условным «контрольным точкам» и этого в стандартных условиях хватает для довольно высокой точности.
но если эти «контрольные точки» перенести из одного блока информации в другой (картинка/аудио — не важно) и сделать их более выпуклыми — то компьютер обнаружив их опознает этот блок как первый, а не как второй. хотя для человека, который воспринимает весь блок информации эти точки не будут ключевыми и он опознает информацию правильно.
balamutang
15.05.2018 12:26в чистом виде они будут как статические шумы, да. но их можно наложить на другие звуки, например музыку или рекламный джингл и тогда их ухо практически не услышит.
Alexklmn
14.05.2018 15:26Не знаю насчет Алексы, но гуглоколонка прекрасно определяет по голосу конкретного человека. Точней определяет не всегда, но тогда отказывается выдавать информацию привязаную к аккаунту, например позвонить кому то из списка контактов. Покупки пока не совершал с ее помощью, и не уверен что она это умеет…
ARD8S
14.05.2018 18:09Проблем-то: ограничить частоту восприятия у микрофонов. Т.е. это уже было даже здесь и там что-то про ограничение восприятия колонками слов в рекламе путём выделения частотного диапазона срабатывания.
achekalin
15.05.2018 02:23Смелое утверждение (выделено жирностью в цитате ниже), и это на ресурсе, где многие могут рассказать, как выглядят самые разные и необычные баги.
Скорее всего, причина все-таки была, и это — взлом самой колонки (какой-то баг вряд ли может привести к подобным последствиям).
Это перевод (по оформлению — нет), или перепевка с западного оригинала?
А по поводу веры в безгрешную и не способную создать хозяину работу помощников напомню историю (кратенько):
… могу я вас еще отвлечь на минутку, по личному вопросу — у меня на телефоне не всегда корректно срабатывает «ОК гугл», не могли бы вы посмотреть в чем там дело.
Вы когда-нибудь ели лимон целиком? Вот-вот, именно такая оскомина пробежала по лицу айтишника. «Я вам не советую пользоваться этим сервисом» — как-то глухо произнес он.… «Почему не рекомендуете?»
— Дело в том, что гугл сохраняет в истории запросов не только сами запросы, но и случайные записи голосовых событий рядом с телефоном.
— Ха-ха, — прощебетала охотница, — да что там может не то записаться, а как посмотреть историю?
Компьютерщик в несколько касаний вышел на историю записей, выбрал случайное и нажал воспроизведение. Офис наполнился булькавшим из смартфона замотанным голосом нашей покорительницы — «ну я устала… не хочу сейчас, давай завтра...»
Компьютерщик сочувственно посмотрел на девушку. «Вот поэтому я и не советую.»
©
NikitosZs
Перевод: Нимало (ничуть, нисколько) не сомневаясь.
Из Библии (церковно-славянский текст): Евангелие, Послание апостола Иакова (гл. 1, ст. 6) (рус. пер.): «Но да просит с верою, ни мало не сомневаясь, потому что сомневающийся подобен морской волне, ветром поднимаемой и развеваемой».
Проще нет слов?
NewStahl
>Проще нет слов?
Эллочка-людоедка? Я вас и не узнал сразу…
Довольно известное выражение, которое мало у кого вызывает проблемы. А те, у кого эти проблемы вызваны, вполне могут посмотреть значение в толковом словаре и впредь (блин, опять сложно, да?) таких проблем не иметь.
SONce
Я за 32 года впервые его услышал. Хотя каждый день читаю далеко не одну страницу текста. Я даже прочел это выражение только с третьей попытки. Для кого оно довольно известное?
zahmTOD
А где учились? Я даже помню урок литературы, на котором это разбирали, в каком-то произведении классического автора. Хотя годков прошло два десятка.
boogiebomzh
Национальный корпус русского языка.
vaim
Я так люблю отсылки к нему.
Ведь, исходя из его данных, жопы у русских не было почти до 1830, затем появилась и была в использовании до 1882, затем пропала почти до 1930 (интересный 100-летний цикл) и с тех пор используется с разной частотой. Что интересно в 1980 пошла тенденция на исчезновение, но что-то пошло не так. Интересно, что будет в 2030.
martin_wanderer
Ок, я, в свои 32 года, почему-то знаком с этим выражением. Но разве это что-то доказывает… Впрочем, на мой вкус, его не требуется именно знать: «ничтоже сумняшеся» -> «ничего»+«сумневаться» -> «нисколько не сомневаясь».
UPD: забытая запятая
Nikita_64
Я с детства слышал неоднократно в устной речи, обычно произносилось с иронией. Поэтому никогда не считал выражение редким. В книгах, как и Вы, почти не встречал.
SLY_G
Я походя употребляю это выражение в разговорной речи, чем как-то раз весьма впечатлил будущую супругу.
Читайте книги.
roscomtheend
Удивительно, я даже в первые не то что 32, в первые 12 лет его уже слышал не раз.
NikitosZs
Это церковно-славянский язык. Уж простите, но
Nikita_64
Это не значит, что его нельзя использовать для придания текcту окраски. Если, паче чаяния, это не убедительно, то по ссылке можно найти примеры <шутка>(, что мы все говорим прозой)</шутка>.
NikitosZs
Какой она даёт окрас тексту про кибербезопасность и говорящую колонку?
Ах, вот оно как работает, а то все «процессоры», «транзисторы», Святой Дух же!
tvr
А вы не знали на чём работает современная элементная база? Именно на святом духе.
Когда происходит «пыщь» и из условного «блока питания» идёт лёгкий дымок с характерным запахом — это и есть «святой дух», с его уходом всё перестаёт работать, вы же не будете с этим спорить?
NikitosZs
Так кто спорит! Можете мне не верить, но я видел души умерших транзисторов и последние вздохи конденсаторов из этих пластиковых и алюминиевых маленьких гробиков!
Nikita_64
На мой взгляд, она дает окраску недоумения и удивления перед глупостью «умной» вещи. Наверное, «И колонка ничтоже сумняшеся заказала.» можно было бы заменить на «И колонка, глазом не моргнув, заказала.» Согласен, что это проще для восприятия, но выбор за автором.
alix_ginger
А зачем беречь нейтральность окраски текста паче зеницы ока?
juray
del
buggykey
Да после Вашего «паче чаяния» у кого-то бортовой компьютер вообще повиснет, так что поосторожнее! :)
А по теме — кто-то изобретает и применяет приборы для наиболее эффективного и своевременного выявления всякого рода жучков, подслушивающих и следящих устройств, а кто-то самостоятельно и за свой счет, с радостью устанавливает и обеспечивает коммуникациями устройства, активно слушающие и передающие производителю всю доступную информацию о происходящем вокруг, да еще и располагающие доступом к совершению различных значимых действий, типа возможности заказывать товары, производить оплату, да и вообще банковские операции… Я даже не знаю, люди вообще задумываются, чем рискуют? При этом, все это делается всего лишь ради фана, как правило, у этих людей нет никакой необходимости держать свободными руки, производя заказ товаров, или подавая те или иные команды.
Areso
Вы не правы
NikitosZs
Конечно не прав. Только вот в вашей же ссылке:
NikitosZs
Areso
Вы пропустили иронично
А в этом плане это устойчивое выражение использовалось и в советский период. Примеры употребления в советской литературе были приведены по ссылке.
CrazyRoot
Вот и выросло поколение википедии…
batja84
Судя по последним тенденциям его хотят «оживить»: Глава Российской академии образования Людмила Вербицкая предложила включить в школьную программу церковнославянский язык.
u010602
Поддерживаю, не слышал, не видел и даже произнести не могу. Каша из букв какая-то. Подумал что автор опечатался. С советующими использовать такие обороты как более изысканные для придания напускной образованности не согласен. Церковный жаргон придает совсем другой окрас, скорее негативный или иронический.
Jogger
Бразды пушистые взрывая,
Летит кибитка удалая.
Ямщик сидит на облучке
В тулупе, в красном кушаке.
Страдай.
hdfan2
На всякий случай, если кто ещё не читал.
tvr
Доколе?
Krapiv
Вот и добрались жертвы ЕГЭ до интернетов. А начиналось с безобидных строчных в начале предложения и отсутствии запятых. Теперь начинают указывать, как писать грамотным людям, а то им сложно понять.