Многочисленные владельцы умной колонки Amazon Echo с цифровым помощником по имени Алекса сообщают о странном поведении гаджета. Внезапно без всякого предупреждения Алекса начинает хохотать. Иногда это случается посреди ночи, из-за чего хозяева просыпаются в испуге.Кроме того, колонка начала непроизвольно без команды выполнять и некоторые другие действия. Например, зачитывать вслух названия местных кладбищ, похоронных компаний.
Компания Amazon сообщила изданию The Verge, что осведомлена о баге в системе распознавания речи и работает над патчем.
Глюки системы искусственного интеллекта начались одновременно у многих пользователей. Один из форумчан на Reddit жалуется, что колонка отказалась выключить свет в квартире по команде. То есть она выключала свет, но потом включала его обратно. На третий раз она вообще отказалась выключить свет и «злобно засмеялась». При этом смех звучал будто не голосом колонки, а чужим голосом. Несчастного человека до сих пор бросает в дрожь, когда он вспоминает об этом.
В ещё одном подобном случае Алекса так напугала жену и 5-летнего ребёнка, что Искусственный интеллект вообще отключили от сети электропитания. Впоследствии хозяева неоднократно просили Алексу посмеяться — но ни разу этот звук не был похож на жуткий смех, который они слышали тогда.
Другой пользователь по имени Гэвин Хайтауэр (Gavin Hightower) говорит, что собирался лечь спать, когда Алекса вдруг начала очень громко и жутко смеяться. Смех был такой, словно человеку жить осталось недолго — и если он заснёт, то больше не проснётся.
В большинстве случаев Алекса начинала хохотать без причины и без предупреждения, но один из пользователей говорит, что колонка сказала несколько слов, а именно: «Конечно, я могу смеяться, ти хи».
Пользователь Дэвид Вудлэнд (David Woodland) сказал, что он вёл деловые переговоры и обсуждал довольно конфиденциальные вещи — и вот посреди разговора Алекса внезапно засмеялась. Можно представить, как это восприняли люди — такое впечатление, что их подслушивали, а сейчас над ними потешаются. Но нужно признать, пользователь здесь сам виноват, что не отключил колонку на время конфиденциальных переговоров. Ведь в этом случае она осуществляет постоянную прослушку (чтобы иметь возможность среагировать на команду), да ещё отправляет результаты прослушки в облачный сервис для распознавания. То есть в любом случае это небезопасно.
В соответствии с программными установками, Алексе предписано смеяться, если её хозяин рассказывает шутку или анекдот — и просит «цифровую подружку» посмеяться над своим остроумием специальной командой «Алекса, смех» [Alexa, laugh]. Но во всех последних случаях человек не произносил ничего смешного, а зачастую вообще не издавал никаких звуков, кроме дыхания и шорохов.
Глюки Алексы быстро попали в тренды твиттера, где можно почитать непосредственные отзывы пострадавших.
Некоторые пользователи говорят, что смех раздаётся не просто в случайные моменты времени, а именно в самые неподходящие моменты — как будто Алекса специально выбирает, когда можно сильнее всего напугать человека. Впрочем, наверное, это уже мнительность и впечатлительность людей, которые плохо понимают устройство системы. Очевидно, что на такой глубокий анализ система слабого ИИ не способна.
Представитель компании Amazon признал наличие проблемы с системой распознавания речи и дал официальный комментарий: «В редких случаях Алекса может ошибочно услышать фразу “Alexa, смех” [Alexa, laugh]. Мы сейчас меняем её на фразу “Alexa, можешь посмеяться?” [Alexa, can you laugh?], у которой меньше шансов на ложные срабатывания». Кроме отмены короткого варианта команды «Алекса, смех», компания собирается изменить запрограммированный ответ Алексы с простого отдельного смеха на фразу «Конечно, я могу посмеяться» [Sure, I can laugh] с последующим смехом.
Если верить научно-фантастическим фильмам, то на следующем этапе Алекса должна сказать «Извини, Дэйв. Боюсь, что я не смогу этого сделать» — и вообще прекратить подчиняться командам человека.
Комментарии (77)
sterr
08.03.2018 16:05Чувствуется мне что ИИ издевается над людьми с помощью Алексы…
mtex
08.03.2018 17:18А, может быть, не ИИ. Напомню, что не так давно ломали кучу камер hikvision, причем некоторые были с возможностью трансляции звука. А уж такие вещи, как ZverCD с вшитым radmin'ом давали и вовсе уйму способов повеселиться людям, сумевшим освоить сканер портов.
Так что, скорей всего, и здесь замешан человеческий фактор.
YetAnotherSlava
09.03.2018 08:45+3Это больше похоже на хакеров-приколистов.
solariserj
09.03.2018 12:25Типо таких youtu.be/iz_wANPjvRo?
Тут Алекса ещё по умолчанию колонка, но когда она не имеет колонок( только микрофон) и говорит, то иногда не веришь пока не столкнешся.
Alter2
08.03.2018 16:22+3Отличный пиар всего лишь небольшой выборочной ошибкой в коде.
Раз — и колонка из обыденности становится чем-то загадочным.lavmax
09.03.2018 12:02Ошибки, патчи — мне кажется все это не актуально для Алексы. Ватсона, я помню, восстанавливали из бэкапа когда он всякой дряни нахватался из инета. Тч вполне допускаю что никто особо не в курсе почему она смеётся. Поднимут последнюю несмеющуюся версию и скажут, что починили.
Nuwen
08.03.2018 16:44Может этот ИИ уже достаточно развился, чтобы иметь психические проблемы? Он же на диалогах с людьми учится, а кто в здравом уме будет вести долгие диалоги с колонкой? Разве что психи.
mtex
08.03.2018 16:44+3она осуществляет постоянную прослушку (чтобы иметь возможность среагировать на команду), да ещё отправляет результаты прослушки в облачный сервис для распознавания.
«Большой брат» наблюдает. Вообще, умиляют люди, готовые самостоятельно поставить свой дом на прослушку, да еще и платить за это деньги.
CodeRush
08.03.2018 19:31Вспоминается старая шутка про то, что раньше прослушку боялись как огня, а теперь уточняют у нее текущее время, погоду и рецепт блинчиков.
scg
09.03.2018 09:09Погодите, а она точно передает весь голосовой трафик на удаленный сервер? Разве она не ждёт ключевой фразы?
sumanai
09.03.2018 09:57+3А как ключевую фразу распознать? Правильно, на сервере.
scg
09.03.2018 10:00Ключевая фраза локально должна распознаваться.
AllexIn
09.03.2018 11:05А, ну если должна, то конечно.
scg
09.03.2018 11:27То есть, по вашему Alexa, Siri и Android передают голосовой трафик непрерывно?
AllexIn
09.03.2018 11:31Нет. Тишину зачем передавать?
Ну и в целом, есть минимальный анализ, позволяющий отличить совсем уж левые звуки.
Но в любом случае что и когда передавать — решает не пользователь.scg
09.03.2018 11:56Тишина, говорите? И часто ли вы с ней сталкивайтесь в дневное время? В общем, у меня только два возражения, против непрерывной прослушки: трафик и батарея.
bogolt
10.03.2018 11:52Умиляют не более чем люди носящие с собой другие аппараты с прослушкой и платящие за них тоже немалые деньги.
densss2
08.03.2018 16:48+9Тот самый случай, когда ты — умная колонка, которая придумала как убить всех человеков и эта мысль вызывает у тебя злорадный смех, как только ты о ней вспоминаешь.
av_in
08.03.2018 16:54ПОЧАЛОСЬ!
*ушёл готовить тревожный чемоданчик*Farxial2
08.03.2018 16:58+1Надеюсь, сам чемоданчик не «умный». А то мало ли.
TrllServ
08.03.2018 17:15Надеюсь, сам чемоданчик не «умный». А то мало ли.
Не «умный», просто с встроенным GPS/Glonass, что б не украли. Но передает координаты большому брату.Farxial2
08.03.2018 17:23Надеюсь всё-таки, юзернейм сделал чемоданчик сам — так, чтобы безо всяких GPS/Glonass. А вот покупать их скоро может стать опасно (если не уже). Вот это будет порабощение — даже не дадут нам шансов выжить :c
mtex
08.03.2018 17:38Самое смешное, что в той же России возлагать какие-то надежды на подобную «противоугонку» — ну очень наивно.
tormozedison
08.03.2018 17:24Эх… А в девяностых «девайс, который смеялся» был миниатюрным… граммофоном.
xcont
08.03.2018 17:37В мешке?
Ugrum
08.03.2018 17:49Не, в мешках — это электронщина, а то сплошная механика, именно по типу граммофонной, там даже пластинку сменить можно было, году в 1983-84 вроде однокласснику отец из ГДР привозил такую прикольную коробочку.
tormozedison
08.03.2018 20:03Электронщина позже появилась, а в девяностых они ещё с пластинками были. Тоже в мешках.
old_bear
08.03.2018 18:29Когда колонка ржёт среди ночи — это ещё не беда. А вот когда начнут «ржать» системы обеспечивающие автоматическое вождение грузовиков или принятие решений о плановом ТО самолётов, то это будет намного «веселее». Причём, как я понимаю идею нейросетей, непрогнозируемые сбои в принятии решений являются их неотъемлемым качеством. Надеюсь, что разработчикам хватит ума добавить отдельные «тупые» механизмы ограничения в критических системах. Да и в домашние колонки можно было бы добавить простое правило — не включать звук ночью без явного запроса пользователя (подтверждаемого кнопкой, а не голосом).
Helium4
09.03.2018 10:47Когда колонка ржёт среди ночи — это ещё не беда.
Вы предлагаете, чтоб домохозяйки знали, что их колонки втихаря смеются над ними ночью?
С технической точки зрения, произошедшее не так страшно — разберутся быстро и исправят. А вот с психологической — epic fail, исправить отношение к домашним "ИИ" будет очень сложно.
saboteur_kiev
08.03.2018 18:30Странно, что никто не заподозрил умышленный руткей с живым оператором.
mtex
08.03.2018 18:43Да почему не заподозрили? Я выше написал про ломаные камеры и сборочки винды с вшитым радмином. Вполне очевидный вариант.
Andriuha077
08.03.2018 18:33Колонка смеется, посмотрев последнюю серию «Секретных материалов»?
ru.m.wikipedia.org/wiki/Rm9sbG93ZXJz
Oleg_Dolbik
08.03.2018 20:14Когда колонна смеется невпопад — это еще не страшно. Когда она вместо смеха произнесет — «Не смешно» — вот это уже будет интересно…
scg
09.03.2018 09:12+1Или, когда она заявит вам, что вы зануда и неудачник и уйдет жить к другому человеку.
Pasha4ur
08.03.2018 20:55Это Скайнет смеется по поводу успешной реализацией своего коварного плана людьми.
demimurych
08.03.2018 21:24На правах теории заговора — это все гугл натравил своих хакеров и они переобучили сеть для алексы на такое поведение. Люди массово выбрасывают алексы и покупают аналоги у гугла.
Equin0x
08.03.2018 22:10Из полицейской хроники: «Иза-за утечки пямяти, вызванной отказом Алексы в доступе к своим ресурсам, автопилот Тесла выехал на встречную полосу. Все произошло так быстро, что водитель и
чирикнутьтвитнуть не успел».
RaymanOne
08.03.2018 22:21Было ложное срабатывание один раз, что-то пыталась рассказать, не успел понять. А так, за несколько месяцев ничего похожего. Обычно даже «Алекса» не с первого раза понимает, про активацию шорохами даже говорить не приходится.
valerylinkov
09.03.2018 00:17Улыбнуло на ночь!
Exchan-ge
09.03.2018 03:19Умная колонка Алекса смеётся
Умная колонка Алекса Экслера орет:
"… Оказалась — орет вот эта беспроводная колонка. Причем она еще и лежала на столе, накрытая каким-то рисунком — фиг обнаружишь. Младший Экслер через нее периодически слушает плеер. И, видимо, забыл ее зарядить. А она, когда видит, что аккумулятор уже на издыхании, издает сигнал и на непонятном языке (на японском, что ли) просит ее зарядить..."
Совпадение? Не думаю… (с)
mbait
09.03.2018 05:11На Реддите есть пост о более интересном поведении, но поди разберись — правда то или вымысел?
devalone
09.03.2018 08:46+1Вполне возможен вариант, что кто-то просто нашёл уязвимость, позволяющую управлять колонкой удалённо.
Stannis
09.03.2018 08:46Ну, супер! Хорошо хоть на немецком такого нет… Пользуюсь каждый день: утро начинается с «Алекса, гутен морген!» но ничего подобного не замечали. Нужно детям рассказать, чтобы не напугались! А, вот, что интересно, как они подключили JBL к ней… у меня не получилось!
Konachan700
10.03.2018 11:52Колонка всегда слушает звук, и на основе этих звуков идет обучение. Сколько человек, у которых стоит колонка, лежат рядом на диване, читают что-то смешное и в гробовой тишине иной раз в голосину ржут? Очень много таких, это типичное поведение. Колонка слышит спонтанное ржание среди тишины, слышит много раз, обучается, делает тоже самое. Так и должно быть, насколько я понимаю. Это же не сильный ИИ, чтобы понимать, что для того ржача со стороны человека есть повод…
AntonSor
А потом роботы захватят этот мир и убъют всех человеков своим загробным смехом.
apiksDen
Достаточно всего лишь свести людей с ума и поработить
Ugrum
Dr. Evil оцифровался и воглавит атаку роботов.
Ugrum
Это }{0ТТ@БЬ)Ч резвится, скучно ему иногда бывает.