Студент Копенгагенского университета Тони Белтрамелли [Tony Beltramelli] в своей дипломной работе представил метод, позволяющий декодировать набираемый на 12-кнопочной клавиатуре код на основе датчиков движения «умных» часов. Это может быть клавиатура банкомата, домофона, или экран телефона, залоченного при помощи цифрового кода.
Чем «умнее» гаджет, тем больше в нём функций, которые можно обратить в уязвимости и обернуть во вред его владельцу. Про разные способы отслеживания пользователей смартфонов мы писали уже неоднократно. «Умные» часы также готовят немало сюрпризов в области информационной безопасности.
Работа студента основана на ранней разработке преподавателя из университета Иллинойса, разработавшего с группой студентов приложение для умных часов Samsung Gear Live. Их приложение отслеживало движения руки с часами во время набора текста на клавиатуре. И хотя текст набирается двумя руками, по движениям одной руки можно не только определить, на какие кнопки пользователь нажимал пальцами левой руки, но и попытаться восстановить набираемый им текст.
При наборе на 12-кнопочной клавиатуре задача приложения упрощается. Студент использовал алгоритм машинного обучения нейросетей "Recurrent Neural Network — Long Short-Term Memory". Приложение написано для Sony SmartWatch 3, его исходники доступны на GitHub. Из-за технических ограничений часов данные приходится сначала передавать на связанный с ними смартфон по Bluetooth, а тот уже отправляет их на удалённый сервер для обработки.
Sony Smartwatch 3
По заявлению Белтрамелли, точность распознавания набранных чисел достигает 73% для сенсорных экранов и 59% для кнопочных устройств. Если же пытаться использовать алгоритм с новым устройством, на котором нейросеть ещё не прошла тренировку, точность находится в районе 19%.
Конечно, люди обычно носят часы на менее активной руке, поэтому, скорее всего PIN-код карты в банкомате или терминале человек будет вводить другой рукой. Но эта работа показывает, что гаджеты, призванные решать некоторые проблемы в жизни, порой сами порождают новые проблемы.
neskey
Так ведь левшы носят часы на правой руке, а правши на левой :) то есть не той руке которой печатают.
jaguard
Я когда носил часы, не знал что надо их носить на правой руке. (Левша)
GunneR666
Левша, ношу на левой.
Олсо — на тачскринах уже есть защита — смена расположения символов после ввода одного.
jaguard
Тогда я бы еще добавил, что ввожу пин-код двумя пальцами, без пауз, при почти одинаковом положении кисти — там есть одно движение, которое подскажет только то, что последняя цифра находятся ниже остальных. Удачного определения :).
abelozor
Ещё один момент, для маскировки вводимого кода от оптического наблюдения, в движения набора номера вводится «шум» — дополнительные движения пальца к кнопкам без нажатия. Некоторые так делают. На перехват умными часами тоже должно влиять в худшую сторону.
gregox
Я ввожу четырмя пальцами практически одновременно, так что даже увидивший какие клавиши я нажал — не поймет в какой последовательности. Умным часам тут ничего не светит, даже если бы я носил их на правой руке :)
GunneR666
Кто хорош в анатомии человека, подскажите. Разве пальцы управляются не сухожилиями или связками движение которых проходит по запястью? Может в будущем часы смогут таким методом определять какой палец и как двигался.