Даниил Казанцев из Екатеринбурга выиграл грант от Google на обучение в размере 15 тысяч долларов. Он придумал устройство, которое помогает глухим и слабослышащим людям выражать свои мысли.

В финале конкурса Google Science Fair оказались 24 юных ученых из 14 стран мира.

Премию Lego Education Builder получил десятиклассник физико-математического класса лицея №12 Верх-Исетского района города Екатеринбурга Даниил Казанцев.



Придуманное им автономное устройство на самом простом уровне на данный момент заменяет сурдопереводчика, оно самостоятельно может интерпретировать пока что небольшой язык жестов.





С раннего детства Даниил увлекается электроникой, программированием и разработкой технических решений.

На мысль об изобретении Даниила натолкнула ситуация, когда органы опеки в одном из городов Свердловской области разлучили дочерей с матерью из-за того, что она с рождения страдала от нарушений слуха и не могла позаботиться о них без помощи сурдопереводчика.

После этого случая начинающий изобретатель всерьез озаботился проблемами людей с нарушениями слуха и решил создать устройство, способное эффективно интерпретировать язык жестов без помощи посторонних.

Он разработал методику определения положений руки в пространстве с помощью электромиографии. Созданное им устройство можно использовать с любым жестовым словарем, оно не требует специальной подготовки от пользователя.

По мнению Даниила, эта технология даст возможность высказаться каждому, кто нуждается в этом.

«Объявление победителей прошло в присутствии судей Google и партнеров: Lego Education, Scientific American, Virgin Galactic и National Geographic. Благодаря научной экспертизе жюри мы смогли выбрать следующее поколение ученых, которое будет решать важнейшие мировые проблемы, – рассказали организаторы конкурса. – За каждым талантливым школьником стоят его родители и учителя, которые оказывают поддержку и вдохновляют учиться дальше. Спасибо им за это. А всем участникам хотим сказать: ребята, вы крутые! Мы с нетерпением ждем ваших следующих изобретений».

Старт конкурса был объявлен прошлой осенью. Юным ученым организаторы предложили направить свое любопытство и изобретательность на решение проблемы, которой они увлечены больше всего. Из тысяч участников были выбраны 24 финалиста из 14 стран мира.

В финал вышли проекты, посвященные решению проблем экологии, здравоохранения, безопасности и доступной среды. Кроме того, организаторы познакомились с разработками на базе точных наук – от способа выявления заболеваний у растений с помощью искусственного интеллекта до новых методов диагностики болезней сердца.

Кроме екатеринбургского школьника, победителями в разных премиях стали:

  • Гран-при: Фионн Феррейра из западной части графства Корк, Ирландия. Изобретение: удаление частиц микропластика из воды с помощью ферромагнитной жидкости;
  • Премия Virgin Galactic Pioneer: Селестин Венарди из Индонезии. Изобретение: экономичное неинвазивное средство для отслеживания концентрации глюкозы в крови человека с помощью интерферометра и тепловой технологии;
  • Премия Scientific American Innovator: Туан Дольмен из Турции. Изобретение: цифровой сельскохозяйственный модуль, позволяющий генерировать электроэнергию за счет использования колебания деревьев;
  • Премия National Geographic Explorer: Аман К А и А У Начикет из Индии. Изобретение: экологичный коагулянт для натурального латекса.

Стоит отметить, что за плечами Даниила Казанцева из Екатеринбурга уже несколько побед.

Так, в мае этого года Казанцев стал лауреатом Second Grand Award в секции системного программирования на всемирной ярмарке научных достижений школьников Intel ISEF, которая завершилась в городе Финиксе (штат Аризона, США); в феврале 2019 года – завоевал специальный приз на юбилейном XV Балтийском научно-инженерном конкурсе в Санкт-Петербурге; ранее Даниил получил диплом I степени на Приволжском конкурсе научно-технических работ POCT-ISEF.

Использование устройства не требует специальной подготовки.



Подробное описание изобретения и принципа его действия находится тут.

Там очень большое и подробное описание, так что, пожалуйста, прежде чем писать комментарии и вопросы — ознакомьтесь с этим материалом.

Итоговый вид экспериментальной установки:







Оборудование и ПО, использованные для создания устройства:

  1. Ноутбук.
  2. USB-Осциллограф Instrustar ISDS205X.
  3. Паяльная станция с регулируемым температурным режимом.
  4. Нейронная сеть типа Inception v3 из библиотеки Google TensorFlow.

Может ли сейчас данная технология полностью заменить сурдопереводчика?

На текущем этапе работы нет. Устройство позволяет точно классифицировать жест, который показывает пользователь, однако пока не способна конструировать предложения на основе переведённых слов.

Именно в этой области Даниил хочет продолжить работу над проектом, совершенствовать метод.

Сейчас его мечта — довести технологию до состояния, когда она сможет полностью компенсировать нарушения речевого аппарата, потому что каждый из нас нуждается в том, что бы быть услышанным.

Комментарии (27)


  1. saboteur_kiev
    02.08.2019 10:24
    +1

    На самом деле отличная идея, я даже удивлен что подобного устройства до сих пор нет в массовом использовании.
    Подозреваю, что через год-два различные варианты появятся от разных производителей.


    1. DrPass
      02.08.2019 12:51
      +2

      А я, честно говоря, уже не особо верю. Пять лет назад видел ребят, которые разработали аналогичную штуку. Чуть на другом принципе, тут манжета с датчиками, считывающими тонус мышц, там была перчатка с акселерометрами. Но идея та же самая — трансляция языка жестов в текст и речь. Получили грант от Майкрософт. Похвалили в прессе, похвалили на конференциях. И… забыли. Никому не надо, ни спроса, ни инвесторов.


    1. safari2012
      02.08.2019 15:57

      Ну, как идея, подобная перчатка давно была «изобретена» фантастами.

      Конго (1995)


  1. decomeron
    02.08.2019 10:27
    +2

    Интересно и надолго он после этого останется в России?


    1. koluka
      02.08.2019 11:26
      +1

      Надеюсь нет, тут ему светит быть только звеном в попиле денег на очередном «не имеющем аналогов» Фёдоре.


      1. maross
        02.08.2019 14:26

        К сожалению, не могу не согласиться.


  1. dominigato
    02.08.2019 10:37
    +1

    Парень молодец, однозначно.
    Только есть небольшая проблема с изобретениями "спасающими мир". Они выигрывают конкурсы, соревнования, получают призы, огласку… Но когда доходит очередь до инвестиций, массового производства и т.д. — вдруг все дяденьки, хлопавшие в ладоши, куда-то исчезают. А все поиски инвесторов заканчиваются на "маленький и невыгодный рынок ".
    А потом дяденьки устраивают следующий конкурс, надо же спасать мир. На конкурсах.


    1. zirix
      02.08.2019 12:39

      Проблема таких проектов в том, что есть только красивая идея (и полурабочий прототип). А вот решений кучи проблем, которые требуются для ее реализации, нет.
      Найти инвестора на нормальный проект, особенно после рекламы конкурсом, нет. Даже если «маленький рынок».

      Кстати видел подобное много много лет назад, разница только в том, что там надевалась перчатка для считывания движений пальцами.


    1. grt_pretender
      02.08.2019 14:27

      Проблема в том, что всегда кто-то должен быть первым.
      Первый пройти всю дорогу, первым показать на своем примере, что рынок делается, а не дается на блюдечке.

      Удачи парнишке и желающим ему помочь в реализации.


    1. faoriu
      02.08.2019 16:01

      Мне кажется цель таких конкурсов, в первую очередь, финансово мотивировать способных людей. Все понимают, что подросток серьёзный проект вряд ли потянет.


  1. KYuri
    02.08.2019 10:57

    Я почему-то думал, что глухие != немые.


    1. alexxisr
      02.08.2019 11:07

      Как я понял эта штука помогает изучать язык жестов самостоятельно — и они смогут общаться с другими глухими.


    1. AssMoFun
      02.08.2019 11:30

      Только если человек стал глухим в процессе жизни. Если родился таким, то обратной связи нет, и научится правильно и внятно говорить нереально.


      1. Sioln
        02.08.2019 14:16

        Это не так. Я знаю людей, глухих от рождения, которые могут понятно произносить фразы. Я с такими людьми общался. Это пожилые люди. Для обучения они смотрят на учителя, им важно понять — как двигаются губы и язык (доходит до пальцев во рту у учителя).

        Возможно, существуют более современные техники обучения.


        1. DrPass
          02.08.2019 14:37

          Я полагаю, таких единицы из тысяч, можно этим пренебречь. В общем случае если человек не успел научиться говорить к тому моменту, как потерял слух, то уже и не научится.


          1. Sioln
            02.08.2019 15:01

            qriosity.ru/problemy-gluhonemykh/index.html
            Ну а пренебрегать или нет — личное дело каждого.


    1. Vsevo10d
      02.08.2019 16:35

      А так и есть, технически.
      На практике глухой с рождения ребенок неспособен подражать звукам, и просто не может научиться говорить.
      А у той женщины, которая вроде как парня вдохновила на изобретение, получается, был следующий уровень дерьма: будучи глухой с рождения, она не умела говорить, и ее дочери от общения с ней тоже не могли научиться.


    1. saboteur_kiev
      04.08.2019 02:43

      Глухим с рождения крайне сложно научиться говорить.
      Для начала они вообще гораздо позже начнут говорить, потому что просто не понимают что это и зачем, а это означает что первые несколько лет жизни — вообще не нарабатывается моторика языка и горла, которая нужна для адекватного произношения.
      Ну и проблемы с произношением будут всегда, плюс проблемы с громкостью.


    1. diagonal
      06.08.2019 14:05

      Вам отвечает в своей статье Светлана Кузнецова, специалист по аудиодоступности: «ГлухоНЕМОЙ и другие неприятные слова»


  1. Andrey_Rogovsky
    02.08.2019 11:13

    Странно, я такое видел еще в 2001


  1. roboter
    02.08.2019 11:24

  1. GiperBober
    02.08.2019 11:25

    А разве речевые синтезаторы для немых (проблема, описываемая в статье, больше подходит для немых и глухонемых, у слабослышаших и оглохших в постлингвальном периоде проблем с выражением своих мыслей меньше) не изобретены давно? Собственно говоря, парень изобрёл следующее устройство — человек производит действия руками, машина преобразовывает эти действия в звуки или символы на экране. Что может помешать немому, владеющему языком жестов, набрать требуемое на клавиатуре либо специализированного устройства, либо на смартфоне с «говорилкой»? Если только он не знает алфавита, но при этом знает язык жестов… Либо если язык жестов для немого комфортнее, чем набирать текст/слоги на речевом синтезаторе.
    А главное достоинство этого парня-изобретателя не в том, что он придумал что-то новое, до чего не додумались медицинские компании, а в том, что он смог сделать сложное (сложное ещё и потому, что схему устройства надо было придумать и создать самому, а не собрать по инструкции) устройство своими руками из относительно доступных простому человеку вещей. И то, что свой творческий потенциал он направляет на помощь людям. Таких людей, по-настоящему — единицы, это как Чистомэн — ругаться по поводу мусора могут миллионы, а просто пойти и почистить лес — единицы.
    P.S. У данной конкретной идеи может быть одно отличное практическое применение. Создание программы на смартфон, способной перевести язык жестов в текст. Нужное в первую очередь для тех, кто столкнулся с глухонемым и не знает языка жестов, скачал программу, и программа через камеру распознаёт язык жестов и возможно, даже способна перевести обратно (показывая жесты на экране, на случай, если немой не знает письма) на язык жестов речь… ну, например, продавца или сотрудника социальных служб, столкнувшихся с необходимостью общения с немым.


    1. mi76554
      02.08.2019 14:25

      >Создание программы на смартфон, способной перевести язык жестов в текст.

      Армслен и подобные языки
      — имеют кардинально отличную от звуковых лингвистическую структуру.
      — сильно контекстно кодированы
      то есть используется 3D+T кодирование с уникальной референтной схемой

      Если кто-то сделает лингвистический транслятор, то это будет весьма сильный AI


    1. vlreshet
      02.08.2019 14:33

      Что может помешать немому, владеющему языком жестов, набрать требуемое на клавиатуре либо специализированного устройства, либо на смартфоне с «говорилкой»
      Это удобно при кратком общении (вроде спросить «как пройти в библиотеку?»), когда текст написал, показал, да и всё, но очень неудобно при диалоге. Посмотрите сурдопереводчиков, с какой скоростью они жесты показывают. Печатать с такой скоростью крайне сложно.


      1. saboteur_kiev
        04.08.2019 02:45

        Сурдопереводчики, кроме жестов, крайне активно жестикулируют и губами и языком. Одними руками там не обходится.
        Есть определенные жесты, когда ты по буквам называешь имена собственные. А в остальном — язык жестов достаточно обобщенный, и без визуального контакта с лицом там очень много «омонимов».


  1. ViacheslavMezentsev
    03.08.2019 18:29

    Спасибо Носкову Владиславу Юрьевичу (Google Scholar, v.j.noskov[собакен]urfu.ru), за неоценимые советы по разработке общей структуры программно-аппаратного комплекса, советы по отладке отдельных частей системы к тому виду, в котором она функционирует сейчас.
    Надо преподавателя премировать за умение объяснить и показать как надо.
    После школы я хотел бы поступить в университет международного уровня, что бы иметь возможность продолжать свои исследования, сотрудничая с другими молодыми инженерами и учёными со всего мира, в чём мне, возможно, также поможет участие в этом конкурсе!
    Выиграть у других помог препод из УПИ. Я надеюсь он его называет теперь универом международного уровня.


  1. ViacheslavMezentsev
    03.08.2019 18:53

    Для получения данных о положении руки, в работе используется плоскостная электромиография: отслеживание биопотенциалов, характерных для активности мышц предплечья. Для классификации: специально обученная глубокая нейронная сеть Inception v3. Суть работы в создании программно-аппаратного комплекса для перевода жестов в слова на основе получения и анализа ЭМГ-сигнала. Устройство для получения и обработки электромиограммы построено на основе микроконтроллера PSoC 5LP, классифицирующая нейросеть обучена и развёрнута на облачном сервере.
    Итого:
    — технический английский на уровне чтения текстов по электромиографии и радиоэлектронике;
    — радиоэлектроника (аналоговая и цифровая — датчики там явно не напрямую к мк идут);
    — архитектура ARM и я так полагаю, что C/C++;
    — цифровая обработка сигналов;
    — глубокие нейронные сети + их обучение;
    — использование облачных вычислений.

    Может стоит вернуться в школу?