image

Ellie разработали для диагностики посттравматического стресса и депрессии. Когда вы заходите в кабинку, она сначала задает вопросы — о семье, о чувствах, о самых больших сожалениях.

Может показаться, что эти эмоции действительно запутанные и программе их трудно понять. Но Скип Риццо, психолог, который помогал разрабатывать Ellie, думает иначе.

Когда вы отвечаете на вопросы Ellie, она слушает. Но программа не обрабатывает слова. Она анализирует голос. Камера в мельчайших деталях отслеживает мимику.

"Вопреки распространенному мнению, депрессивные люди улыбаются так же часто, как и те, кто не страдает депрессией, - говорит Риццо. - Но их улыбки являются менее жизнерадостными и не такими длительными. Скорее это улыбка из вежливости, а не настоящая, идущая изнутри".

 

 
Ellie сравнивает мою улыбку с базой данных солдат, вернувшихся из боя. Настоящая она или вынужденная? Ellie также отслеживает паузы. Она наблюдает за тем, смотрю я в сторону или вниз. Если я наклоняюсь, она это также замечает.

 
Весь этот анализ, кажется, работает: в ходе исследований Ellie удалось обнаружить признаки посттравматического стрессового расстройства и депрессии у пострадавших людей.
 

 
Джоди Митич служил в канадских войсках в Афганистане. Он потерял обе ноги вследствие взрыва бомбы. Митич рассказывает, как робот Ellie помогла ему раскрыться. "Казалось, что Ellie просто слушает, — говорит он. — Когда вы начинаете рассказывать о некоторых ужасных вещах, которые, возможно, видели или совершили, многие терапевтов - это можно увидеть это по их глазам — демонстрируют соответствующую реакцию".

С Ellie такого не происходит.

На данный момент разработка используется строго для диагностики. Идея заключается в том, чтобы сначала Ellie определяла солдат, у которых возникают проблемы, а затем уже с ними работали врачи.
 

Комментарии (12)


  1. gonzzza
    15.10.2015 14:59

    Сдается мне что все это дело базируется на FaceTracker от Jason Saragih, очень уж маска похожа. Сказано не в упрек… но надеялся прочитать про новые невиданные алгоритмы.


    1. BelBES
      15.10.2015 15:53
      +1

      А разве есть много различных способов визуализировать Active Appearance Model?


      1. gonzzza
        15.10.2015 21:04

        Я загуглил и увидел сразу пачку. В данной программе это дело выглядит именно как в FaceTracker. Но я повторюсь — код открытый, ничего зазорного в этом нет.


        1. BelBES
          15.10.2015 22:02

          Ну хз, в сэмплах к книге Mastering OpenCV примеры по AAM также выглядят, тупо линиями из highgui'я нарисовали модельку да и всего делов :-)


          1. ffriend
            16.10.2015 01:53

            Эти линии показывают триангуляцию Делоне — разбиение формы (набора точек и текстуры между ними) на треугольники, каждый из которых затем покусочным аффинным преобразованием транслируется в новые координаты

            примерно так
            Имеет два изображения одного объекта с небольшим интервалом:

            image
            image

            триангулируем их:

            image
            image

            и деформируем каждый отдельный треугольник, чтобы он приобрёл форму своего товарища из другой картинки:

            image
            image

            Пиксели за пределами формы не входят в триангуляцию и поэтому не переносятся.


  1. isden
    15.10.2015 15:27
    +1

    А можно где-то вживую посмотреть на это? В смысле самому поковыряться с ПО.


    1. unxed
      15.10.2015 19:29

      Если каменты выше не врут, то здесь: github.com/kylemcdonald/FaceTracker


      1. ffriend
        16.10.2015 02:23
        +1

        На самом деле, FaceTracker — это хоть и популярная реализация, но читать её код просто невозможно: мало того, что у неё весьма странная структура без каких-либо поясняющих комментариев, так она ещё и никак не отражает существующие научные работы по этой теме. Запустить её из командрой строки и потыкать в неё своим фейсом лица, конечно, достаточно интересно, но дальше этого я как ни старался, пойти не смог.

        Из C++ реализаций гораздо приятней читать код AAMToolbox, написанной, кстати, хабрапользователем phoenix367 (вот здесь можно почитать его статью по теме). Из не C++ мне больше всего понравилась реализация ICAAM на Matlab. Правда, Matlab — это та ещё заноза сами знаете где, а на Linux так вообще ад и садомия. Поэтому я также транслировал код ICAAM на Julia, и вроде как получилось даже понятней и проще пользоваться.


        1. gonzzza
          16.10.2015 14:12

          Спасибо огромное! Делаю первые шаги в программировании с визуально-мультимедийным уклоном. В FaceTracker от kylemcdonald для меня самой большой проблемой является то, что пока лицо не найдено — все нереально тормозит, что делает практическое применение довольно затруднительным. Буду изучать AAMToolbox. Если повезет — сделаю wrapper для OpenFrameworks.


  1. crimsujii
    15.10.2015 17:58
    +1

    Там он стал одним из объектов экспериментальной исследовательской программы лечения шизофрении с использованием кибернетических модулей. С помощью компьютера провели отбор пациентов, а затем, при активном участии студентов, началась терапия с применением специальных программных средств. Из всей экспериментальной группы излечился только один — Корто.

    Зимнее Безмолвие встроил в кататонический остов Корто нечто по имени Армитаж. Он убедил Корто в том, что Армитаж существует на самом деле, и Армитаж получил возможность ходить, разговаривать, строить планы, воспринимать и усваивать информацию, выступать на стороне Зимнего Безмолвия, как, например, в номере отеля «Хилтон» в Тибе...


  1. gonzzza
    17.10.2015 15:44

    Вот кстати ребята шикарный софт разработали — невероятно точно все работает. Цели немного другие, но суть та-же. Трекинг лица.
    www.youtube.com/watch?v=eXVspNUeiWw


  1. oleg0xff
    18.10.2015 17:10

    Когда эту программку установят работодатели, то людям с депрессией останется только прыгать с балконов. Потому что на работу их никогда не возьмут, а инвалидность не положена. т.е. они останутся попросту без источника к существованию.