Ellie разработали для диагностики посттравматического стресса и депрессии. Когда вы заходите в кабинку, она сначала задает вопросы — о семье, о чувствах, о самых больших сожалениях.
Может показаться, что эти эмоции действительно запутанные и программе их трудно понять. Но Скип Риццо, психолог, который помогал разрабатывать Ellie, думает иначе.
Когда вы отвечаете на вопросы Ellie, она слушает. Но программа не обрабатывает слова. Она анализирует голос. Камера в мельчайших деталях отслеживает мимику.
"Вопреки распространенному мнению, депрессивные люди улыбаются так же часто, как и те, кто не страдает депрессией, - говорит Риццо. - Но их улыбки являются менее жизнерадостными и не такими длительными. Скорее это улыбка из вежливости, а не настоящая, идущая изнутри".
Ellie сравнивает мою улыбку с базой данных солдат, вернувшихся из боя. Настоящая она или вынужденная? Ellie также отслеживает паузы. Она наблюдает за тем, смотрю я в сторону или вниз. Если я наклоняюсь, она это также замечает.
Весь этот анализ, кажется, работает: в ходе исследований Ellie удалось обнаружить признаки посттравматического стрессового расстройства и депрессии у пострадавших людей.
Джоди Митич служил в канадских войсках в Афганистане. Он потерял обе ноги вследствие взрыва бомбы. Митич рассказывает, как робот Ellie помогла ему раскрыться. "Казалось, что Ellie просто слушает, — говорит он. — Когда вы начинаете рассказывать о некоторых ужасных вещах, которые, возможно, видели или совершили, многие терапевтов - это можно увидеть это по их глазам — демонстрируют соответствующую реакцию".
С Ellie такого не происходит.
На данный момент разработка используется строго для диагностики. Идея заключается в том, чтобы сначала Ellie определяла солдат, у которых возникают проблемы, а затем уже с ними работали врачи.
gonzzza
Сдается мне что все это дело базируется на FaceTracker от Jason Saragih, очень уж маска похожа. Сказано не в упрек… но надеялся прочитать про новые невиданные алгоритмы.
BelBES
А разве есть много различных способов визуализировать Active Appearance Model?
gonzzza
Я загуглил и увидел сразу пачку. В данной программе это дело выглядит именно как в FaceTracker. Но я повторюсь — код открытый, ничего зазорного в этом нет.
BelBES
Ну хз, в сэмплах к книге Mastering OpenCV примеры по AAM также выглядят, тупо линиями из highgui'я нарисовали модельку да и всего делов :-)
ffriend
Эти линии показывают триангуляцию Делоне — разбиение формы (набора точек и текстуры между ними) на треугольники, каждый из которых затем покусочным аффинным преобразованием транслируется в новые координаты
триангулируем их:
и деформируем каждый отдельный треугольник, чтобы он приобрёл форму своего товарища из другой картинки:
Пиксели за пределами формы не входят в триангуляцию и поэтому не переносятся.
isden
А можно где-то вживую посмотреть на это? В смысле самому поковыряться с ПО.
unxed
Если каменты выше не врут, то здесь: github.com/kylemcdonald/FaceTracker
ffriend
На самом деле, FaceTracker — это хоть и популярная реализация, но читать её код просто невозможно: мало того, что у неё весьма странная структура без каких-либо поясняющих комментариев, так она ещё и никак не отражает существующие научные работы по этой теме. Запустить её из командрой строки и потыкать в неё своим фейсом лица, конечно, достаточно интересно, но дальше этого я как ни старался, пойти не смог.
Из C++ реализаций гораздо приятней читать код AAMToolbox, написанной, кстати, хабрапользователем phoenix367 (вот здесь можно почитать его статью по теме). Из не C++ мне больше всего понравилась реализация ICAAM на Matlab. Правда, Matlab — это та ещё заноза сами знаете где, а на Linux так вообще ад и садомия. Поэтому я также транслировал код ICAAM на Julia, и вроде как получилось даже понятней и проще пользоваться.
gonzzza
Спасибо огромное! Делаю первые шаги в программировании с визуально-мультимедийным уклоном. В FaceTracker от kylemcdonald для меня самой большой проблемой является то, что пока лицо не найдено — все нереально тормозит, что делает практическое применение довольно затруднительным. Буду изучать AAMToolbox. Если повезет — сделаю wrapper для OpenFrameworks.
crimsujii
Там он стал одним из объектов экспериментальной исследовательской программы лечения шизофрении с использованием кибернетических модулей. С помощью компьютера провели отбор пациентов, а затем, при активном участии студентов, началась терапия с применением специальных программных средств. Из всей экспериментальной группы излечился только один — Корто.
Зимнее Безмолвие встроил в кататонический остов Корто нечто по имени Армитаж. Он убедил Корто в том, что Армитаж существует на самом деле, и Армитаж получил возможность ходить, разговаривать, строить планы, воспринимать и усваивать информацию, выступать на стороне Зимнего Безмолвия, как, например, в номере отеля «Хилтон» в Тибе...
gonzzza
Вот кстати ребята шикарный софт разработали — невероятно точно все работает. Цели немного другие, но суть та-же. Трекинг лица.
www.youtube.com/watch?v=eXVspNUeiWw
oleg0xff
Когда эту программку установят работодатели, то людям с депрессией останется только прыгать с балконов. Потому что на работу их никогда не возьмут, а инвалидность не положена. т.е. они останутся попросту без источника к существованию.