Результат обработки фотографий Джулиана Ассанжа и Бенедикта Камбербэтча нейросетью для предсказания первого впечатления о человеке. Заметна небольшая нехватка субъективного интеллекта и доминантности у актёра по сравнению с героем, которого он играл в фильме «Пятая власть». В остальном образ Ассанжа передан вполне корректно. Иллюстрация: Университет Нотр-Дам, Гарвардский университет
Наш мозг способен быстро составить впечатление о незнакомце по его лицу. За несколько секунд определяются ключевые характеристики человека: его привлекательность, интеллект, возраст, надёжность, социальный статус (доминантность), общительность и уровень морали. Понятно, что это впечатление неточное, а иногда совершенно неправильное. Абсолютная точность здесь не требуется. Важна скорость. Это совершенно необходимый социальный механизм, без которого трудно выжить в обществе, жизненно важный навык. Поэтому первое впечатление настолько сильное и важное. Изменить его потом очень непросто.
Оставляя за скобками очевидную необъективность первого впечатления, важно научить компьютеры оценивать лица так же, как это делают другие люди. Такие попытки неоднократно предпринимались. Исследователи пытались алгоритмически выполнять категоризацию различных эмоций по лицу человека, в том числе с помощью нейросетей. Опубликованы работы по автоматическому определению привлекательности лица, а также наличию чувства юмора и других личных характеристик человека с помощью нейросетей.
Все эти исследования — совершенно необходимая часть работы по созданию искусственного интеллекта человеческого уровня. ИИ должен уметь читать лица не хуже, чем человек, и выносить субъективные оценки по лицу не хуже человека.
Сейчас группа исследователей из Университета Нотр-Дам (США) и Гарвардского университета (США) провела новое исследование, которое дополнит научные наработки в сфере социальной психологии. Их работа посвящена автоматическому составлению первого впечатления, которое возникает о человеке у окружающих. Анализ выполняет нейросеть, обученная на образцах фотографий.
По мнению психологов, которые специализируются на изучении системы социальных оценок у людей, при первой оценке незнакомого человека по лицу ключевыми являются две характеристики: надёжность и доминантность. По мнению Александра Тодорова, все остальные характеристики можно вывести из этих двух основных. Психологи довольно давно составили набор базовых характеристик, которые демонстрируют доминантность человека над окружающими, в том числе наклон головы, жесты бровей и рта.
Учёные из Университета Нотр-Дам и Гарвардского университета обучали нейросеть на выборке 6300 фотографий из общедоступной бызы Annotated Facial Landmarks in the Wild. Эти фотографии аннотировали пользователи краудсорсинговой платформы TestMyBrain.org по трём социальным атрибутам: доминантность, надёжность и IQ, а также дополнительному атрибуту — возраст.
6000 фотографий использовались для обучения, ещё 200 — для доводки и тонкой настройки, а последние 100 — для проверки нейросети.
Практически идеальное совпадение профилей Эдварда Сноудена и играющего его актёра Джозефа Гордона-Левитта в фильме «Сноуден». Иллюстрация: Университет Нотр-Дам, Гарвардский университет
Учёные отмечают, что по атрибутам IQ и возраст они могли бы составить аннотации с настоящими, а не субъективными характеристиками. Но тогда нейросеть бы обучилась определять настоящие IQ и возраст человека по его лицу. Как было сказано выше, задача состояла совершенно в другом, поэтому для обучения нейросети категории IQ и возраст тоже присваивались с помощью краудсорсинга.
На иллюстрации показаны отдельные фотографии из базы, которая использовалась для обучения. Образцы выбраны среди обладателей минимальных, средних и максимальных характеристик по всем категориям. Как несложно заметить, у маленьких детей — самые минимальные оценки в категориях IQ, доминантности и возраста. У человека с разукрашенным лицом — одна из минимальных оценок по надёжности.
Распределение показателей в наборе данных для обучения близко к нормальному распределению.
В таблице показаны средние оценки фотографий по четырём категориям, составленные по результатам оценок пользователей. Указаны минимальная и максимальная оценки, а также среднее количество выставленных оценок. Каждое лицо получило, в среднем, по 32 оценки для доминантности и надёжности, а также по 15 оценок для возраста и IQ.
После обучения нейросеть демонстрировала довольно точную оценку лиц, близкую к результатам оценки пользователей сайта.
Авторы надеются, что их нейросеть пригодится в разработке программ компьютерного зрения. Такая система умеет анализировать видеопоток в реальном режиме времени. Например, показывать на экране в виде графика, как изменяется со временем субъективно воспринимаемый интеллект лица ведущего телевизионной программы. То есть насколько умным выглядит его лицо в отдельные моменты времени. Представьте, что программа составит дайджест самых интересных моментов передачи, когда лицо ведущего выглядело наиболее глупо.
При обработке видео нейросеть обрабатывает каждый кадр в отдельности.
Можно придумать и другие применения этой технологии. Например, для выбора актёров, которые наиболее точно передают субъективное впечатление от внешности своих героев в реальной жизни, как показано в ранее упомянутых примерах с Джулианом Ассанжем и Эдвардом Сноуденом.
Наверное, такая нейросеть найдёт применение в программах личностного роста: изменяя выражение лица перед камерой, человек будет тренироваться, как стать более солидным и умным в глазах окружающих — наблюдая оценку своего лица нейросетью.
Можно представить, что некоторые фирмы начнут набирать сотрудников с учётом результатов субъективной оценки лиц кандидатов. То есть при обучении нейросети начальник выбирает несколько десятков лиц, которые ему нравятся по характеристикам IQ и надёжности, а программа находит кандидатов точно с такими характеристиками, какие нужны начальнику.
Исследователи только предупреждают, что точность работы нейросети напрямую зависит от качества исходных данных, то есть оценки лиц. Важно, чтобы эту оценку проводили представители целевой аудитории. Дело в том, что впечатление о человеке сильно зависит от личности того, кто выставляет оценку: его культуры и национальности. Грубо говоря, очень авторитетный и мудрый человек в зулусском племени не будет воспринят как доминантный лидер в сообществе оксфордских аристократов.
Научная работа опубликована 25 октября 2016 года на сайте arXiv.org.
Комментарии (15)
RedVelvet
02.11.2016 22:32-1Знаю одного субъекта, по лицу выглядит как дегенерат, или умственно отсталый — но это довольно тонкий и хитрый пройдоха
Noeren
03.11.2016 05:17+1Интересная кстати подборка с фотографиями. Если посчитать, то категории 25% и 50% целиком состоят из женщин (ну или мужчин с очень ярко выраженными женственными чертами). Категорию 0% вообще сложно (ну или лично мне сложно) как-то дифференцировать по половому критерию. А вот категория 75% уже наполовину состоит из мужчин (ну или опять из ярко выраженных мужских черт), а максимумы уже и на 75%.
И нет, это не к вопросам феминизма, а скорее к вопросу о восприятии. Можно даже попробовать выделить ключевые критерии:
1) Для возраста это, очевидно, морщины.
2) Для IQ это, на мой взгляд, очки и общее выражение лица. Очки это конечно звучит как стереотип, но на самом деле в этом есть доля смысла. Как правило, необходимость ношения очков связана с плохим зрением, которое, в свою очередь, является следствием либо плохой наследственности, либо каких-то приобретенных проблем, либо непосредственно «посаженного» за компом зрения, что с IQ коррелирует достаточно хорошо. Более того, я склонен предположить, что даже для первого случая (наследственности) может существовать некоторая корреляция с IQ, завязанная на комплексах, развивающихся в подростковом возрасте и подталкивающих человека к менее активному/социальному развитию и, как следствие, более интеллектуальному. Разумеется, это всё не общий закон, но определенная склонность, как мне кажется, вполне наблюдаема.
3) Доминирование, ну или социального положение — тут, как мне кажется, играет роль опять же скорее выражение лица, ассоциируемое с серьёзностью. Опущенные или подчёркнуто нейтральные уголки рта, низко посаженные брови, морщины на лбу, создающиеся от хмурого выражения лица (между бровями). В целом мимика лица либо слабо выражена, либо склонна к хмурости.
4) А вот с надёжностью, как мне кажется, опять же, всё несколько сложнее. Разумеется, определенную роль играет количество косметики, ассоциативно связываемое с желанием обмануть. Также аналогичную роль играет выражение лица, схожее с предыдущим пунктом — не склонное к «позитивным» чертам. Но! Лично для меня, например, было бы безмерно сложно вообще проставить какую-либо оценку по «доверию» какому-либо из этих людей. Как-то у меня в голове вообще не складывается концепт доверия, я скорее склонен по умолчанию никому не доверять. Например, очевидно, что более высокие уровни доверия у людей ассоциируются с улыбкой и связанными с ней чертами лица — мимическими морщинами — но лично мой жизненный опыт подсказывает мне, что сам по себе факт улыбчивости человека вообще никак не связан с тем, можно ли ему доверять.
Возвращаясь к вопросу пола — как мне кажется, свою роль в случае женщин играет косметика. Она призвана скрывать определенные черты лица, которые формируются в следствии вполне определенного поведения — улыбчивости или наоборот хмурости. Когда эти черты скрыты, о человеке мало что можно сказать непосредственно по его лицу, остаётся только общее выражение лица, в качестве ориентира. Если оно более склонно к нейтральному/хмурому то это ассоциируется с «доминированием». Это кстати довольно забавный феномен — у европеоидных женщин, с точки зрения азиатов, нейтральное выражение лица, которое принимается как дежурное, ничего не выражающее, скорее выражает негативные эмоции — печаль, хмурость, тяжелые размышления, обиду, даже злость. Отсюда даже есть выражение resting bitch face.
DaveDee
03.11.2016 17:56Не соглашусь насчет очков.
Посадить за компом можно просто играя в контру по ночам безвылазно, а можно, как у меня, с 4 лет провести у монитора и остаться при своем родном.
Подозреваю, что первых намного больше.
LazyCrazy
03.11.2016 11:12В таблице с фото самая «надёжная» (или «кредитоспособная» в другом переводе) очень смахивает на цыганку-гадалку…
LazyCrazy
03.11.2016 11:18Очень давно, ещё в школе, заметил, что более правильное представление о характере человека можно получить, глядя не на его лицо спереди, а сбоку-чуть-сзади. Человек не видит себя с такого ракурса и не может контролировать этот вид — впечатление от увиденного с этой стороны более правдиво. Конечно, возможно это мне так показалось, но по многолетнему опыту это скорее подтверждается. В идеале при этом человек не должен замечать, что за ним наблюдают и вести разговор с кем-то ему знакомым.
atner
06.11.2016 18:12Так, а где API? где код на github? Да хотя бы web-интерфейс поиграться — загрузить своё фото? Может кто еще сервисы такие знает или open-source проекты? Спасиб
DaveDee
Надел очки и тебя даже нейросеть считает умным.
В будущем стоит на собеседования всегда с собой захватывать, мало ли что…
pehat
В будущем? Какие еще собеседования?
JC_Piligrim
То есть, когда тебя не берут на работу, потому что ты чёрный, гей или женщина — это дискриминация и ата-та, а когда потому что какой-то софт считает, что ты тупой — зеленый свет новым технологиям? Двойные стандарты это так мило…
DaveDee
Отбелил кожу и тебя даже нейросеть считает добропорядочным.
В будущем стоит перед собеседованиями всегда гримироваться, мало ли что…
Сменил ориентацию на гетеро и тебя даже нейросеть считает вызывающим доверие.
В будущем стоит на собеседования всегда с собой брать «свою» девушку, мало ли что…
Поменяла пол и тебя даже нейросеть считает работоспособным.
В будущем стоит на собеседования всегда клеить бороду, мало ли что…
Надеюсь, так вы поймете, что мой комментарий даже близко не содержал какого-то зеленого света.
JC_Piligrim
Так я вам не в контру, а в саппорт же и сказал. Двойные стандарты не у вас, а в мировых трендах, в которых человека «заворачивают», применяя гадание по фотографии и даже не допуская до собеседования и испытательного срока на основе «не, этот точно нам не подойдёт агентом телефонной IT-техподдржки, потому что по фотке видно, что он веган». Т.е. человеку не дают даже шанса продемонстрировать умения релевантные вакансии, на основании только «гороскопов».
DaveDee
тогда прошу прощения, посыл неправильно понял я)