Эту фотографию ты скоро забудешь

Исследователи из лаборатории компьютерных наук и искусственного интеллекта в Массачусетском технологическом институте разработали алгоритм, который определяет запоминаемость изображений. Более того, на основе этого алгоритма создано приложение для улучшения фотографий, чтобы они хорошенько впечатались в мозг.

Как можно догадаться, алгоритм разработан путём обучения нейросети. Тренировка происходила на людях. Во время обучения каждую фотографию из альбома показывали 600 миллисекунд, затем пауза 800 миллисекунд, потом следовали десятки других снимков. Через случайное время первая фотография повторялась. Некоторые другие фотографии тоже потом повторялись. В любой момент пользователь мог нажать кнопку и сигнализировать о том, что он узнал фотографию. Таким образом, в нейросеть поступала информация о том, какие фотографии лучше запоминаются.

В результате обучения нейросеть научилась буквально предсказывать человеческую память. Более того, она выделяет в кадре области с высокой и низкой запоминаемостью, за счёт чего фотографию можно оптимизировать.



В результате исследователи составили большую базу данных из 60 000 фотографий с указанием индекса запоминаемости — LaMem (Large-scale Memorability Dataset).

Алгоритм называется MemNet, в онлайне есть демонстрационная страница.

Предварительно подготовленную модель нейросети можно скачать и опробовать в офлайновом режиме, используя фреймворк Caffe.

«Понимание запоминаемости поможет в создании систем, которые сохраняют самую важную информацию или, наоборот, сохранить ту информацию, которую люди, скорее всего, забудут, — говорит аспирант лаборатории компьютерных наук и искусственного интеллекта Адитья Косла (Aditya Khosla), ведущий автор научного проекта. — Это как иметь в своём распоряжении мгновенно доступную фокусную группу, которая говорит о вероятности запомнить то или иное визуальное сообщение».

Такую систему можно применять в различных областях: от повышения эффективности рекламных объявлений и сообщений в социальной сети до разработки более эффективных учебных материалов. Или как персонального ассистента, который приводит для вас информацию в наиболее запоминающийся вид.

Разработчики проекта не только опубликовали дизайн нейросети, но и готовы предоставить всем желающим базу данных LaMem с 60 000 аннотированных фотографий (по запросу).

Более подробно об обучении свёрточной нейросети и работе алгоритма MemNet рассказано в научной работе. В ней описано, как составлялась база, как во время обучения нейросети проводилась игра на визуальную память и, в конце концов, как проверялись результаты работы нейросети после её обучения.