Современного человека не удивить аромадиффузорами для помещений. Они стоят во многих местах, включая квартиры, торговые центры и магазины. Их можно купить или даже сделать вручную, настраивая частоту распыления и управление, например, через домашнюю IoT-систему. Но сегодня поговорим о более продвинутых вещах — ароматизация игр, фильмов — а также о научном подходе к изучению реакции людей на разные ароматы и использование этих данных для разных целей. Интервью информационной службе Хабре дал стартап SensoryLAB — российский разработчик в области нейросенсорных технологий и технологий ароматизации. Мы поговорили с основателем стартапа Букреевым Никитой, а также двумя специалистами, отвечающими за техническую реализацию проекта: Антоном Васильевым @Barsik44 (известным Хабру по интервью про воссоздание ретроигры «Позвоните Кузе») и Денисом Саврадым. Они рассказали историю развития стартапа и создания своего устройства для ароматизации медиа-контента.

Насколько я поняла, созданию устройства предшествовало несколько лет исследований на тему нейрофизиологии?

Букреев Никита: Да, в теме ароматики наша команда с 2014 года. За это время мы сделали ряд научных публикаций, а сейчас сразу несколько членов нашей команды защищают диссертации на темы, связанные с ароматами. Мы также выступаем с соответствующими лекциями. Не все понимают, что запахи играют крайне важную роль в жизни людей. Мы ориентируемся по запаху при выборе еды, партнёра, места для отдыха, мы всегда знаем, как пахнет наш дом, и начинаем переживать, если вдруг запахи в доме меняются. Зачастую люди придают слишком мало значения ароматике в жизни.

Специфика темы ароматов в том, что это достаточно обширное поле, где ещё остаётся место чему-то новому. Например, мне всегда было интересно, какие механизмы лежат в основе предпочтений в ароматах, ведь мы не всегда можем себе объяснить причины симпатии и антипатии к ароматам, а они есть! С появлением устройства исследования стало проводить максимально просто. 

С нашей сотрудницей и коллегой из НЦПЗ (Научный Центр Психического Здоровья) Надеждой Дмитриевой, например, мы изучаем, как пороги чувствительности к запахам повышаются при наличии психических расстройств шизофренического спектра и депрессивных расстройств, где человек хуже чувствует запахи или вообще не чувствует их. Есть статья, написанная совместно с Лебедевым Михаилом — нейрофизиологом с мировым именем, аспиранты которого работали у Илона Маска в Neuralink. В нашей совместной работе мы оценивали по ЭЭГ, какой сейчас человек чувствует запах. Тип аромата, например лимон или кофе, мы определяли при помощи нейросетей, а подавали запахи автоматизированно из нашего девайса. Исследования в этом направлении у нас продолжаются.

В этом году планируется выход ещё нескольких исследований, например, как аромат влияет на ощущение вкуса сладкого. То есть при помощи аромата можно менять вкусовые характеристики продукта, но насколько сильно — предстоит узнать. Испытуемый рассасывает леденец из изомальта (сахарозаменитель) и в определённый момент мы начинаем  подавать определённый запах вместе с картинкой овоща, фрукта или ягоды. Картинка влияет на ощущение сладкого, но главное здесь аромат: по предварительным данным, он увеличивает ощущение сладкого вдвое.

Почему это так важно? 

Букреев Никита: Мы недооцениваем вред от потери обоняния или его притупления. И особенно ярко эта проблема проявилась с пандемией коронавируса. Приведу пример. В мире насчитывается порядка 5% людей с потерей обоняния. Ещё до пандемии в США было очень классное сообщество аносмиков, которые боролись за свои права. Если человек потерял зрение или слух, он получает инвалидность. При потере обоняния — ну потерял и потерял. Сообщество добивается признания, что потеря обоняния тоже ограничение, приводящее к значительному ухудшению качества жизни человека. С помощью запахов человек выстраивает эмоциональную связь с окружающим миром. При потере обоняния рушится эмоциональная составляющая жизни, вы уже не получите такого удовольствия от еды, секса и других взаимодействий с окружающим миром. Это приводит, например, к развитию алекситимии, астении и сенсорному голоду.

Расскажите в общих чертах о вашей разработке.

Букреев Никита: Начну издалека. Ароматика — способ доставки информации из кадра, погружающий зрителя в атмосферу. Например, при просмотре видео про жарку шашлыка запах самого шашлыка и горящих углей позволяет полностью окунуться в происходящее: до шашлыка остаётся только подать рукой. Также при просмотре фильма «Аватар» ароматика всецело позволяет погружаться в киноленту, ощущая запахи медицинских веществ в кадрах в лабораториях, запахи природы в кадрах на природе и так далее. В каком-то смысле это искусство, поскольку для того, чтобы случился эффект присутствия, необходимо проработать сюжетную линию подачи ароматов, спланировать появление одорантов в конкретных сценах, разработать аромакомпозиции для вымышленной природы, существ, персонажей или драматических поворотов картины, а затем реализовать это без задержек при просмотре.

В определённые моменты фильма наше устройство подаёт аромат, соответствующий картинке на экране. На текущий момент на один фильм у нас предусмотрено до 12 ароматов, заранее подбираемых специалистами. Этого набора должно хватать на большинство уже вышедших фильмов. У нас есть методология, по которой мы разрабатываем карты ароматов и аромадорожки для разных фильмов. Она учитывает сюжет и место действия, характеры главных героев и их поведение и много других вещей.

Аромат может подаваться автоматически, вручную, пользователь может самостоятельно при желании настраивать подачу того или иного аромата. У нас есть бот в Telegram и мобильное приложение для удалённого управления. Сейчас мы работаем над инфраструктурой доступных для пользователей устройств. Пока мы выпускаем партии устройств под ограниченный заказ, и они сравнительно дорогие. Есть возможность приобрести устройство EarlyBird пользователям для игры Minecraft. Оно стоит около 70 тысяч рублей. Но при раскатке на рынок они, конечно же, станут дешевле.

Вы просто продаёте устройство с набором флаконов, а поддержка?

Букреев Никита: Конечно же, после продажи будет осуществляться и поддержка ПО, техподдержка, предоставляться возможность приобретать интересующие картриджи с ароматами или наборы под разные фильмы, игры или просто по желанию. Например, устройство для игроков в Minecraft мы сможем обслуживать в течение одного-двух лет. За это время мы будем раз в месяц разрабатывать новые ароматы для игры путём голосования сообщества игроков. Например, игроки захотят запах зомби — пожалуйста, вот вам запах зомби. Всего в базовом наборе шесть ароматов.

Для работы с онлайн-кинотеатрами мы прорабатываем модель покупки картриджей через сервисы доставки еды. Зашёл на сервис, выбрал фильм и прикупил набор ароматов, который доставили за 15 минут вместе с попкорном и вкусными напитками к фильму. Для игр и прочих пользовательских применений есть вариант оформления подписки. То есть вы оформляете подписку на один картридж или целый сет и каждый месяц получаете посылку с новыми ароматами. Сейчас мы работаем над этими вариантами, как лучше их реализовать, чтобы сбалансировать между нами, пользователями и коммерческими партнёрами. На текущий момент один картридж стоит около тысячи рублей за штуку, но для ранних пользователей на старте всегда дороже такие вещи.

Вы назвали вашу разработку «настоящим 3D», что вы подразумеваете под этим термином?

Букреев Никита: Даже когда мы надеваем 3D-очки, у нас сразу запускается всё же два органа восприятия: зрение и слух. При добавлении ароматики подключается третье измерение — обоняние. Это новое пространство, в котором можно использовать аромат для совершенно уникальных целей, например ведения скрытого повествования. Например, добавить специфический аромат одному из персонажей, значение которого раскроется только к концу киноленты. Или, в случае «Аватара», добавить везде аромат дерева Эйвы, объединяющего всё живое на вымышленной планете Пандора, и регулировать концентрацию аромата в зависимости от близости к самому дереву, достигая максимума в сценах непосредственно под кроной Эйвы.

Как вы подбираете ароматы и как создаются дорожки? Есть отдельный человек, вручную расставляющий запахи, или часть работы всё же делает система?

Букреев Никита: Для разработки аромадорожки мы используем собственную методологию подбора аромата к фильму, которую можно разделить на несколько направлений. Одна ветка — когда мы разрабатываем отдельный сет ароматов либо для уже отснятых, либо только планирующихся в прокат картин. Здесь могут быть варианты того, как будет построена работа. В одном случае это постпроцессинг, в другом — живая работа с режиссёрами и командой производства фильма. Вторая ветка — когда пользователь сам выбирает, какой набор ароматов он себе приобретёт, а мы ему рекомендуем выбрать те, которые максимально соответствуют его предпочтениям в фильмах. Это возможно благодаря нашей цифровой базе, где хранятся все размеченные аромадорожки. 

Для ручной разметки аромадорожки у нас есть специализированный парфюмерный орган, на котором работают несколько разных специалистов. Это тоже наша разработка. Аромасценарист изучает драматургию ленты и пишет своё виденье, для чего могли бы использоваться ароматы в киноленте. Аромарежиссёр изучает аромасценарий, чтобы понять, какие сцены будем ароматизировать и как это сделать максимально эффективно. Аромаоператор создаёт аромадорожку с завязкой на тайминги, настраивает время и интенсивность подачи ароматов. Специалисты работают по заранее спроектированным фреймворкам, позволяющим ускорить процесс разработки карты ароматов, проекта ароматизации киносцен, а также аромадорожки для всего фильма. После этого идёт обкатка с помощью разработанного для этого устройства, способного распылять до двенадцати ароматов одновременно с разной интенсивностью. Мы рассчитываем, что эти специалисты в будущем будут востребованы в индустрии, может быть, появятся новые профессии, подобные сценаристу, звукорежиссёру и кинооператору.

У вас много ароматов в коллекции?

Букреев Никита: Да, более тысячи. Есть ароматы «пищевые», а есть отдушки, используемые в парфюмерии. Их можно миксовать между собой и формировать максимально близкие к картинке подборки. Например, вот тут у нас аромат курицы, тут сыр чеддер, виски, есть стандартные цветочные, фруктовые и так далее.

Сколько фильмов в вашей коллекции?

Букреев Никита: У нас не только аромадороджки для фильмов, сделанные нами, но и школьные проекты, в рамках которых они ароматизируют свои любимые ленты. В целом, у нас уже есть ароматика для «Аватара», школьный проект по аниме «Клинок, рассекающий демонов», «Семнадцать мгновений весны», причём в чёрно-белом варианте, тоже школьный проект. Также мы ароматизировали «Дюну», «Т-34», «Малефисенту», «Огонь» и «Шрек мороз, зелёный нос».

Мне как аллергику интересно, прорабатывали ли вы вопросы с аллергией на ароматы?

Букреев Никита: Конечно. У нас все ароматы сертифицированы, но не все гипоаллергенны. Есть составы, максимально безопасные для аллергиков, и мы стараемся работать исключительно на них. Но всё равно предупреждаем пользователей о вероятной индивидуальной непереносимости. Даже если аллергии на состав отдушки быть не может, люди, привыкшие к жизни с аллергией, уже психологически настроены на негативное восприятие того или иного аромата, и здесь мы ничего не можем сделать. Порой даже с безопасным составом у пользователей возникают специфические реакции, больше связанные с психологией.

На сайте «Сколково» указано, что вы являетесь участником с 2019 года. Как вы использовали выделенный 1 млн рублей? Ещё привлекали какое-либо финансирование от подобных фондов?

Букреев Никита: Особенность нашей компании в том, что мы фактически занимались разработкой без привлечения внешнего финансирования. Мы искренне стараемся привнести в культуру своё устройство, создать коммьюнити людей, кому это интересно. Что касается выделенных средств, то любой участник «Сколково» имеет возможность пользоваться микрогрантами для широкого спектра услуг от аккредитованных компаний «Сколково». Таким образом, деньги, выделяемые на проект, перечисляются исполнителю контракта от Фонда, а нам, как заказчикам, передают конечный результат. На эту сумму фонд «Сколково» оказал нам услуги по подготовке нескольких аналитических отчётов по построению патентных ландшафтов. 

К слову, команда ЦИС «Сколково» выполнила задачу высокопрофессионально, дав исключительно ценную информацию о разработках конкурентов на рынке. Эта информацию помогла нам лучше изучить технологии конкурентов и сформировать патентный план. Ещё мы зарегистрировали два товарных знака лаборатории. Из супер-существенных плюсов нахождения в статусе резидентов «Сколково» — это сниженные налоговые нагрузки, работающие, если ты вовремя подаёшь документы на их продление. Каких-то иных вливаний от «Сколково» у нас не было, всё остальное мы сами.

Кроме научной составляющей, благодаря наработанным контактам и прошлому опыту, у нашей команды есть бэкграунд в сферах парфюмерии, банков, недвижимости, ретейла и пищевых производств. Родившись из научно-исследовательского проекта, мы переросли в проект на стыке между наукой, искусством и бизнесом благодаря возможности сочетать ароматы с другими органами чувств, такими как зрение, слух, вкус и кожа. Этот бэкграунд помог продумать коммерческую составляющую проекта, и сейчас мы можем уверенно говорить о зарождении новой индустрии и технологии ароматики в медиа и маркетинге. Наши аромадиффузоры уже стоят в торговых точках в разных городах России, где вполне успешно используются. Доход от коммерческой составляющей позволяет нам развиваться без привлечения государственной и какой-либо ещё поддержки, вкладываться в производство и усовершенствование устройств, а также продолжать наши научные исследования, которым конца и края нет.

Для того чтобы генерировать выручку из проекта с аромакино, мы проработали возможность размещения продакт плейсмента в аромадорожках к фильмам и играм, например, добавить запах духов определённой марки проходящей мимо женщине в кадре, или запах кофе с возможностью быстро заказать этот кофе в той же «Лавке» или «Самокате». К фильму может прилагаться ароматизированная реклама, усиливающая впечатление зрителя и стимулирующая покупку. Это также будет приносить дополнительный доход на развитие проекта и наши исследования.

Вы не пользуетесь сторонним финансированием принципиально, или есть другие причины?

Букреев Никита: Однажды у меня был неудачный опыт разработки, где я очень мало внимания уделял коммерческой части, зациклился на исследованиях и действовал исключительно на энтузиазме. Да, это драйвит, но в один момент ты понимаешь, что успешность продукта измеряется выручкой, а не твоим вкладом в науку благодаря разработкам. Сейчас мы подходим всесторонне к реализации любого проекта с особым вниманием к финансовым вопросам. У нас мощная команда, способная решать задачи любого уровня сложности, а благодаря нашим соучредителям с огромным опытом в коммерчески успешных проектах мы переформатировали наши научные цели в коммерчески выгодные и полезные для нашего дела.

А вероятные проблемы с правообладателями фильмов и игр прорабатывали? Могут ли быть проблемы с теми, кто фильм снимал, и кто имеет на него права?

Букреев Никита: Ну, у нас нет прокатной истории. Но мы всё равно прорабатываем ещё эти моменты с юридической точки зрения. В целом мы добавляем ароматику, не влияя на картинку и звук, что и является предметом правообладания. Мы добавляем ароматами то, что есть, улучшая восприятие, что можно сравнить с различными технологиями для улучшения качества картинки, добавляемые производителями телевизоров. То есть мы не продаём самого «Аватара» и не получаем деньги за счёт показов. В случае с автоматической ароматизацией система вообще ориентируется на картинку и звук, вне зависимости от типа киноленты, то есть никак не привязана к фильмам. Запах просто работает как «подсветка».

В целом, по мере развития коммерческой истории мы хотели бы сотрудничать с производителями игр и фильмов для проработки ароматики заранее. Рано или поздно мы придём либо к производителям, либо к холдерам проката с предложением о создании совместных аромапроектов. Это уже будет совершенно другая, более интересная история. Здесь могут быть индивидуальные разработки аромадорожек к картине, особый продакт плейсмент, рекламные интеграции и прочие моменты.

Судя по устройствам в вашей лаборатории, у вас не одна разработка? 

Букреев Никита: Да, мы также проводим исследования, в том числе маркетинговые, на реакцию человека на определённые ароматы. Ароматизация — реально работающий бизнес-механизм маркетинга по увеличению продаж. Мы определяем, как тот или иной одорант увеличивает вовлечённость человека в маркетинговые стимулы. Для этого используются специальные нейротехнологии, отслеживающие, как меняется концентрация внимания человека в зависимости от запаха. Вот, например, очки, отслеживающие перемещение взгляда. Вам подаётся тот или иной запах и показывается коллаж из картинок, после чего система оценивает, что именно вы ищете взглядом после подачи того или иного аромата, на какой продукт вы смотрите, какая эмоция у вас на лице при этом и испытываете ли вы стресс. Мы работаем с крупными ретейлерами и банками в этих исследованиях, помогая формировать коммерчески верную ароматику в помещениях.

Есть ещё устройство для тренировки сомелье, дегустаторов и испытателей пищевой продукции. Оно подаёт разные концентрации аромата, а человек должен нажать на клавишу, когда стимул достигнет порога обнаружения запаха. Или здесь же тестируем уровень распознавания ароматов, когда человек должен определить, что это за запах: апельсин, лимон, грейпфрут или лайм. Также мы подаём несколько ароматов одновременно и просим наших испытуемых определить состав смеси. Ко всему прочему, это устройство помогает нам подбирать специалистов с высоким уровнем обоняния.

Устройства в базовой конфигурации ориентированы на решение научных задач, где мы измеряем абсолютную и дифференциальную чувствительность к запахам, измеряем уровень распознавания и мониторим другие метрики. Но, поскольку мы не пользуемся сторонним финансированием, мы активно продумываем все ситуации, где наши технические достижения будут полезны нашим партнёрам в реализации их задач. Наши устройства уже используются в нейрофизиологических исследованиях, например, в изучении связи обоняния с разными психологическими состояниями и заболеваниями, в том числе с депрессией и шизофренией. На малых выборках (Прим. ред — до 200 человек) мы уже выявили некоторые корреляции, полезные для медицины и психиатрии, но это пока не для публичного доступа. Эти два направления, научная и коммерческая, на текущий момент ведутся параллельно.

То есть все ваши устройства используются в научных исследованиях? 

Букреев Никита: Да, вот эти круглые! Мы изначально разрабатывали устройство, чтобы  упростить сбор данных в исследовании. В основном в подобных работах испытуемых просят либо засунуть голову куда-то, где находится аромат, или взять со стола блоттер и понюхать его. Это лишняя двигательная активность, а порой и лишний стресс для человека, влияющий на восприятие запаха и появление артефактов в записи данных. В нашем случае человек расслаблен, просто сидит, и ему подаются ароматы с нужной частотой и концентрацией. Ему не нужно делать никаких лишних движений и ничего не мешает. Дополнительно к этому мы определяем время пролёта молекулы и концентрацию, при которой человек начинает чувствовать тот или иной запах. Мы уже испытывали этот метод совместно с Лебедевым, и эти испытания показали эффективность разработки и её плюсы по сравнению с уже имеющимися инструментами.

Перейдём к технической стороне проекта. Что вы можете рассказать об этом? Есть проблемы с поставками компонентов?

Антон Васильев: Основа — микроконтроллер ESP32. Мы с самого начала работаем с китайскими поставщиками по заказу компонентов. Все они и сейчас доступны как напрямую, так и через сайты по типу Alibaba и Aliexpress, или вообще есть в свободном доступе в магазинах в Москве. Особых проблем у нас с этим нет.

Букреев Никита: Тут скорее проблемы с собственным производством. Во-первых, под наши идеи нет готовых решений, и многое приходится дорабатывать самим. Во-вторых, мы сейчас прорабатываем вопрос конвейерного производства.

Антон Васильев: Сейчас у нас промышленные образцы на руках. Это полноценное, работающее устройство, которое можно продать, сделать несколько десятков копий, но это не такая серия, чтобы можно было поставлять в магазины. Наши методы производства не позволяют делать крупные партии. В устройстве есть детали, напечатанные на 3D-принтере, но к масштабному производству мы планируем заменить их на пластиковое литьё или экструдированный алюминий. Увы, технология 3D-печати слишком медленная для больших партий. То есть часть 3D-печатных компонентов будет заменена на металлические и литые пластиковые.

Почему выбор пал на китайские микроконтроллеры? Не рассматривали российские?

Антон Васильев: Мы были бы рады использовать российские микроконтроллеры и платы, если бы они были, пускай и дороже зарубежных. Но на текущий момент отечественная промышленность вообще не нацелена на потребительскую электронику, в стране попросту нет микроконтроллеров с нужной нам периферией. В основном всё производится для космической и военной сферы и под строго определённые задачи.

Единственное, что мы можем поставить из российского, — это резисторы, конденсаторы, печатные платы, тот же «Резонит», который мы уже используем. Также у российских компаний есть проблемы с подготовкой документации. Китайские производители для сборки плат требуют всего два файла, один из которых — список с позициями из их каталога, у нас же нужно переконвертировать все специфические форматы, вручную подгонять таблицы, скидывать отдельно списки компонентов и вообще всё очень сложно.

Сейчас много поднимается вопросов про импортозамещение. Но, на мой взгляд, для развития в России производства потребительской электроники вообще нет никакого задела. По крайней мере, мне вообще неизвестны такие примеры. Если бы были подходящие компоненты, мы бы с удовольствием использовали только их и писали, что разработка на 100% из отечественных комплектующих.

Букреев Никита: Кстати, самый первый вариант устройства был сделан из спортивного снаряда для йоги. Это довольно забавная история. Мы думали над форм-фактором устройства, уже напечатали часть деталей. В один день я с женой зашёл в магазин для йоги и увидел там круглый снаряд. Решил, что именно такую форму и стоит делать. Мы оставили только каркас снаряда. По счастливому совпадению, все уже напечатанные детали подошли к нему идеально. Это стало нашим первым работающим прототипом.

А что насчёт софта? Поделитесь, на чём пишете, и другими подробностями?

Саврадым Денис: Прошивка устройства написана на C++ с асемблерными вставками для ускорения работы критических секций. В основе проекта лежит фреймворк ESP-IDF. В начале пути для управления картриджами использовали аппаратный ШИМ, но он не позволял быть более гибкими и точными, а также считать такты при подаче ароматов, что является критичным для проведения точных научных исследований. Решением проблем стало использование программной генерации управляющего сигнала, что позволило задавать точное время и интенсивность подачи аромата, также стало проще синхронизировать каналы управления между собой.

Момент с автоматизацией подачи ароматов в зависимости от картинки на экране будет завязан на нейросети, элементах машинного зрения и машинного обучения, позволяющих детектировать различные объекты и привязывать их к таймлайну фильмов. Архитектуру такого решения мы уже придумали и постепенно реализуем.

Для управления устройством в данный момент используется набор текстовых команд, которые могут приниматься с различных интерфейсов связи, что позволяет использовать устройство как дома, подсоединив к беспроводной сети Wi-Fi 2.4ГГц, Bluetooth или GSM, так и на производстве — RS-232, RS-485. При использовании беспроводной сети связь с устройством может осуществляться как с использованием протоколов транспортного уровня UDP или TCP, так и уровней приложения http(s) и mqtt(s). По просьбе заказчиков рассмотрим возможности связи через другие интерфейсы и протоколы, к примеру DMX или modbus. В перспективе планируем отказаться от текстовых команд, разработав свой протокол коммуникации, который должен решить проблему избыточности длины команд.

То есть MQTT поддерживается, и устройство можно использовать в системе умного дома?

Антон Васильев: Да, устройство работает по протоколу MQTT, встраивается в любую архитектуру. У нас, например, Node.red используется для некоторых кейсов. Это среда разработки с визуальным программированием, которая изначально задумана для серьёзных промышленных решений и часто используется в IoT. Мы сейчас из Москвы можем управлять своими устройствами, находящимися в других городах. Также можно управлять устройством через Telegram-бот, что интересно при использовании, например, в музеях и галереях как интерактивный элемент экспозиции.

Планируете в открытый доступ выкладывать наработки?

Саврадым Денис: Рано или поздно мы к этому придём. Часть информации мы опубликуем, чтобы более продвинутые пользователи могли индивидуально настраивать устройства. Но полностью выкладывать разработку в опенсорс пока не планируем. Какая-то часть будет предоставляться по запросу, может быть, для исследований.