Обучение состязательной нейросети на основе аннотированных синтетических и неаннотированных реальных изображений. Иллюстрация из первой научной работы Apple по ИИ

Представьте будущее, в котором системы искусственного интеллекта крупных корпораций будут конкурировать между собой, зарабатывая деньги для своих акционеров. Разумеется, у корпоративного ИИ основной задачей будет максимизация прибыли. Хорошо, если акционерами компании будут люди и прибыль достанется им. Программы ИИ могут анализировать рынок, определять наиболее перспективные рыночные ниши, устанавливать сотрудникам задачи по разработке новых продуктов. Возможно, ИИ может и сам генерировать продукты, но проверять их надо на людях, так что живые сотрудники всё равно необходимы корпорации для тестирования.

Такое киберпанковское будущее становится немного ближе.

Google, Facebook, Microsoft и другие крупные корпорации ведут активные разработки в области систем слабого ИИ ограниченной функциональности. Свои разработки ведёт и Apple, но до сих пор эта компания со свойственной ей закрытостью не опубликовала ни одной научной работы. Никто не знал, над чем она работает. И больше всего проиграла от такой закрытости сама Apple.

Сейчас Apple наконец-то опубликовала свою первую работу в области искусственного интеллекта. И пусть тема первой работы не такая глобальная — всего лишь улучшение качества обучения состязательной нейросети без учителя на синтетических изображениях ("Learning from Simulated and Unsupervised Images through Adversarial Training"). Важен сам факт, что в «яблочной компании» есть научно-исследовательские подразделения, которые работают в этой перспективной области. Сначала нейросети обучаются на создании красивых картинок, но затем станут решать и более сложные задачи.

Apple уже несколько лет работает над системами ИИ. Наглядным подтверждением стал голосовой помощник Siri, который появился в iPhone в 2011 году — чатбот с дополнительными функциями. Он выглядел довольно интересно для своего времени. Но за все прошедшие годы учёные из Apple не опубликовали ни одной научной работы.

По мнению некоторых специалистов, такая закрытость является причиной того, что Apple отстала от конкурентов в данной области. Это понятно. Закрывшись от коллег, исследователи из Apple не получали столь необходимой для научной работы обратной связи, отзывов, комментариев коллег. Никто не мог использовать их работу и усовершенствовать её, никто на них не ссылался. В конце концов, ведь научной сообщество — это глобальная открытая среда, где каждая работа опирается на мощный фундамент из многочисленных работ коллег. Здесь метод изоляции не работает, как в привычном Apple мире компьютерных экосистем.

В декабре 2016 года политика Apple в этой области наконец-то изменилась. 5 декабря 2016 года на конференции Neural Information Processing Systems в Барселоне выступил Расс Салахутдинов (Russ Salakhutdinov) директор по исследованиям искусственного интеллекта в Apple, который занял эту должность в октябре, придя из Университета Карнеги — Меллона. Он рассказал публике, что Apple отныне будет публиковать свои работы по ИИ, как это делают остальные компании.


Слайд из презентации Салахутдинова 5 декабря 2016 года

Apple наняла директора по исследованиям ИИ и изменила политику, потому что многие классные специалисты в этой области просто отказывались работать в «яблочной компании» из-за её закрытой политики. Какой смысл в большой зарплате, если о твоей работе никто не знает?

Чтобы компенсировать проблемы с наймом учёных, Apple сконцентрировалась на скупке стартапов. В этом году она купила Turi Inc. за $200 млн и ещё полдесятка других стартапов, в том числе индийский Tuplejump Software Pvt Ltd (специализируется на быстром дата-майнинге), Emotient (разработка систем ИИ, которые распознают и реагируют на эмоции на лице человека). От Apple можно ожидать наиболее «гуманных» разработок в сфере ИИ, то есть таких, которые взаимодействуют напрямую с человеком. Сюда вполне вписываются распознавание эмоций и реагирование на них, чем занимается недавно купленный стартап.

Первая научная работа Apple описывает технологию для улучшения качества обучения нейросети. В последнее время для обучения нейросети часто используются синтетические изображения (в состязательных нейросетях генерацией картинок занимается генератор, а их схожесть с реальностью определяет дискриминатор). Так проще составить необходимую большую базу для обучения нейросети. Так вот, исследователи из Apple нашли способ, как сделать такое обучение более эффективным, добавляя фотореализма синтетическим изображениям с помощью базы реальных фотографий и «рефайнера» (улучшателя).



Обучение нейросети на синтетических изображениях эффективно, потому что они уже аннотированы и размечены. Но обученная на них нейросеть с трудом переносит свои знания в реальный мир, вид которого далёк от синтетических картинок. Разработка Apple решает эту проблему.

Научная статья опубликована 22 декабря 2016 года в открытом доступе на сайте препринтов arXiv.org (arXiv:1612.07828). Авторы научной работы — шесть сотрудников Apple, в том числе Джош Сасскинд (Josh Susskind), сооснователь стартапа Emotient по распознаванию эмоций, который недавно купила Apple.