Вчера Марк Цукерберг рассказал об итогах своего личного проекта, который он запланировал для себя на 2016 год. Целью основателя Facebook было создание функционального AI-помощника с голосовым управлением по аналогии с системой из комиксов и фильмов Marvel о «Железном Человеке».
Разработка Цукерберга носит то же имя, что и система из комиксов — Jarvis. При этом Марк отмечает, что создание подобной системы оказалось даже проще, чем он ожидал.
Функции голосового управления уже существуют в различных гаджетах, а некоторые компании предлагают решения в виде интеллектуальных голосовых помощников. При этом почти все эти системы слабо обучаемые и рассчитаны на массового потребителя.
Цукерберг пошел дальше. За основу был взят голосовой помощник от Amazon — Alexa. При этом основатель социальной сети собственноручно «доводил» стоковое ПО до необходимого уровня. Как итог к Jarvis были подключены различные системы умного дома, которыми оснащено жилище Цукербергов и реализован еще целый ряд возможностей. Большое значение было уделено обработке команд на естественном языке, то есть система должна была воспринимать обращения Марка и его жены Чан так, будто бы они просто обращаются к живому человеку.
В этом основатель Facebook смог добиться серьезных успехов. Используя нейросети и машинное обучение, Цукерберг смог обучить своего Jarvis различать музыкальные пристрастия хозяина. То есть, если он скажет помощнику включить музыку и поставить «что-нибудь легкое», то система выберет именно те композиции, которые придутся по душе основателю Facebook.
Другим важным достижением Марка как программиста и разработчика можно назвать то, что он научил систему различать его собственные запросы и запросы его жены. Как пример приводится ситуация, когда Чан просит что-нибудь сделать «в моем кабинете». В этом случае Jarvis, например, включит свет в кабинете Чан, а не Марка, и наоборот.
В ходе разработки код писался на Python, Objective C и PHP. Всего за 100 рабочих часов (около 12,5 рабочих 8-часовых дней) Цукерберг смог подключить к Jarvis следующие системы (причем многие не имели «из коробки» возможности общаться с другими гаджетами и устройствами):
Управление осуществляется через смартфон с использованием голосового интерфейса Alexa. Также была реализована возможность текстового управления на естественном языке в обычном чате с Jarvis. По словам Марка, это очень удобно по ночам, когда другие члены семьи спят. При этом он отмечает, что пользуется текстовым интерфейсом удивительно много:
«Когда у меня есть выбор: говорить или писать, я пользуюсь текстом гораздо чаще, чем мог ожидать. Для этого есть целый ряд причин, но, в основном, использование текста меньше тревожит окружающих тебя людей. Если делать что-то, что касается всех в помещении, например, включить музыку, то говорящий будет чувствовать себя комфортно, но большую часть времени текстовый ввод ощущается как более приемлемый. Аналогично, когда Jarvis общается со мной, я предпочитаю получать от него текстовые сообщения, а не голосовые. Если голос может отвлечь, то использование текста дает вам больше контроля: вы сами выбираете, когда его прочитать. Даже когда я использую голосовые команды через смартфон, я предпочитаю, чтобы Jarvis отвечал мне текстовыми сообщениями».
Интересным фактом является то, что Марк упоминает об эмоциональной реакции на Jarvis. По признанию главы Facebook, после начала использования голоса системой, ему хочется сделать помощника более человечным. В первую очередь добавить по-больше юмора в ответы Jarvis. Цукерберг так объясняет свою эмоциональную реакцию на помощника: он общается с ним (как голосом, так и текстовыми сообщениям), что не дает его воспринимать как просто компьютер или ПО. При этом Марк отмечает, что часто общается с Jarvis когда даже не находится дома; подключенный к системам умного дома, камерам и домофону у калитки AI-помощник может давать главе Facebook полный отчет о происходящем в его жилище.
Пока Jarvis работает через прошивку смартфона. В дальнейшем глава Facebook планирует написать Android-приложение и продолжить совершенствовать Jarvis в масштабах собственного дома. При этом в своей блогозаписи Цукерберг упомянул, что хотел бы сделать Jarvis когда-нибудь доступным для всего мира.
Комментарии (50)
Ezhyg
20.12.2016 21:43+3> Цукенберг
Вот жеж Цукен… берг (аж 10 раз Цукен и 10 раз берг) :D
sens_boston
20.12.2016 22:23+11Может, даже, Йцукен? ;)
goodbear
20.12.2016 23:12+2Что-то меня терзают смутные сомнения — в корпорациях сотни людей пилят-пилят-недопилят, а тут так все быстро да гладко, да еще все сам…
TimsTims
20.12.2016 23:35А что смущает? Обычно, тут только цена вопроса — иметь столько включаемых выключаемых штук по всему дому — это довольно дорогая штука, а управлять ею на самом деле не сложно.
Нужно лишь знание, время и деньги. И все эти качества есть в Марке :) почему бы и нет?
А корпорации пилят продукты в коробочке, чтобы можно было продать сразу в коробке с розовым бантиком — включил и забыл. Но это ведь не подход настоящих гиков!
formico
21.12.2016 03:11+4На forpda пишут обратное, — оказалось все сложно, что нет общих api, все написано на разных языках кода и пр., в итоге сложилось впечатление что проект «отрезвил» его, сейчас Марк смотрит на умный дом гораздо более пессимистично, что и понятно, я тоже энтузиазма не разделяю, и в отношении реализации и в отношении актуальности умных домов, IoT. Не стал целый час смотреть, да и с английским не айс(
swarggg
20.12.2016 23:12+15однажды дома станут столь умными, что начнут программировать своих хозяев и хвастаться друг другу:
— смотри, я своего научил отжиматься по утрам;
— а мой теперь в туалет только в 7 утра ходит.
AlexAkhremenko
20.12.2016 23:38-1Это такая ирония, что он помощника назвал Jarvis. Прям Тони Старк нашей реальности: и ИИ запрограммирует, и мини-коллайдер уровнем выровняет. Я шапочку из фольги не надеваю. Но уж больно это на пиар-компанию похоже.
aiologs
21.12.2016 00:54+5На роль Тони Старка нашего времени я бы поставил Маска скорее
AllexIn
21.12.2016 08:36Маск хороший управленец, но сам мало что делает. Так что на роль Старка не подходит.
А Цукрберг именно сам всё делает, но на роль Старка тоже не подходит, потому что Старк инеженер, а не программист.
Suvitruf
21.12.2016 13:17+2В одном из интервью Маск говорил, что в курсе всех тех. деталей в плане того же SpaceX. Так что, он как раз-таки инженер.
lenarakhmadeev
21.12.2016 10:02+2Тоже был удивлен. Прототипом киношного Железного человека является именно Маск
jusiter
21.12.2016 11:16+1да откуда вы все это берете? (не первый раз слышу). А че не джобс?
прототипом киношного жч — комиксовый жч — которого нарисовали когда маск пешком под стол ходил.
а в жизни они еще и мало общего имеют.
DenimTornado
21.12.2016 11:30+2Ну не будьте столь уж суровы. Во-первых, если обращаться к комиксам, то Маска и в планах ещё не было, когда появился Старк (Tales of Suspense). Во-вторых, тут речь скорее о том, что конкретно этого ЖЧ человека, которого сыграл Роберт Дауни Мл. срисовали с Маска. Ещё раз, не в общем смысла Тони Старка, а Тони Старка, которого играет Роберт. Как-то так.
п.с. Не Джобс, потому что не инженер, ваш К.О.
MAXInator
21.12.2016 11:32+1По словам Джона Фавро, режиссёра фильма «Железный человек» (2008), Илон Маск послужил прообразом Тони Старка, которого сыграл Роберт Дауни-младший
За пруфами в статью на вики.
solariserj
21.12.2016 15:03Странно, в 2007-2008 году, когда снимали первого железного человека о спайсХ мало кто знал, хоть уже и начала запускать первые ракеты, также и с Теслой.
А о нем более знали как основателя PayPal, хотя может в США он уже был в тренде, но к примеру я про Маска узнал из Хабра годов 2011, а про СпайсХ в 2010 с передачи Дискавери.
Я думал к Старку потом приклеели Маска, и увидев как вписался, то решили продолжить
ClearAirTurbulence
21.12.2016 00:10+3Управление осуществляется через смартфон с использованием голосового интерфейса Alexa.
Ценность Д: арвиса, ради отдания команды которому нужно доставать из кармана смартфон, включать его, куда-то тыкать, и только потом отдавать команду — cтремится к нулю… Основной прикол Джарвиса в двух вещах — он (а) всегда он-лайн и готов к труду и обороне, и (б) является пусть слабым, но ИИ. В текущей инкарнации это обычный туповатый OK Google.
gsaw
21.12.2016 01:11Амазоновая Алекса сама по себе тупая. Приходится напрягаться, что бы говорить внятно и членораздельно, хотя конечно это не мой родной язык на котором приходится отдавать комманды, но все равно.
Прикрутить свои девайсы (свет, отопление, монитор) дело плевое. Пять минут гугления, минут тридцать на установку софта и еще минут тридцать на конфигурацию. Самое трудное это выучить все комманды, что бы мозг сам их мог формировать без того, что бы задуматься. Иначе приходится сначала сформировать вопрос или комманду в своей голове и потом произнести ее четко выговаривая каждое слово. «включи эээ монитор, тьфу отопление» Алекса не поймет. Нередко она придмает из этого какую нибудь хрень и выключит свет или в лучшем переспросит, что за девайс я имел ввиду, а иногда минут пять будет тебя отчитывать. Я уже не говорю, спросить, что посложнее.
За фразой «Включи, что ли бо легкое» наверняка скрывается просто плейлист, который цукербер сам насобирал руками. Так точно можно уложиться в один час трудозатрат. Иначе я не представляю, как сеть обучалась семантической связи между «легкая музыка» и какими то произведениями, стилями.
Интересно попробовать будет google home. Насколько он будет обучаем.Izy125
21.12.2016 09:05заготовок нейронных сетей много, как вариант скормить несколько плейлистов для обучения и затратить какое-то время для полировки. К тому же, наверняка, вся музыка у него покупная и можно легко ее раскидать по направлениям, а они еще проще делятся на легкие, тяжелые.
gsaw
21.12.2016 15:31Я как то искал базу данных по музыке, но ничего толкового не нашел. Может Цукерберг с его состоянием выкупил какую нибудь базу данных у Spotify или Amazon-а? :)
Izy125
21.12.2016 16:00А возможно и я погорячился.
Хотя с другой стороны, ПО для подбора музыки по имеющийся уже есть. Возможно, он просто проработал связки:
— легкая музыка — джак, баллады и тд
-тяжелая — хэви метал и тд
А дальше опираясь на связки и уже имеющиеся композиции софтинка подбирает и ставит трек)
DyadyaMisha
21.12.2016 10:02Он случайно в Ingress не играет? )
Vinchi
21.12.2016 11:17там игры то на несколько дней — после 8 уровня ничего нового. Очень быстро надоедает ломать одни и те же порталы.
FlameArt
21.12.2016 10:02+1Самую большую гордость сейчас испытывает сценарист фильма о железном человеке, который сделал Джарвиса таким, каким мы хотим его видеть. Вот кто двигает индустрию к светлому будущему, а не миллиардные заказы ВПК\НАСА или одиночки, пытающиеся заработать на стартапах, либо на научных ценностях.
Izy125
21.12.2016 10:27стоит признать, что основные рывки науки и развития были сделаны именно в годы войн.
evocatus
21.12.2016 11:07А вот Ричард Фейнман писал, что во время войны они наукой не занимались вообще.
Izy125
21.12.2016 11:12ну, свет клином на нем не сошелся.
Хотя мельком пробежался по вики: «В 1943—1945 годах входил в число разработчиков атомной бомбы в Лос-Аламосе.». Кто-то лукавит.
MTyrz
21.12.2016 16:32У вас с Фейнманом разное понимание науки, ага.
Izy125
21.12.2016 16:55" науки и развития" — не только подразумевал науку, ага.
Создание ядерной бомбы — это так же развитие науки. В чем разное понимание тут?MTyrz
21.12.2016 18:06Нет-нет, не смею вас переубеждать. Это было бы почти кощунственно с моей стороны.
На всякий случай: судя по всему, речь идет конкретно вот об этой цитате.Так получалось, конечно, потому, что все решили работать над этой проблемой, оставив свои научные исследования. Вся наука во время войны остановилась, за исключением той небольшой части, которая делалась в Лос-Аламосе. Да и это была не наука, а в основном техника.
Izy125
21.12.2016 18:57хм… переубедить то меня как раз можно, по крайне мере я тещу себя мыслью, что могу адекватно воспринимать аргументы.
Нет, как указал выше — это кусочек из первого абзаца вики. https://ru.wikipedia.org/wiki/Фейнман,_Ричард_Филлипс
А так я не знаток его биографии и надо быть честным, «стоит признать, что основные рывки науки и развития были сделаны именно в годы войн.» — это сугубо личное мнение и вполне может быть аргументированно разрушено.MTyrz
21.12.2016 21:17Уточню: ваш оппонент видимо имел в виду приведенную мною из Фейнмана цитату.
Насколько я могу судить (я далеко не Фейнман, понятное дело), война сильно сужает горизонт планирования. Поэтому вся разработка сосредотачивается на тех направлениях, которые в ближайшее время могут принести практические плоды. Упрощая, ищется ответ на вопрос «как», при этом ответ на вопрос «что» должен быть известен заранее, с мирного времени. Рай для прикладника, но бесплодная пустыня для теоретика.
Конкретно Фейнман вместо разработки квантовой теории, которой он занимался до войны, решал фактически инженерную задачу разделения изотопов. Представьте себе Таненбаума, пишущего плагины к Джумле — тоже ведь программирование.
Теоретические предпосылки создания ядерной бомбы были сформулированы задолго до ВМВ. Собственно, не только бомбы: насколько я могу судить, практически все известные мне технологии, возникшие в ВМВ и сразу после, имели хорошо разработанную довоенную теоретическую базу. Заметный кумулятивный эффект получился впоследствии от организационных изменений в науке, да и в инженерии — но он побочен: на него не рассчитывали и не закладывались.
Примерно таковы мои соображения.
argdos
21.12.2016 12:17«В первую очередь добавить по-больше юмора в ответы Jarvis» прям как TARS из интерстеллара)
springimport
21.12.2016 22:31Хотелось бы знать как обстоят дела с рекламой. Не поверю что у автора может быть проект без баннеров.
AntonSor
Восхищаюсь. Обычно хорошие управленцы плохо пишут код. И наоборот. А тут вот оно как.
Lachezis
Зато хорошо представляют себе требования к системе :)
malbaron
Кто сказал, что он хороший управленец?
Он программист-пройдоха, оказавшийся в нужном месте в нужное время.
Или, выражаясь политкорректно, на редкость практичный технарь.
calx
del