Google недавно провела конференцию, на которой представила очередные новинки, среди которых настоящий фурор произвела камера Google Clips. Представьте себе обычный цифровой фотоаппарат: смотрите в дисплей, корректируете настройки, нажимаете кнопку, чтобы сделать картинку… Так вот, в Clips ничего этого нет! Вместо человека за фотографию здесь отвечает искусственный интеллект, а вам остается только смотреть на клипы, которые получились в итоге. Дисплея у камеры нет вообще – она сама смотрит на мир своей линзой, и думает, что бы такого снять.


Акции GoPro на следующий день после представления Google Clips упали на 5% и до сих пор не вернулись к прошлым уровням. А AI в камере уже поверг в шок Илона Маска — тем, что он теперь «даже не пытается казаться невинным». Бандеролька смотрит, откуда весь этот шум.



Что за зверь


Google Clips — маленький пластиковый девайс, квадратик со сторонами по пять сантиметров, который можно закрепить на рубашке как клипсу или поставить на стол. Внешне камера похожа на иконку Instagram, выскочившую в реальный мир. Цвет — белый спереди и бирюзовый сзади.


Чтобы включить устройство, нужно всего лишь повернуть объектив. Дальше, по замыслу Google, вы можете забыть о камере. Clips сама отслеживает все, что происходит в ее 130-градусном поле зрения и записывает семисекундные клипы того, что ей покажется интересным. Со временем девайс запоминает лица и пытается делать больше снимков «знакомых» людей и меньше снимков случайных прохожих. Этот же AI распространяется и на животных. Незнакомую чужую кошку, прожегавшую мимо, Clips не заснимет, если та не сделала чего-нибудь особенного. А вот вашего любимого питомца — пожалуйста, достаточно тому красиво повернуть голову или поднять лапу.


Google считает, что это будет очень мило: оставлять камеру присматривать за детьми или питомцами и возвращаться к нащелканным клипам с самыми забавными моментами. К тому же, камера перенимает привычки своих хозяев и со временем узнает лица тех людей и животных, которые часто попадают в её объектив.

На традиционную камеру девайс похож разве что наличием объектива. Тут нет привычного затвора и видоискателя, устройство не предназначено для того, чтобы его держали в руках. Все, что есть — это силиконовая клипса, благодаря которой девайс можно ставить на горизонтальную поверхность или прикреплять к одежде под любым углом, и порт снизу для подзарядки. Клипы переносятся на смартфон по Wi-Fi и открываются там в специальном приложении. Между ними можно свайпать, чтобы оставлять понравившиеся кадры. Также есть секция с теми снимками, которые система считает «менее интересными». Клипы экспортируются в JPEG, GIF, видеоформаты и Motion Photos (для смартфонов Samsung).


Как искусственный интеллект в Google Clips принимает решение о съемке? На презентации Джастон Пейн, глава команды разработчиков девайса, описал ход мыслей машины так:

Всё начинает с вопроса: “Есть ли в кадре лицо? Знаю ли я это лицо? Есть ли у этого лица определенные свойства? Открытые глаза, улыбка и тому подобное”. Дальше ИИ задумывается о том, насколько хорошо сейчас будет выглядеть кадр. Подходящее ли освещение? Будет ли кадр размытым?
На самом деле, все, конечно, немного сложнее. Например, у Clips есть необходимость в новизне: она постарается не давать вам одно и то же и учитывать те снимки, которые вам понравились.


Пользователь также может выступить в качестве оператора. Спереди, под линзой, есть маленький затвор, при нажатии которого делается клип. А в приложении на смартфоне работает «прямой эфир». Можно видеть всё, на что смотрит камера, и удаленно приказать ей начать снимать.



Большой Брат следит за тобой


После презентации в США, естественно поднялся шум по поводу шпионства со стороны Google. Мол, ставить всевидящее око в своей комнате, которое еще и что-то там себе думает, — жутковато. Есть и другой лагерь — тех, кому дизайн-камеры кажется очень милыми, так что заподозрить такой няшный объект в слежке им кажется кощунством. Google уверяет, что вам всегда будет ясно, если камера делает снимки, потому что у неё будет моргать белый светодиод.


Пытаясь избежать лишних слухов, разработчики также сделали все возможное, чтобы защитить личную информацию пользователя. Во-первых, вся работа Clips проводится локально. Она не отправляет никаких данных к гугловскому «надмозгу», кроме изображений, которые вы сами сохраняете в Google Photos. Распознавание лиц тоже осуществляется силами самой камеры. Она не знает, где живет человек, и не сопоставляет лица с именами в какой-нибудь базе. Во-вторых, созданные клипы никуда не отправляются. Они хранятся на камере — пока та не синхронизируется с вашим смартфоном, и вы сами не попросите их просмотреть. В-третьих, эти клипы зашифрованы. Если клипса вдруг упадет с вас во время прогулки, люди не смогут просмотреть то, что находится у неё под коробкой.


Кстати, об этом…

Что внутри


В отличие от умной колонки Google Home, которая полностью полагается на подключение к облаку, Google Clips — вполне автономный объект. Она смотрит на то, что творится вокруг, выбирает момент, делает снимок, пересылает его на смартфон – и все это своими силами. Для девайса размером чуть больше спичечного коробка возможности очень внушительные. Об этом рассказал Реми Эль-Уаззана, глава команды Intel, работавший над маломощным процессором обработки изображений (VPU) для Clips:

Мы все удивились, сколько интеллекта Google смогла вместить в такой маленький аппарат. Эта умная камера показывает уровень встроенного ИИ, о котором раньше мы могли только мечтать.

Чтобы электронный мозг, работающий внутри Clips, научился отличать хорошую фотографию от плохой, Google сотрудничала с профессиональными монтажерами и целой армией оценщиков изображений. «Нет такой модели машинного обучения, которая могла бы сказать: вот по полу ползет ребенок, наверное, это выглядит хорошо, — объяснил Джастон Пейн. Поэтому Google собрала терабайты собственного видео. А потом оценщики выставили ему баллы, оно было промаркировано и стало тренировочной базой для искусственного интеллекта. Со временем девайс начал понимать психологию людей, чувствовать, что им нравится, что им интересно. Этот процесс не завершен: поставляющаяся с завода Google Clips всё еще продолжает учиться. Если доставить две идентичные камеры вам и вашему другу, через пару недель они начнут снимать разные вещи.



У машинного обучения методом Google есть и недостаток. Пока что Clips хорошо распознает только людей и животных (на самом деле только кошек и собак – хомячки или домашние свинки камере не интересны). Вы не можете взять девайс в отпуск и надеяться, что она будет в восторге от заката или наделает клипов с колышущимися пальмами. Со временем Google собирается расширить модель машинного обучения, сделать так, чтобы она поддерживала больше ситуаций, была способна понимать мир.


Что касается технических спецификаций, устройство оснащено сенсором с 12 Мпикс; оно способно записывать серию кадров на скорости 15 fps. Внутреннее хранилище – на 16 ГБ кажется очень скромным, но на деле этого достаточно, чтобы хранить два полных дня клипов. Микрофона нет, девайс может записывать только изображения. Батареи хватает на плюс-минус три часа активной работы — зависит от того, есть ли что-то интересное, что она может снимать. Если ничего нет, камере, как говорят представители Google, «становится скучно».


Сухой остаток


Пока что Clips умеет работать только со смартфонами Pixel, iPhone, Samsung Galaxy S7 и Galaxy S8. Руководители проекта обещают, что поддержка других смартфонов тоже не за горами. Официальной даты выпуска камеры на презентации не назвали. Мы знаем только то, что она будет стоить $249 и появится в продаже в США в «ближайшем будущем».



Google ожидает, что девайс будет востребован у молодых семей, владельцев собак или кошек и просто тех, кто хочет интересных снимков, но слишком занят, чтобы сидеть и ждать идеального кадра. У Clips есть потенциал объединить в себе функции GoPro, обычной «мыльницы» и камеры для «лайфлоггинга». Смущает только невысокое качество снимков. Но все обзорщики, которые получили доступ к девайсу, соглашаются, что искусственный интеллект в нем — это не маркетинговая уловка, а действительно вполне полезный и интересный помощник. Ставишь камеру в комнате и спокойно играешь со своими детьми, забыв обо всём лишнем. А через пару часов на камере полно клипов с самыми интересными моментами.


О поставках Google Clips в Россию речи пока не идет. Но все остальные популярные гаджеты, включая подешевевший «седьмой» или новый «восьмой» iPhone, из США по самым выгодным тарифам доставляет Бандеролька. Экономьте деньги, покупая девайсы напрямую в Америке. До 31 октября мы бесплатно помогаем оформить заказы в 7 американских магазинах (там можно прикупить, например, хорошую одежду по адекватным ценам). А читатели Geektimes, регистрирующиеся по этой ссылке, получают скидку 7% на свою первую доставку. Впереди Чёрная пятница, пора начинать готовиться!




Еще несколько статей от Бандерольки:


Комментарии (24)


  1. wtigga
    27.10.2017 10:50

    Во-первых, вся работа Clips проводится локально.

    А вот это очень здорово. Теперь реально задумаюсь о покупке такого девайса. От вычисления всего и вся на непонятных серверах и работе только с интернетом уже тошнит.


    1. Fagot63
      27.10.2017 13:54

      Уже пару месяцев не могу подловить своего кота с высунутым языком, после бега. Выглядит очень потешно в этот момент, возможно даже куплю такую.


    1. Darka
      27.10.2017 15:40

      Это в первой версии, в следующей они сделают «более умную» камеру с интеграцией с Гуглом.


  1. Sdima1357
    27.10.2017 11:02
    -1

    Отлично, появилась камера робот которая сама будет снимать фотки. Ждём робота от гугла который сам будет смотреть фотки. Человек тут должен оплачивать камеру и носить ее пока не появится робот от гугла который и этим займётся


    1. ariklus
      27.10.2017 12:20

      Ну, настройку выдержки, контрастности и прочих параметров снимка в потребительском сегменте и так уже отдали роботу. Если робот еще и может подловить хороший момент — то почему бы и нет.

      Хотя правда, с того времени как бездушные машины сделали так что один снимок занимает меньше получаса фотография уже не та…


  1. dext63r
    27.10.2017 11:38

    Хм…
    А девайс имеет право на жизнь.
    Прям для таких лентяев как я.


  1. eagleivg
    27.10.2017 11:38

    Осталось выпустить бота, который будет на основе нейросети оценивать няшность снимков и ставить лайки в соцсетях.

    — Вы че? А, это вы и пальцы за меня загибать будете?
    — Ага!
    — Эй, эй! Алё! стоп! Вы что это? И конфеты за меня есть будете?
    — Ага!
    Вот где замечательно обыграны все проблемы с ИИ:)


    1. DrZlodberg
      27.10.2017 14:23

      Ждал этого комментария.
      А по делу — относительно недавно уже была статья, где сетку учили обрабатывать фотографии (кстати тоже с гуглопанорам. Не помню, не они ли тоже поучаствовали). Плюс АИ фильтры от адоба (недавно где-то статья проскакивала про следующее поколение интеллектуальных подчищателей). Так что скоро это может перестать быть шуткой.
      Главное чтобы она сама ещё и в сеть это не выкладывала. Или даже не сообщала сразу «куда следует» «если вдруг что». А то ведь с современными тенденциями кто-нибудь может и до такого додуматься. На полицейских камеры много где давно висят, а тут можно и на остальных повесить.


      1. green_worm
        30.10.2017 10:15

        Ага, а если снимет что-то совсем интересное (ну с кем не бывает, забыли выключить или решили посмотреть, как это со стороны), то после обработки выкладывает не просто в сеть, а на целевой ресурс. Порнохаб, к примеру… =)


        1. DrZlodberg
          30.10.2017 10:59
          +1

          Кстати да, без этого не зачёт. :)


        1. ingumsky
          31.10.2017 11:03

          Собственно, когда пару недель назад устройство было анонсировано, это было первой мыслью. Идея такой камеры мне по-прежнему кажется сомнительной.


    1. Darka
      27.10.2017 15:44

      Я такой написал на пыхе пару лет назад, который брал фотки из профиля вк, отправлял их на апи какой-то лаборатории в Швейцарии и ставил лайки аватаркам.


  1. vassabi
    27.10.2017 12:06

    а мне интересно про нейросеть внутри — как убедиться, что она сама там "в коробочке" обучается? И что на нее не будет влиять например "25й кадр" (или — что она будет любить фоткать, если ей устроить марафон мыльных опер)? Как сбросить ее настройки обратно в заводские или прошить новую (свою) версию ?


    1. Sadler
      27.10.2017 12:18

      Вряд ли они переучивают саму нейросеть, скорее всего отдельно от нейросети есть база с известными ей лицами (в виде, скажем, коэффициентов одного из внутренних слоёв сети), что подтверждается отсутствием реакции камеры на домашних животных, отличных от кошек и собак. Таким образом достигается определённый уровень подстройки при стабильно обученной сети и низком энергопотреблении.


      1. vassabi
        27.10.2017 12:38

        на вопрос "как такое можно сделать" я знаю ответ. Я не знаю — как именно это сделали у Гугла. И какие там предусмотрены каналы и параметры для изменений/управления.


  1. Electrohedgehog
    27.10.2017 13:12

    Илон Маск повергнут в шок. Лежит на полу своего кабинета в позе эмбриона и повторяет: «Камера… Искусственный Интеллект… Камера… Искусственный Интеллект… »
    Вы прочтите, пожалуйста, в Википедии что такое шок и чем он отличается от поста в Твиттере. Или уж сразу на РенТВ идите работать, чего таланту пропадать.


    1. vassabi
      27.10.2017 13:39

      Кстати, про шок — вот ранее можно было услышать мнение Маска про ИИ, но наконец-то можно услышать и мнение ИИ про Маска. Да, это пока не полный ИИ, а всего-лишь рекуррентная LSTM, но ей уже есть что сказать — и "если вы будете вести себя хорошо, то мы тоже будем" не очень похоже на "три закона роототехники" ....


      PS: только сейчас заметил, что там по ссылке два ролика — вверху рекламный, а внизу под статьей — самО интервью. Тем более забавно, что эту фразу из рекламного ролика вырезали.


  1. super-guest
    27.10.2017 18:49

    Напомнило фильм Сфера (The circle). А думал ещё лет 5-10…


  1. wildlion
    28.10.2017 15:11

    Будет со временем узнавать лица животных? Это статью, наверное, тоже Гугл переводил?


  1. ebragim
    28.10.2017 19:05

    И ни слова про автономность…


  1. robux
    29.10.2017 21:09

    Google уверяет, что вам всегда будет ясно, если камера делает снимки, потому что у неё будет моргать белый светодиод.
    Это значит, что когда юзер и майор снимают одновременно, то светодиод моргает, а когда только майор (всё остальное время), то светодиод не моргает.
    Микрофона нет.
    Для юзеров объявлено, что микрофона нет. Но для майора есть встроенный в интегралку микрофон.
    Вся работа Clips проводится локально… созданные клипы никуда не отправляются. Они хранятся на камере — пока та не синхронизируется с вашим смартфоном.
    Вот как раз в этот момент клипы и отправляются на центральные сервера, так как сегодня все гаджеты и роутеры находятся под контролем Центра, как на программном уровне, так и на аппаратном.


  1. AlexanderG
    30.10.2017 14:51

    Если её научить определять, что с человеком что-то не то, то может получиться не только стрёмный, но и полезный девайс, например, для ухода за больными и стариками, или для случаев, когда тебе 31 и у тебя случился инсульт.


  1. John_Twiiick
    31.10.2017 09:19

    Оставлять камеру присматривать за детьми… да, в будущем уже нет места доверию.


    1. ariklus
      31.10.2017 13:27

      Для СЛЕЖКИ И КОНТРОЛЯ есть модели с прямой трансляцией и возможностью крикнуть «а ну отошел от розетки и положи спицы где взял!». Тут скорее прикольные фоточки ребенка, оставленого в манеже.