Робот распознаёт нужный сорт пива среди 20-ти образцов
Один из участников конкурса ИИ-систем Nvidia Jetson Challenge нашёл неординарное применение системе Искусственного Интеллекта. В то время как другие участники пытались применить машинное зрение в системах здравоохранения, безопасности, промышленных системах IoT и инновационных решениях робототехники, немецкие разработчики научили своего робота PAL Robotics TIAGo… приносить пиво из холодильника!
Свободный робот TIAGo («свободный» не в смысле свободы воли, а в смысле открытого программного обеспечения и опубликованного дизайна некоторых комплектующих для самостоятельного изготовления и сборки) от испанской компании PAL Robotics — это сервисный робот, предназначенный для обслуживания людей внутри помещений. Программное обеспечение создано на стандартном открытом фреймворке Robot Operating System (ROS), так что эта модель идеальна для различных исследований и экспериментов в области робототехники.
Для TIAGo доступна подробная документация, в том числе инструкции по работе OpenCV, PCL, автономной навигации, MoveIt! и системы взаимодействия с людьми. Есть готовый симулятор Gazebo для быстрого тестирования алгоритмов, проектирования робота, регрессионного тестирования и обучения систем машинного зрения на реалистичных сценариях.
Группа немецких студентов-программистов — Рафаэль Мемесхаймер (тим-лидер), Лукас Буххольд (семантическая сегментация) и Иванна Михальчишина (манипулирование) — подключили к роботу TIAGo модульный компьютер Nvidia Jetson TX2, специально сконструированный для обсчёта задач ИИ, в том числе машинного зрения.
Nvidia Jetson TX2. Фото: Nvidia
Jetson TX2 — энергоэффективный встроенный модуль для быстрых ИИ-вычислений, построенный на архитектуре Pascal. Благодаря миниатюрному форм-фактору, низкому энергопотреблению 7,5 Вт он отлично подходит для роботов, дронов, мультикоптеров, умных камер и портативных медицинских устройств, считает производитель. Модуль оборудован 8 ГБ оперативной памяти, с пропускной способностью шины памяти 59,7 ГБ/с. Для справки, вот технические характеристики Jetson TX2, а также более дешёвого модуля Jetson TX1 прошлого поколения на архитектуре Maxwell.
| Jetson TX2 | Jetson TX1 | |
|---|---|---|
| GPU | NVIDIA Pascal, 256 ядер CUDA | NVIDIA Maxwell, 256 ядер CUDA |
| CPU | HMP Dual Denver 2/2 MB L2 + Quad ARM A57/2 MB L2 |
Quad ARM A57/2 MB L2 |
| Видео | 4K x 2K 60 Гц кодирование (HEVC) 4K x 2K 60 Гц декодирование (12 бит) |
4K x 2K 30 Гц (HEVC) 4K x 2K 60 Гц декодирование (10 бит) |
| Память | 8 ГБ 128 бит LPDDR4 59.7 GB/s |
4 ГБ 64 бит LPDDR4 25.6 GB/s |
| Дисплей | 2x DSI, 2x DP 1.2 / HDMI 2.0 / eDP 1.4 | 2x DSI, 1x eDP 1.4 / DP 1.2 / HDMI |
| CSI | До 6 камер (две линии) CSI2 D-PHY 1.2 (2,5 Гбита/с на линию) |
До 6 камер (две линии) CSI2 D-PHY 1.1 (1,5 Гбита/с на линию) |
| PCIE | Gen 2 | 1x4 + 1x1 OR 2x1 + 1x2 | Gen 2 | 1x4 + 1x1 |
| Накопитель | 32 ГБ eMMC, SDIO, SATA | 16 ГБ eMMC, SDIO, SATA |
| Другое | CAN, UART, SPI, I2C, I2S, GPIOs | UART, SPI, I2C, I2S, GPIOs |
| USB | USB 3.0 + USB 2.0 | |
| Связь | 1 Gigabit Ethernet, 802.11ac WLAN, Bluetooth | |
| Размеры и механика | 50?87 мм (400-пиновый коннектор для соединения плат) | |
Эти игрушки стоят $499 и $344, а в комплекте с dev-китом ещё дороже (для учебных заведений США и Канады скидка в размере $300).
Так вот, на базе робота TIAGo и модуля Jetson TX2 немецкие студенты разработали программу автономного управления, которая находит путь к холодильнику, открывает дверцу,
распознаёт пиво с помощью нейросети семантической сегментации HomeNet (исходный код),
захватывает его манипулятором,
закрывает дверцу
и везёт пиво хозяйке.
Теперь студенты всерьёз рассчитывают получить один из призов на конкурсе — $10 000, видеокарту NVIDIA TITAN Xp, набор разработчика Jetson TX2 или бесплатный курс в Институте глубинного обучения (Deep Learning Institute). Финалистам конкурса также оплатят билеты на GTC 2018 (GPU Technology Conference) — конференцию по GPU-инновациям и Искусственному Интеллекту, которая пройдёт 25-29 марта в Калифорнии.
altcms
Какой интересный робот-опохмелятор. У него как с зарядом?
MrVVoodman
Если бы сюда еще систему заряда как у Бендера из Футурамы, то все было бы отлично!
Да и название робот-опохмелятор было бы оправдано в двойне.
Halt
Насчет заряда не уверен, но компанию составить может :)
Serge78rus
Следующий логичный этап — озаботиться автоматизацией пополнения запасов в холодильнике.
igruh
Решение уже найдено: В гостях у соседа (Виктор Голявкин). Главное — не переборщить.
iandarken
«What's my purpose?»
Iv38
Его только за смертью посылать! Но направление разработки переспективное, конечно.
crmMaster
чем дольше пивко в холодильнике, тем оно прохладней.
barbanel
-Доброе утро, мистер Старк! Я принес вам пиво!
-Это не то! Разберу, и отдам в институт на опыты!
arthi7471
Осталось научить его майнить и можно будет продавливать диван спокойно.
adios23
"- Я вижу вас насквозь, — холодно заметил робот. — Понимаю, вы подавлены
моей красотой и обаянием моего голоса — такой, потрясающий тембр! Вы
притворяетесь, будто я вам не нужен, надеясь заполучить меня по дешевке. Не
стоит, я ведь сказал, что не заинтересован."
Генри Каттнер, «Робот-зазнайка»
sergku1213
Фантастика постепенно претворяется в жизнь
SONANT
Вот я не впечатлен. Банки расставлены свободно не заставлены вчерашним супом и котлетами с вареньем, вертикально, еще и этикетками к двери, имхо так себе достижение… Лица распознают, а уж банку по этикетке… Но как для меня, пока самый полезный робот=)
Germanets
Вспоминая холодильник в семье из 4х человек — бывает что в холодильнике сходу кастрюлю можно не найти, а уж бутылку пива, да ещё и нужного — тем более… Куда уж тут роботу…
Кстати — если уж учитывать, что банки\бутылки с пивом могут стоять не только этикеткой вперёд — вполне себе можно было сделать поиск и распознавание штрихкода, ну а заодно дополнить робота возможностью найденные бутылки поворачивать…
iREXa
Это истинно немецкий холодильник. Продукты в нем не могут расставляться как попало, только в строгом порядке, этикетками вперед. В нем не бывает просроченного пива или пустых бутылок. И люди не отягощены проблемой выбора своей нормы алгоколя в зависимости от времени суток и планов на завтра. Разработчики еще слишком молоды, чтобы настолько устать от неполноценности бытия и учесть возможные отклонения от привычной немецкого нормы.
Но ИИ предполагает обучение, и поместив робота в условия российской действительности, он
в принципе должен научится выбирать не только подходящий случаю сорт пива, но и проверять его на свежеть и коррелировать количество выпитого с состоянием выпивающего.
SONANT
Действительно, ИИ способен к обучению, но тогда возникают риски, что он начнет привозить пустые бутылки, так как поймет что данный продукт лучше употребить самому чем кому-то подносить) И мы получим первые попытки ИИ к самоопределению и отрицанию зависимости от создателя…
helgisbox
А может он из благих побуждений будет выливать алкоголь и приносить пустые бутылки, чтобы не навредить человеку? Законы Азимова должны же действовать:) Кстати, как с моральной точки этот опыт сочетается: робот, не навреди человеку.
ikmsk
Наверное, было бы проще и быстрее поворачивать банку(бутылку) и сканировать штрих код.
Kopusha
Хм. А если научить его алгоритму «увидел бутылку — достал — сфотографировал — загуглил по картинке», то по идее он много чего сможет приносить? И не только бутылки)) Обучаться быстрее будет тоже, под каждого пользователя.
aelimill
Робот, которого мы заслужили :)
helgisbox
«Да если бы у меня был такой кот, я бы может и жениться не стал», — © Простоквашино, ой — кот, а робот ;)
Tachyon
Блииин, я для этого дела ребёнка завёл. Поторопился похоже.
seri0shka
— Так погоди, то есть тот парень, которому я даю денег, чтобы он ходил за пивом во время футбола — это не карликовый дворецкий?