JeVois начал развиваться как учебный проект, так как авторы поняли острую необходимость в подобном модуле искусственного зрения при проектировании в робототехнике. На текущий момент отсутствуют специализированные решения, способные работать с raspberry pi или arduino из коробки.
JeVois призван восполнить этот пробел, предоставляя самодостаточный модуль компьютерного зрения, который может обеспечить как передачу видео, так и передачу результата работы алгоритма компьютерного зрения через последовательный порт.
JeVois работает следующим образом: видео захватывается с камеры, обрабатывается на лету через алгоритм машинного зрения на собственном процессоре, а результаты передаются по USB к компьютеру и/или через последовательный к микроконтроллеру.
На компьютере JeVois обнаруживается как USB-камера. Смарт камера JeVois – это Opensource проект, это подразумевает самые широкие возможности персонализации и модификации под свои нужды. Авторами проекта заявлены три стандартных режима работы:
- Передача через USB видео с передачей через последовательный порт результата анализа видео(например, координаты и содержание любого QR-кода, который был идентифицирован).
- Передача текстовой информации без видео.
- Передача видео с пометкой наиболее интересных областей для дальнейшего анализа на более мощном ПК, например, с использованием нейронных сетей.
Технические Характеристики
Смарт-камера — это полноценный компьютер с Linux на борту. Он может работать сам по себе, без подключения к ПК или микроконтроллеру. Благодаря вентилятору охлаждения, он может работать при полной нагрузке без перегрева, сохраняя постоянную скорость процессора 1.34 ГГц.
Программное обеспечение
В приведенном в видео примере, скорость обработки алгоритма является 73 fps на процессоре смарт-камеры, то есть требуется 13.68 мс для обработки одного видеокадра. Также отметим, что процессор не полностью загружен по этому алгоритму (148.7% нагрузки, при этом 400% соответствует полной загрузки всех 4 ядер процессора). Следовательно, дополнительные алгоритмы также могут работать параллельно с анализом видео.
Примеры распознания маркера дополненной реальности (ArUco), обнаружения и распознавания объектов, обнаружения дороги для автономного вождения.
Отслеживание 120гц глаза (потоков камеры в 120 кадров в секунду, обработка выполняется при 200+ фпс)
К апрелю разработчики обещают создать сообщество и доработать программное обеспечение, которое обеспечит расширенный функционал.
Сравнение модели Raspberry Pi3
Проект JeVois отчасти стал возможным благодаря научно-исследовательским грантам от Национального научного Фонда и агентства DARPA.
Очень надеюсь на удачное развитие данной платформы, это поможет сделать качественный скачок в DIY-проектах.
Даешь SLAM для роботов!
Только зарегистрированные пользователи могут участвовать в опросе. Войдите, пожалуйста.
Комментарии (22)
GreenStore
04.01.2017 17:36В статье упомянуто MALI-400 c opencv 3.1, и в тоже время есть информация, что:
The old mali-400 does neither support opencl nor cuda(obvious, since its nvidia only). The gpu only supports opengl ES 2.0
Или эта информация уже не актуальна?
satie
05.01.2017 01:13+3Словосочетания «A33» и «mali-400» наводят на мысль, что описываемый в статье проект, возможно, строится на базе китайского SoC Allwinner A33 от печально известного китайского производителя Allwinner, который славится тем, что выпускает очень дешевые, ужасно энергонеэффективные чипы и попутно нарушает все принципы OpenSource:
— Allwinner GPL violation
— Mali-400, графический ускоритель, встраиваемый во все чипы Allwinner, чей производитель так и не удосужился предоставить исходный код своих драйверов. Энтузиастам пришлось запилить опенсорсный проект драйвера LimaGooglist
07.01.2017 14:35Согласен с вами, и по личному опьіту, мали 400 ставит жьірньій крест на єтом проекте, я когда-то на бананапи с єтим мали400 так натанцевался, что страшно вспоминать.
Saffron
05.01.2017 04:59+2Никак не могу понять, почему здесь только одна камера, а не две, три или даже четыре соосных. Стереозрение гораздо интереснее. И при этом всё равно должно обрабатываться в одном и том же месте, так как данные между собой сильно связаны и для вычислений нужен доступ ко всем глазам одновременно.
Priapus
05.01.2017 13:40Только аккуратнее с заказом подобного в Россию. Если на таможне посчитают, что это «устройство негоасного получения информации», то пожно присесть.
madf
05.01.2017 20:19Классная штука, но что-то жаба душит 65$, особенно, когда наша "Почта России" убивает содержимое (высок процент вероятности), а потом поддержка/гарантия сомнительная (уже были прецеденты, теряешь тупо бабки).
webzuweb
05.01.2017 22:25Согласен, но штука очень интересная, особенно если они впихнут в этот корпус вторую камеру и запилят стерео.
Пока в планах лишь сделать менее производительную версию без активного охлаждения, насколько я понял.
RajaKajiev
09.01.2017 10:06Мне одному показалось, что сам видео-сенсор почему-то взят весьма убогий?
ИМХО картинка ощутимо проигрывает тому, что выдаёт камера MobiusHD (сравнимых габаритов) за 70 баков.Vremenami
09.01.2017 13:35+1Высокое качество видео — скорее минус, чем плюс, в задачах компьютерного зрения.
GreenStore
09.01.2017 15:26Поясните, почему, если не сложно.
Vremenami
10.01.2017 00:46Чем больше разрешение, тем больше информации необходимо обработать. Это особенно важно при обработке потоковых данных в условиях дефицита вычислительных ресурсов. Так что изображения большого размера, чаще всего, сразу уменьшают, применяют размытие для сглаживания дефектов, обесцвечивают. Хороший пример приведён на второй картинке из поста. То, что слева — исходное изображение. На самом деле программа видит то, что справа.
GreenStore
11.01.2017 12:47Но большое разрешение понизить достаточно просто и дешево, в т.ч. с помощью аппаратных возможностей матриц.
Vremenami
12.01.2017 00:42Просто? Возможно. Дёшево? Ну уж явно не дешевле, чем изначально установить сенсор с нужным разрешением.
GreenStore
12.01.2017 16:14По-моему, нет понятия «нужное разрешение». А цены на сенсоры тоже могут быть разные, не обязательно сенсор с большим разрешением будет дороже.
RajaKajiev
09.01.2017 16:19Под качеством я подразумевал именно качество, а не разрешение картинки.
Если камера для робота, она должна давать хорошую картинку в помещении при неидеальном освещении. В видео у них картинка на уровне дешёвых веб-камер. Будет жаль, если эта деталь загубит всю идею.
Хотя и с разрешением картинки не всё однозначно(с). Допустим, задача ориентирования в реальном мире — нужно распознать метку, а она находится на расстоянии 10-15-20-50 метров. Другая задача — функция видеонаблюдения. Сами уже понимаете, да? Какой мне смысл в модуле детектирования лица или человека, если фото подозреваемого будет 16*16 пикселей?Vremenami
10.01.2017 00:25Забавно, при сравнении изображений путём поиска перцептивного хэша, часто используется интерполяция именно до размера 16*16 пикселей. Пусть этот метод плохо подходит для распознавания лиц, но совпадение интересное. Что касается темы, качество изображения, безусловно, играет большую роль, но модули с низким разрешением, чаще всего, на него не ориентированы. Они дёшевы и подходят для большинства простых задач. Для видеонаблюдения подобное устройство вряд-ли подойдёт, у него другая сфера применения.
t0pep0
С одной стороны — довольно интересно, с другой стороны — Raspberry Pi + камера + linux + OpenCV, вывод передается дальше на usb+serial port (вкратце суть устройства)
webzuweb
Именно для этого сравнение с rpi.
Существенно можно выиграть в габаритах и в неиспользованный существующего кода.
gsaw
По мне так плюсы это относительно низкая цена за готовое устройство (50-60 долларов за комплект с карточкой). Хотя конечно я не знаю, получается две RPI вместо одной, хотя неизвестно, будет ли справляться одна RPI с обработкой изображения и другими делами одновременно? Для таких чайников как я еще жирный плюс в том, что готовый софт, нужно только плагины устанавливать. Чем меньше порог вхождения, тем больше шансов, что энтузиазм не усохнет после чтения кучи мануалов. Ну и если выкристализуется какой то стандард, то может и другие производители подтянутся.