Сотрудник компании Intel Paul Guermonprez решил совместить приятное с полезным: свой опыт разработчика он использовал для создания прототипа системы помощи плохо видящим людям средствами компьютерного зрения.В качестве аппаратной платформы он использовал очки Pivothead SMART с дополнительным модулем Live Mod Set, построенным на базе Intel Edison. В настоящий момент система умеет:

• находить и считывать баркоды, произносить голосом их описания,
• определять цвета предметов и произносить их,
• подбирать цвета, подходящие к «увиденному» цвету,
• определять лица находящихся впереди, их относительное местоположение и расстояние до них, озвучивать эту информацию в стерео.

Под катом — информация об очках Pivothead SMART, инструкция по установке системы и видео, показывающее ее возможности.

Pivothead SMART

Компания Pivothead начинала как краудфаундинговый стартап в далеком 2013 году. Своего команда добилась: хотя кое-что из заявленного до производства не дошло, главное — доступную основу для систем компьютерного зрения и дополненной реальности — они реализовали.



Базовый модуль оснащен 8-Мпикс камерой, снимающей фото и видео HD-разрешения, памятью на 8/16/32 ГБ, модулем Bluetooth 4.0 и встроенным аккумулятором емкостью порядка 400 мАч. Стоимость в самой простой комплектации составляет $200. Дополнительные модули подключаются к заушинам: это или усиленная батарея Fuel SMARTMOD, увеличивающая время записи на 40 минут, или уже упоминавшийся Live Mod Set, представляющий из себя не что иное, как плату Intel Edison, что хорошо видно, если снять с него, как на фото, защитную крышку.

Edison добавляет к списку интерфейсов еще и Wi-Fi, но, самое главное, он открывает огромное поле для творчества разработчиков, ведь инструментов, готовых библиотек и программных средств для него написано предостаточно. Этим и воспользовался Пол.

Инструкция по установке

Если у вас есть очки Pivothead SMART и вы хотите попробовать созданный Полом функционал, следуйте его инструкциям по установке.

1. обновите прошивку Edison до версии 3
2. настройте на Edison интернет
3. установите пакеты с repo.opkg.netupgrade, но не все, иначе ядро не будет нормально работать
4. установите пакеты: opkg install fswebcam nano espeak ffmpeg-x264-presets gps-utils htop git lighttpd ofono opencv opencv-dev opencv-staticdev opencv-apps opencv-dev opencv-samples opencv-samples-dev python-opencv python-pip python-numpy zbar mjpg-streamer gstreamer1.0-plugins-good-interleave gstreamer1.0-plugins-good-audiofx
5. установите пакеты: npm install -g fs sleep tinycolor2 array-unique striptags color-namer color-scheme onecolor util request shelljs-nodecli linux-input-device canvas okrabyte ocra.js
6. распакуйте исходники
7. настройте вебсервер на порту 81, корневым сделайте каталог /home/root/www/, отредактировав файл /etc/lighttpd.conf
8. протестируйте камеру: fswebcam -d /dev/video0 /home/root/www/shot.png и наберите в браузере http://EDISON_IP:81/shot.png

Перейдите в pivothead-intel и запустите одну из демок из командной строки: node demo_barcode.js.

Видео демонстрация