Мы используем компьютерное зрение, искусственный интеллект и технологию Intel RealSense, чтобы создать современные решения, способные помочь людям с нарушениями зрения в решении целого ряда повседневных проблем. Наш подход состоит в разработке интеллектуальной головной гарнитуры, помогающей людям с частичной или полной потерей зрения.
Модели и возможности головных гарнитур HELIOS
Головные гарнитуры HELIOS предоставляют ряд специальных возможностей для людей с нарушениями зрения, помогая им проще и увереннее выполнять различные действия и задачи.
?HELIOS Touch
Гарнитура HELIOS Touch предназначена для людей с тяжелым нарушением зрения или с полной слепотой. В этом решении применяется интерфейс HTI для передачи пользователю визуальных данных посредством тактильных сигналов. За счет этого реализуются возможности ориентации в ближайшем пространстве и уклонения от препятствий.
Трехмерная модель HELIOS Touch
?HELIOS Light
Гарнитура HELIOS Light помогает людям с ослабленным зрением. С помощью технологий дополненной и виртуальной реальности гарнитура расширяет возможности визуального восприятия пользователей. Потоки цветного изображения и данных глубины, полученных от Intel RealSense, формируют адаптируемые визуальные подсказки, помогающие при выполнении разнообразных повседневных задач.
Трехмерная модель HELIOS Light
Основное назначение HELIOS — предоставить пользователю более полную информацию об окружающем пространстве, что существенно повышает свободу движения и безопасность пользователя.
Еще одна важная функция — возможность чтения текста без использования шрифта Брайля. Гарнитура HELIOS может читать содержимое книг, журналов и других печатных материалов, например меню в ресторанах.
Кроме того, HELIOS предоставляет новый уровень контекста для личного взаимодействия за счет распознавания лиц друзей и социальных сигналов.
Описание оборудования
?Технология Intel RealSense
Камеры Intel RealSense обеспечивают съемку в цвете и измерение расстояния. Благодаря этому система HELIOS получает высококачественные данные глубины и цветное изображение. Благодаря своей функциональности, производительности и компактности эти компоненты идеально подходят для интеграции в систему HELIOS.
Камера Intel RealSense R200. Дополнительные сведения см. в этой статье
Razer Stargazer — версия камеры Intel RealSense SR300 стороннего производителя
?Тактильный интерфейс HTI*
HTI — аппаратный компонент HELIOS Touch, разработанный нашей командой. Он предназначен для преобразования визуальных данных в тактильные сигналы, обеспечивая дополнительный уровень информации, которая подается точно и ненавязчиво.
Тестовая плата HTI
?Виртуальная реальность и открытый исходный код
Razer OSVR Hacker Development Kit — платформа виртуальной и дополненной реальности с широкими возможностями настройки. Это идеальный готовый компонент для HELIOS Light благодаря использованию открытого исходного кода, возможностям расширения и удачной конструкции оборудования.
Razer OSVR HDK
?Intel NUC
Последнее поколение компактных ПК Intel — мощная платформа для выполнения программных компонентов HELIOS в реальном времени с высокой производительностью, низким расходом электроэнергии и высокой мобильностью.
Intel NUC
Программное обеспечение. Intel RealSense SDK
Пакет Intel RealSense SDK — основной программный компонент системы HELIOS. Этот пакет без дополнительной настройки обеспечивает доступ к цветному изображению с высокой кадровой скоростью, к потокам изображения глубины и инфракрасного изображения, поддерживает широкий набор алгоритмов компьютерного зрения для таких задач, как отслеживание человека, распознавание лиц, создание трехмерных карт. SDK поставляется с огромным набором образцов проектов, для него подготовлена обширная документация.
В следующем примере кода показаны основные компоненты для разработки модуля преобразования текста в речь с помощью RealSense и UWP (универсальной платформы Windows):
public async void StartRealSenseStreaming()
{
Status streamingStatus;
// Set RealSense sample reader and bind SetOcrFrame event
SampleReader sampleReader = SampleReader.Activate(senseManager);
sampleReader.SampleArrived += SetOcrFrame;
// Set RGB stream profile and device info filter
Dictionary<StreamType, PerceptionVideoProfile> profiles = new Dictionary<StreamType, PerceptionVideoProfile>();
profiles[StreamType.STREAM_TYPE_COLOR] = ColorProfile;
sampleReader.EnableStreams(profiles);
readers.Add(sampleReader);
if (currentRealSenseDevice != null)
senseManager.CaptureManager.FilterByDeviceInfo(currentRealSenseDevice.DeviceInfo);
// Set streaming status message
if ((streamingStatus = await senseManager.InitAsync()) == Intel.RealSense.Status.STATUS_NO_ERROR)
{
if ((streamingStatus = senseManager.StreamFrames()) == Intel.RealSense.Status.STATUS_NO_ERROR)
{
StatusMessage = "Streaming started";
}
else
{
StatusMessage = "Failed to stream: " + streamingStatus.ToString();
}
}
else
{
StatusMessage = "Initialization failed: " + streamingStatus.ToString();
}
IsStreaming = true;
}
private void SetOcrFrame(Object module, SampleArrivedEventArgs args)
{
// Setting current frame for OCR processing
Sample sample = args.Sample;
if (sample == null) return;
var localOcrFrame = sample.Color;
if (localOcrFrame == null) return;
lock (sample)
{
ocrFrame = localOcrFrame.SoftwareBitmap;
}
}
private async void TextToSpeech()
{
// setup OCR engine for English
OcrEngine ocrEngine = OcrEngine.TryCreateFromLanguage(new Language("en"));
// recognize text from the RealSense OcrFrame
var ocrResult = await ocrEngine.RecognizeAsync(RealSense.OcrFrame);
if (!String.IsNullOrEmpty(ocrResult.Text))
{
// setup speech synthesizer
var voice = SpeechSynthesizer.AllVoices;
using (SpeechSynthesizer speechSynthesizer = new SpeechSynthesizer())
{
speechSynthesizer.Voice = voice.First(v => v.Gender == 0);
var voiceStream = await speechSynthesizer.SynthesizeTextToStreamAsync(ocrResult.Text);
// setup playback of voice synthesis
PlaybackVoice(voiceStream);
}
}
}Тестирование и проверка
Михай Леовенау (Mihai Leoveanu) обладает врожденным тяжелым нарушением зрения, но это не помешало ему стать выдающимся человеком.
Он убежденный оптимист и один из лучших учеников в своем выпускном классе. В настоящее время он работает над дипломным проектом, посвященным оснащению исторической достопримечательности — королевского двора Тырговиште — для повышения удобства в отношении специальных возможностей. Благодаря предполагаемым улучшениям туристы с нарушениями зрения смогут получить более полную информацию об этом историческом месте.
Михай стал первым испытателем нашей головной гарнитуры.
Михай тестирует HELIOS в действии
Михай читает с помощью HELIOS
В процессе экспериментов Михай предоставил отзывы обо всех использованных им возможностях системы HELIOS. Он естественным образом воспринял новые источники информации и уже через несколько минут смог успешно пользоваться головной гарнитурой для получения более точной информации об окружающем пространстве.
Заключение
Результаты разработки и тестирования весьма обнадеживающие. Для пользователей значительно упрощаются такие задачи, как восприятие окружающего мира и чтение без использования шрифта Брайля. При дальнейшем развитии система HELIOS станет незаменимым и очень полезным помощником для людей с нарушениями зрения.
Комментарии (8)
gsaw
14.11.2016 12:36+1Я надеялся увидеть, что то вроде очков как у Джорди ла Форджа, а у видел рекламу Intel RealSense, как всегда на самом низком уровне :(
Как я понял, парень слепил в кучу что было и получил очки, которые могут определить дистанцию до объектов и повирбрировать моторчиком (тактильные ощущения) если пользователь приближается к препятствию, Определить предметы на изображении с помощью нейронной сети (искуственный интелект) и назвать их вслух. И может зачитывать все, что распознал как текст.
Согласен, первое и второе это хорошо, если оно работает. А вот последнее я сомневаюсь. Современный слепой вряд ли будет читать обычные книжки. Скорее все запустит синтезатор речи благо сейчас почти все книги в цифре. Я сколько не пробовал софт, который читает все, что на экране, все ерунда получалась. Он читает все, что видит, и то, что меня не интересует. Пока доберется до нужного места, мне все надоест. Так же в ресторане, пока оно зачитает, все, что в меню, слюной подавишься. Вот если ИИ дать почитать все меню, а потом спросить, что-нибудь мясное и ИИ тебе прочтет только нужное, вот это был бы прорыв. Хотя наверное проще спросить официанта.
MAXInator
14.11.2016 17:32Современный слепой вряд ли будет читать обычные книжки. Скорее все запустит синтезатор речи благо сейчас почти все книги в цифре.
Табличка на стене не даст запустить на ней синтезатор речи, например.gsaw
14.11.2016 18:12В статье два примера приведены. Книги и ресторан. Вы смешали их. Я имею ввиду, что если зачитывать все подряд, то это вряд ли принесет пользу. Нужен ИИ который знает, что я хочу. Что то на подобие как в гуглемобиле или машиных теслы. Что бы могло вести по улице. До того этим очкам явно далеко. парень судя по профилю в LinkedIn один занимается очками, это даже не Интел и тем более не научный проект. У него в профиле С++/C# и OpenCV. OpenCV мне кажется не достаточно.
rPman
14.11.2016 13:43где можно приобрести по адекватной цене носимую камеру, в идеале закрепляемую в наушнике и с адекватным сенсором?
просто представил, как будет странно выглядеть человек, идущий по улице с такой огромной коробкой на лице.
intel realsence — пока они не сделают свое оборудование меньше и легче на порядок, быть им только в стационарном варианте, максимум ноутбуки.
p.s. у них сенсор уже перестал шуметь?
tmin10
14.11.2016 19:24А камера в наушнике куда будет смотреть, в бок? Или наушники закрытые?
rPman
15.11.2016 00:52в торце наушника, смотреть вперед
ошибся, мне нужна не камера а быстрый видеосенсор с линзой в сборе, с подключением usb или какой-либо популярной плате по открытому протоколу (с проводами порядка 20см)
на aliexpress можно найти разные spy камеры, но они — готовое устройство, со своим аккумулятором и пишут на карту памяти, а мне нужно подключение к заметно мощному процессору (в кармане рубашки или на груди)
tmin10
Не очень понятно, что из себя представляет HTI и каким образом формируется тактильные сигналы. Фотография платы не даёт какой-то информации, а звёздочка у HTI так и не раскрыта дальше… А в этой части, как я понял, сама основа устройства.