В октябре 2018-го года компания Microsoft объявила о запуске программы AI for Accessibility с бюджетом 25 млн долларов, нацеленной на использование искусственного интеллекта для помощи людям с инвалидностью. В ходе ее реализации планировалось разработать приложения для людей с нарушениями слуха, зрения и другими формами инвалидности. Для исследователей в этой области Microsoft открыла приём заявок на получение гранта из фонда.

Возможности ИИ, которые мало актуальны для людей без физических и умственных ограничений, могут быть очень полезны инвалидам. Это касается как взаимодействия человека с окружающей средой — поиска ключей, определения цены товара на прилавке или сигнала светофора, — так и взаимодействия роботизированной окружающей среды с человеком. Пример последнего — распознавание инвалида в коляске беспилотным автомобилем. Натренированный на людях с полным набором конечностей автопилот не распознает колясочника, что может привести к трагедии.

В качестве другого примера эксперты AI for Accessibility приводят возможные продукты для предварительной оценки кандидатов на работу. Такие умные системы могут ошибочно отсеять квалифицированных работников с аутизмом или другими умственными особенностями.

Количество задач огромно: чтение рецептов лекарств, поиск безопасного маршрута, распознавание рукописного ввода страдающих болезнью Паркинсона и так далее.

Исследователи из Лондонского университета на деньги гранта Microsoft работают над проектом Object Recognition for Blind Image Training (ORBIT) для слабовидящих и слепых людей. Для ORBIT собирают видеозаписи и изображеня, на которых присутствуют важные для людей с недостатками зрения вещи. Исследования и разработка в этой области в настоящее время сдерживаются отсутствием доступных данных, которые можно было бы использовать для обучения, а затем для оценки ИИ. Для датасета собирают видеоролики, поскольку они предоставляют более полный набор информации. Также исследователи разрабатывают учебную программу, которая научит инвалидов тому, как оптимальным образом участвовать в программе улучшения ИИ. Учебная программа включает в себя методы формулирования проблем слабовидящих людей в том виде, в котором их нужно поставить перед разработчиками, так чтобы их легко было понять, и формирования тренировочных наборов данных под эти задачи.


Примеры ответов на вопросы слепых

Другой партнёр Microsoft, Техасский университет в Остине, создает набор данных VizWiz, который опирается на датасет, начавшийся как работа Университета Карнеги — Меллона. Конечная цель проекта VizWiz — показать разработчикам ИИ, какие проблемы стоят перед людьми с нарушениями зрения и как их решать.

Microsoft и некоммерческая организация Team Gleason запустили Project Insight для создания открытого набора данных изображений лиц людей с боковым амиотрофическим склерозом (БАС). Microsoft и Team Gleason утверждают, что существующие наборы данных компьютерного зрения и машинного обучения не отражают разнообразия людей с БАС. Это приводит к проблемам с точностью при опознавании лиц людей, которые искажены болезнью. Благодаря новому набору данных, распознающие алгоритмы будут ознакомлены с подобными случаями, что позволит значительно повысить их точность.

В дополнение к запуску программы AI for Accessibility Microsoft разработала новый алгоритм создания подписей к изображениям, который превосходит человеческую точность в некоторых ограниченных тестах. Алгоритм в скором времени будет включен в другие продукты Microsoft, такие как Word, Outlook и PowerPoint. Кроме того, он будет использован для обновления приложения-помощника компании для слабовидящих Seeing AI.

Ранняя версия алгоритма использовалась в приложении Microsoft Seeing AI, которое компания впервые выпустила в 2017 году. Seeing AI использует компьютерное зрение для описания мира, видимого через камеру смартфона, для слабовидящих. Приложение определяло предметы домашнего обихода, сканировало и и зачитывало текст, идентифицировало знакомых людей. Его использовали для описания изображений в других приложениях, включая почтовые клиенты, приложения для социальных сетей и приложения для обмена сообщениями, такие как WhatsApp или Telegram.


Новый алгоритм создания подписей к изображениям от Microsoft значительно повысит производительность Seeing AI. Обновленное программное обеспечение способно не только идентифицировать предметы и людей, но и более точно описывать отношения между ними. Алгоритм определяет не только объекты на изображении (человек, стул), но и характер взаимодействия между ними (человек сидит на стуле).


Microsoft предлагает клиентам получившуюся модель в рамках сервиса Azure Cognitive Services Computer Vision — компонента продукта Azure AI.