При использовании систем с искусственным интеллектом у конечных заказчиков часто возникает практически фундаментальная проблема — им сложно понять, как именно искусственный интеллект (ИИ) принимает свои решения. Так как специалистам компаний, которые купили эту «черную» коробочку и загрузили в нее большой объем данных, зачастую очень трудно, если не невозможно, разобраться в тонкостях работы ИИ. Тем более, что алгоритмы для этого программного продукта писали сторонние разработчики, которые не заложили в его функционал более тонкие настройки и триггеры, которые бы при нештатной работе ИИ позволяли бы быстро откорректировать параметры и исправить ситуацию без остановки работы системы и обращения в техническую поддержку.

В конце этой недели на специально посвященном разработке ИИ мероприятии в Лондоне подразделение облачных вычислений Google представило новый облачный продукт, который должен предоставить компании преимущество над разработками своих конкурентов — Microsoft и Amazon, которые доминируют в сфере облачных применений ИИ. Этот новый продукт в Google Cloud назвали «объяснимый» ИИ (Explainable AI).

Десятки тысяч компаний по всему миру ежедневно используют облачные продукты и решения Google Cloud AI, которые предоставляют их пользователям новые возможности и помогают оперативно решать их текущие задачи. В Google стремятся внедрять новые разработки в ИИ и модернизировать его архитектуру в соответствии с принципами ИИ от Google. И вот теперь компания представила «объяснимый» ИИ, который помогает пользователям понять, как именно модель машинного обучения пришла к тем или иным своим выводам в ходе обработки данных.

Алгоритм «объяснимого» ИИ Google расширен для улучшения его интерпретируемости пользователями с помощью специальных модулей-пояснений. Пояснения количественно определяют вклад каждого элемента данных в выходные данные модели машинного обучения. Используя эти модули можно понять, почему модель приняла определенные решения, также эту информацию можно использовать для дальнейшей адаптации моделей машинного обучения.

Новый метод, используемый в алгоритме «объяснимого» ИИ Google имеет свои ограничения. Так, модули-пояснения раскрывают принцип работы моделей машинного обучения, полученных на основе исходных данных, но с их помощью нельзя понять о существовании каких-либо фундаментальных связей в конечной выборке данных. В Google стремятся сделать наиболее понятные и полезные методы для объяснения работы их ИИ доступными для клиентов, но в то же время не пытаются скрывать их ограничений.

Google на стадии предварительного тестирования предоставила алгоритм «объяснимого» ИИ некоторым компаниям, которые использовали его для систем обнаружения лиц и объектов. По факту тестирования этого продукта специалисты компаний смогли добиться прироста производительности существующих систем и найти некоторые потенциальные недостатки в ранее используемых ими моделях машинного обучения. Теперь само «мышление» алгоритмов ИИ стало для пользователей менее загадочным и, следовательно, более простым для понимания и внесения нужных изменений.

По словам профессора Эндрю Мура, главы подразделения Google Cloud AI, в компании планируют в ближайшее время расширить функционал алгоритма «объяснимого» ИИ, так как многие клиенты заинтересовались этим продуктом и хотят его использовать в своей инфраструктуре. Также подразделение Google Cloud AI будет и далее раскрывать детали многих своих других инструментов для конечных заказчиков, что поможет лучше объяснить их специалистам принципы работы этих продуктов и позволит донести концепции понимания результатов машинного обучения в более понятной форме. Тем самым в Google фактически хотят оставить позади эру машинного обучения систем клиентов с помощью ИИ из «черного ящика».

Документацию по «объяснимому» ИИ (Explainable AI) от Google можно почитать тут.

На данный момент сервис Explainable AI находится в стадии бета-тестирования (Explainable AI Beta) и доступен для ограниченного бесплатного использования.

В начале ноября 2019 года сообщалось, что Google обновила свой инструмент Teachable Machine до второй версии, который могут использовать даже школьники для изучения основ и понимания работы ИИ.

В январе 2019 года о новым подходе в компании Google к пониманию мышления машин рассказывала Бин Ким, исследователь из подразделения Google Brain. И вот сейчас в Google смогли создать инструментарий, позволяющий анализировать и исследовать параметры и факторы, на которые ИИ обращает внимание при решении задачи, а на какие нет, а также насколько высокие веса при решении задачи ИИ присваивает тем или иным факторам и как можно их изменить.