Проблема доверия предсказаниям, сделанных моделями машинного обучения, становится все более и более актуальна. Чем существеннее решение, принимаемое на основании этого предсказания, тем меньше доверия. Вызвано это в первую очередь тем, что далеко не всегда понятно, что же повлияло на конечное решение, не было ли смещения в исходных данных, на которых обучалась модель, и не сделал ли разработчик ошибки при расчете параметров. Проверить всё это вручную на практике не представляется возможным, поэтому зачастую руководству легче не внедрять ИИ вообще.

А что, если автоматизировать этот процесс?

Представляем Watson OpenScale – облачное решение, позволяющее не только контролировать качество ваших моделей, но и отслеживать наличие предвзятости в предсказаниях, обнаруживать и устранять их причины.

Расскажем что это такое, и где научиться с ним работать.

Предвзятость — скрытая проблема ИИ

Представьте, что вы смотрите футбольный матч и кто-то спрашивает вас о том, кто был лучшим игроком в 2018 году. Что бы вы ответили? Остановитесь и подумайте секунду, прежде чем читать дальше… Если бы вы были фанатом Аргентины, вероятнее всего сказали, «Месси», если бы фанатом Португалии — ваш ответ был бы «Роналдо». Кто-нибудь другой сказал бы, что Месси лучше всех, или может быть, Дзюба. Каждый из этих ответов (включая тот, что появился у вас в голове) отражает предвзятость, присущую каждому человеку, отвечающему на этот вопрос. Она может быть вызвана восхищением непосредственно самим игроком, или командой в целом, а может определенными чувствами к стране, за которую выступает команда.

Предвзятость, как осознанную, так и неосознанную можно найти практически во всех аспектах нашей деятельности. Когда дело доходит до принятия решений, в том числе и алгоритмами искусственного интеллекта, предвзятость может иметь весомые последствия. Рассмотрим банк, использующий ИИ для распознавания мошеннических действий. Представьте, что сотрудник, разрабатывающий эту модель, использовал датасет, в котором все мошеннические транзакции были совершены людьми определенного пола, национальности или уровня достатка. Тогда, с большой долей уверенности можно сказать, что модель, которая обучена на подобных смещенных данных будет учитывать это смещение в своих предсказаниях. Причем, поскольку метрики, описывающие эту модель (precision/recall) будут близки к идеалу (ведь проверка проходит на подвыборке из того же датасета) — сотруднику будет крайне сложно обнаружить наличие предвзятости в результате работы алгоритма. В итоге подобная модель, даже несмотря на прекрасные значения метрик, будет работать крайне плохо, помечая, как мошеннические, действия, которые такими не являются и наоборот, пропуская действительно опасные транзакции. И всё это из-за смещения (предвзятости) в исходных данных, на которых модель обучалась.

Еще большей проблемой может стать наличие предвзятости в результатах работы модели, при отсутствии какого бы то ни было смещения в данных. Это может быть вызвано ошибкой при распределении весов параметров, или результатом нелинейных преобразований в ходе обучения или дообучения модели. Поэтому очень важно не только найти предвзятость на этапе предобработки данных, но и постоянно следить за предсказаниями во время тестирования и использования в продуктиве, чтобы не допустить появления предвзятости в результатах работы алгоритма.

Именно из-за подобных проблем ИИ выглядят ненадежными в глазах многих владельцев компаний.

А может ли ИИ помочь улучшить ИИ?

IBM предлагает облачное решение Watson OpenScale, позволяющее непрерывно следить за работой моделей и обнаруживать предвзятость в предсказаниях в режиме реального времени. Оно не просто обнаруживает факт появления проблем, оно находит причину их появления и предлагает вариант того, как нужно исправить исходные данные, чтобы избежать появления предвзятости в предсказаниях. IBM Watson OpenScale позволяет непрерывно контролировать работу модели, проверяя её на наличие предвзятости.

Ещё одним большим вопросом для компаний, использующих модели искусственного интеллекта, является черный ящик алгоритма (black box nature of the models). Как владельцу бизнеса проверить, что ИИ принимает верное решение, базируясь на правильных данных? Как объяснить “поведение” модели искусственного интеллекта? Отсутствие “простых” ответов на эти вопросы — это большая проблема, с которой столкнулись специалисты в последнее время. IBM Watson OpenScale позволяет решить её. Готовое предсказание, сделанное моделью, IBM Watson OpenScale сопровождает двумя разными пояснениями, которые позволяют понять поведение алгоритма. За счет этого появляется вполне осязаемый шанс повысить уровень доверия у руководителей и, как следствие, ускорения внедрения ИИ в бизнес.

Итак, что же все-таки такое Watson OpenScale?

— Облачный сервис, доступный в IBM Cloud
С бесплатным использованием в рамках Lite account

— Мониторинг и отслеживание результатов работы модели
Измерение скорости работы модели и трекинг результатов в проекции на бизнес цели, с понятным и удобным графическим интерфейсом


— Подстройка моделей для бизнес целей
Бизнес-результаты работы модели постоянно работают на подстройку данных для улучшения результатов работы моделей машинного обучения



— Управление и расшифровка работы модели
Поддержка соответствия нормативным требованиям с помощью отслеживания и объяснения решений ИИ в бизнес процессах, а также интеллектуальное обнаружение и исправление ошибок для улучшения результатов.

Хотите протестировать свою модель на предвзятость с помощью IBM Watson OpenScale?

А может быть, узнать почему она приняла то или иное решение на конкретных данных?

Приходите 9 июля на бесплатный однодневный практический семинар в Москве, и вы сможете:

• Познакомиться с принципами и особенностями обучения и работы нейронных сетей
• Обучить нейронные сети разных типов, используя предоставленные датасеты и подробные инструкции
• Протестировать работу нейронных сетей, используя платформы Watson OpenScale и open source библиотеку IBM Adversarial Robustness Toolbox (IBM ART)
• Попробовать возможности ИИ для быстрого создания моделей нейронных сетей с помощью механизма NeuNetS

Вся обработка данных проходит в облаке IBM — вам потребуется лишь лэптоп и браузер. Регистрация и подробная информация — по ссылке.