Книга «Машинное обучение для приложений высокого риска» — практическое руководство для ML-аналитиков и разработчиков, работающих с ИИ в критически важных сферах. Авторы разбирают сложную тему, по которой не так-то много информации в сети, подробно описывают, как снижать риски, обеспечивать прозрачность моделей и соответствие нормативным требованиям. Рассматриваются реальные кейсы, инструменты типа XGBoost и подходы NIST к управлению рисками. Это издание особенно полезно тем, кто работает над проектами внедрения ИИ в здравоохранении, финансах и госуправлении.

***

Традиционно для наших рецензий, она начинается со ссылки на страницу рецензируемой книги. «Машинное обучение для приложений высокого риска: подходы к ответственному искусственному интеллекту» — это новинка лета 2025 на сайте издательства БХВ.
? Напомним, что на все книги по компьютерным технологиям от издательств «БХВ Петербург», «Alist» и «Фолиант» доступен промокод SSPSOFT на скидку 25% как подарок читателям Хабра от нашего блога.

Читательская аудитория 

Эта книга рассчитана на специалистов со средним и высоким уровнем подготовки. Она не вводит читателя в основы машинного обучения, а сразу погружает в практические и теоретические аспекты управления рисками в ML — от нормативных требований и интерпретируемости до тестирования безопасности и борьбы с алгоритмическими искажениями. 

Чтобы комфортно работать с материалом, читателю нужно уверенно ориентироваться в терминологии и базовых алгоритмах, а также иметь практический опыт в работе с моделями, например, в XGBoost или PyTorch.

Авторы разместили репозиторий с упражнениями и примерами кода из книги на GitHub. Обязательно загляните туда!

Почему тема книги актуальна: ИИ отдают все больше зон ответственности

Когда в 2020 году начался настоящий бум прикладного искусственного интеллекта, большинство моделей машинного обучения использовались в задачах, где последствия ошибки были относительно безобидными. Генерация текста, сборка видео и его озвучивание, качественный машинный перевод между языками, оценка пользовательских предпочтений в онлайн-торговле или помощь в сортировке заявок в колл-центрах — все это делалось быстро и дешево. Ошибся ИИ, выдал что-то несуществующее как правду — не беда: пусть статья получилась слабой, перевод неточный, товар предложен не тот — пользователь, скорее всего, просто пожмет плечами, попробует другую нейросеть или возьмется править результат от ИИ вручную.  

Но очень скоро оказалось, что ИИ-инструменты можно применять в куда более чувствительных и рискованных сценариях. Началась интеграция ИИ в медицину: от диагностики заболеваний на основе снимков КТ и МРТ до прогноза развития хронических состояний. Модели начали использовать для принятия решений в экономике на уровне крупных корпораций — например, в управлении кредитным риском, расчете страховых тарифов, отборе кандидатов при найме и в цепочках поставок.

Все чаще алгоритмы стали применять в правовых и социальных системах: от прогнозирования вероятности рецидива у заключенных и расчета залогов до выявления мошенничества в социальных выплатах. Не остались в стороне и системы безопасности: ИИ используется для оценки потенциальных угроз, в том числе в контексте кибербезопасности. А в сфере городского управления ИИ помогает принимать решения об оптимизации трафика или распределении ресурсов экстренных служб.

Во всех этих случаях ошибка алгоритма уже не просто «неловкий момент». Это потенциальные техногенные риски, финансовые потери, а иногда и угроза здоровью или даже жизни. И именно поэтому к таким приложениям машинного обучения нужны иные подходы — гораздо более строгие, прозрачные и этически обоснованные. Об этих подходах и рассказывает книга Патрика Холла, Джеймса Кертиса и Парул Пандей — «Машинное обучение для приложений высокого риска: подходы к ответственному искусственному интеллекту», впервые переведенная на русский язык.

О популярности книги говорит тот факт, что “Machine Learning for High-Risk Applications” переведена на немецкий, французский, испанский, китайский и корейские языки. Русское издание теперь в хорошей компании.

Аннотации к главам книги “Машинное обучение для приложений высокого риска”

Давайте посмотрим на аннотации к каждой главе этой книги. Русское оглавление книги можно загрузить на сайте БХВ Петербург. А ниже — аннотации к главам, чтобы вы могли оценить содержание книги до момента ее покупки. 

Первая часть книги — про управление рисками в машинном обучении. В каждой аннотации будет сделан акцент на практическую пользу для аналитиков и разработчиков.

Глава 1. Современное управление рисками в машинном обучении
Глава знакомит с зарубежными (для России) правовыми и регуляторными инициативами в области ИИ — от проекта закона ЕС до рекомендаций NIST и практики Федеральной торговой комиссии США. Аналитики и разработчики найдут здесь ориентиры для адаптации своих моделей под будущие требования по прозрачности и безопасности. Также подробно рассматриваются концепции управления рисками традиционного финансового моделирования и предлагаются способы их адаптации к более динамичной и подверженной сбоям практике ML — включая приемы, заимствованные из ИБ: оценка отказоустойчивости, модели угроз, проверка процессов. Заканчивается глава кейсом о провале алгоритмического сервиса iBuying компании Zillow — с разбором причин и рекомендациями по улучшению процессов принятия решений в ML-проектах.

Глава 2. Интерпретируемость и понятность моделей машинного обучения
Глава представляет авторский обзор интерпретируемых моделей и методов постфактум объяснения (post hoc explanation). В центре внимания — семейство обобщенных аддитивных моделей (GAM), а также деревья решений, линейные модели и другие прозрачные алгоритмы. Рассматриваются ключевые методы объяснения: SHAP, суррогатные модели, графики зависимости, кластеризация предсказаний. Критически обсуждаются ограничения популярных техник и возможные ошибки при их интерпретации. Особый акцент делается на сочетании интерпретируемых моделей и постфактум объяснений в производственной среде. Заканчивается глава анализом кейса о скандале с автоматической проверкой экзаменационных оценок в Великобритании (для нашего ЕГЭ этот кейс тоже м.б. актуальным).

Глава 3. Отладка моделей машинного обучения для обеспечения надежности и безопасности
Глава раскрывает, как систематически тестировать и отлаживать ML-модели, чтобы они вели себя предсказуемо в реальных условиях. Рассматриваются вопросы воспроизводимости, качества данных, спецификации моделей, тестирования кода и обнаружения типичных багов — например, утечек таргета, переобучения или сбоев на т.н. «краевых» кейсах. Также обсуждаются методы анализа остатков, чувствительности, построения эталонных моделей. Заканчивается глава кейсом о смертельной аварии с участием автономного автомобиля Uber и последствиях слабой валидации моделей в критичных системах. В целом, глава учит системному подходу к отладке, дает конкретные методы и метрики для тестирования моделей в условиях неопределенности и ограниченного контроля над данными.

Глава 4. Управление смещением и предвзятостью в ML-моделях
Глава соединяет социотехнические и технические аспекты проблемы ИИ-предвзятости в моделях. Рассматриваются виды и источники bias — системный, статистический, человеческий. Дается краткий юридический контекст (в том числе определения ISO и NIST). Подробно разбираются подходы к тестированию на смещение: по результатам, по качеству предсказаний, по группам пользователей. Отдельный раздел посвящен стратегиям смягчения предвзятости — от консервативных до передовых: двухцелевые (dual-objective) модели, adversarial-базированные подходы, приемы на стадии пред-, в- и постобработки. В главу включен кейс о баге в Twitter, связанным с алгоритмическим bias.

Наша справка: термин Алгоритмический bias (algorithmic bias), описываемый в книге — это систематическая ошибка в работе модели машинного обучения, которая приводит к несправедливым, необъективным или дискриминирующим результатам для определенных групп пользователей.

Глава 5. Безопасность машинного обучения
Глава вводит базовые концепции компьютерной безопасности применительно к ML — в том числе модель CIA (конфиденциальность, целостность, доступность) и концепт  «мысли как атакующий». Подробно разбираются типы атак: на целостность (манипуляция выводами), на конфиденциальность (извлечение информации), а также общие угрозы — от утечек данных до пенетрации выборки. Обсуждаются меры противодействия: от мониторинга и отладки до устойчивого обучения (robust ML). Глава завершается анализом реального случая обхода модели и извлечением практических уроков, помогает проектировать ML-системы, устойчивые к атакам и защищенные по стандартам кибербезопасности.

2-я часть книги (Главы 6-10) посвящена жизненному циклу модели и встроенному управлению рисками.

Глава 6. Встраивание управления рисками в жизненный цикл ML
Глава предлагает архитектуру управления рисками, встроенную в каждый этап MLOps — от постановки задачи и подготовки данных до продакшн-деплоя и мониторинга. Особое внимание уделяется тому, как документация, контрольные точки, ревью и метрики могут стать инструментами управления рисками, а не просто формальностями. Рассматриваются шаблоны артефактов (например, Model Factsheet), рекомендации по принятию решений и ведению журналов, примеры внедрения в CI/CD-пайплайны.

Глава 7. Подготовка данных: предобработка, очистка и сборка датасетов
Глава подробно рассматривает, как на стадии подготовки данных закладываются ключевые риски: предвзятость, смещения, утечки, несогласованность между train/test/real. Обсуждаются практики очистки и аугментации данных, оценки representativeness и корректной балансировки классов. Приведены шаблоны тестов качества данных и техники визуализации распределений. Кейс главы — история о неверной обработке признаков при найме, приведшей к дискриминации. В целом, глава дает конкретные рекомендации по проверке корректности датасета, помогает избежать критических ошибок, которые «прячутся» на ранних этапах, но затем крэшат прод.

Глава 8. Выбор модели и настройка гиперпараметров с учетом рисков
Рассматриваются способы оценки моделей не только по метрикам качества, но и по устойчивости к шуму, способности к объяснению, чувствительности к изменению данных. Введены понятия «риск-функции» и «надежности выбора модели». Обсуждаются техники кросс-валидации в условиях сдвига распределения, а также подходы к выбору гиперпараметров с учетом trade-off между точностью и стабильностью. Глава позволяет переосмыслить этап тюнинга не как «гонку за accuracy», а как этап выбора сбалансированной, безопасной и адекватной модели.

Глава 9. Мониторинг моделей в продакшене и реакция на отклонения
Описываются стратегии и инструменты мониторинга моделей в реальной среде: отслеживание дрейфа данных и предсказаний, изменение распределений признаков, деградация производительности. Также обсуждаются триггеры, при которых модель стоит пересмотреть, откатить или заменить. Приводятся шаблоны дешбордов, принципы алертинга и автоматического реагирования. Кейс — инцидент в кредитной организации из-за неотслеженного дрейфа.

Глава 10. Документирование ML-систем и передача ответственности
В этой главе обсуждаются стандарты и лучшие практики документации моделей: от простой спецификации до полноценных отчетов о решениях и ограничениях. Введены понятия Model Cards, Datasheets for Datasets, FactSheets. Отдельно рассматривается вопрос ответственности: кто и как принимает решения, на основе чего, и как зафиксировать это в документации. Также дана инструкция по автоматизации составления документации. Глава помогает выстроить прозрачный и воспроизводимый процесс, в котором можно легко отследить, почему модель работает так, а не иначе — и кто несет ответственность за ее поведение.

Часть 3 книги (Главы 11-15) рассказывает про орг-аспекты и культуру управления рисками в ML.  

Глава 11. Оценка зрелости процессов ML и управления рисками
Авторы предлагают структуру оценки зрелости ML-процессов, заимствованную из классических моделей вроде CMMI. Она охватывает технические, организационные и культурные аспекты: от уровня автоматизации пайплайнов до наличия политики пересмотра моделей и документооборота. Даются чек-листы и матрицы зрелости, а также практические рекомендации, как перейти от хаотичной разработки к системной и безопасной. Материал главы позволяет увидеть «на каком уровне зрелости находится команда или проект» и какие шаги нужно предпринять, чтобы наладить устойчивую ML-практику. Особенно полезно тем, кто работает в стартапах или строит ML-процессы с нуля.

Глава 12. Роль аудита в управлении рисками ML
Глава раскрывает, зачем и как проводить аудит ML-систем: внутренний и внешний, технический и этический. Обсуждаются критерии, которые должны оцениваться на аудите: прозрачность, справедливость, устойчивость, соответствие регуляторным требованиям. Также даны рекомендации по подготовке к аудиту и по построению документации. В качестве примера — кейс с провалившимся аудитом из-за отсутствия версионности и контроля над фичами.

Глава 13. Распределение ответственности в ML-командах
Рассматривается, кто и за что отвечает на разных этапах жизненного цикла модели: от сбора данных до бизнес-решений. Авторы вводят роли (Data Owner, Model Developer, Risk Steward и др.) и предлагают схемы RACI (Responsible–Accountable–Consulted–Informed) для типичных ML-задач. Затрагиваются и сложные темы: например, что делать, если система ошиблась — кто ответит за  последствия? Глава помогает членам команды четко понимать свою зону ответственности, не брать на себя лишнего (например, за бизнес-решения), но и не «теряться» при возникновении инцидентов. Этот подход упрощает взаимодействие с юристами, менеджерами, инженерами.

Глава 14. Культура управления рисками и долгосрочная устойчивость ML
Финальная глава подводит итоги и фокусируется на выстраивании командной культуры, в которой управление рисками — не формальность, а встроенная часть работы. Рассматриваются принципы DevSecOps, подход «shifting risk left», практики проведения постмортемов и ретроспектив. Даются окончательные рекомендации по внедрению культуры ответственности, открытости и постоянного обучения.

Заключение

Наибольшую пользу книга принесет data scientists и ML-инженерам, особенно тем, кто работает с моделями, влияющими на бизнес-процессы или решения, затрагивающие большое число клиентов напрямую. Для таких специалистов это руководство поможет встроить в повседневную практику такие важные аспекты как тестирование устойчивости, интерпретируемость и учет правовых ограничений. 

Аналитикам книга будет полезна как инструмент повышения качества и прозрачности моделей, особенно в ситуациях, где требуется отчетность перед заказчиками или регуляторами. Разработчики, работающие в чувствительных к ошибкам и уязвимостям отраслях — таких как финтех, здравоохранение, государственные услуги, — найдут в книге рабочие шаблоны для отладки и защиты ML-систем от сбоев и атак.

Также книга станет отличным ориентиром для тимлидов, архитекторов ИИ-решений и специалистов по корпоративному управлению ИИ: она помогает сформировать в команде устойчивую культуру внимательного и ответственного подхода к моделированию. Не менее полезной она окажется и для исследователей, интересующихся вопросами этичного ИИ и оценки социального воздействия алгоритмов: в книге много реальных кейсов, анализ которых помогает осмыслить, как управлять рисками не только на уровне кода, но и на уровне проектных решений.

Немного HR-рекламы от нашего блога: мы занимаемся заказной разработкой ПО и будем рады получить резюме специалистов, готовых работать оффлайн в Москве и Томске, а также удаленно из любой точки России. Текущие вакансии на нашей странице на hh.ru. Если вашей специальности нет в списке вакансий, не стесняйтесь прислать нам резюме — в SSP SOFT новые позиции открываются регулярно. Резюме можно направить в Telegram (это только для HR, не канал) или на почту job@ssp-soft.com.

Успехов в изучении и практическом применении ML в ваших проектах!