Недавно мы поговорили о том, что такое causal inference или причинно-следственный анализ, и почему он стал так важен для развития машинного обучения. А в этой статье - под катом - хотелось бы рассказать о трендах в развитии Causal Inference в ML в 2021 г.

Causal Inference в ML: итоги 2021 г.

Сначала поговорим обобщенно, а затем детальнее раскроем наиболее интересные пункты. Для тех, кто предпочитает формат видео, на youtube канале ods.ai есть видео с трансляции Data Елки 2021 с подробным рассказом об итогах года. Вот ссылка на начало рассказа про итоги года в Causal Inference.

В целом, итоги года в CI можно представить в двух больших разделах - теоретическом и прикладном.

Теория

• Закрепление высокой актуальности темы в ML. Нобелевская премия по экономике была выдана за развитие методов CI, крупнейшие конференции по ML провели воркшопы (NeurIPS, ICML) по вопросам CI для ML. Causal Data Science Meeting, направленный на коллаборацию экспертов-теоретиков в области CI с практиками из бизнеса, экспериментально проведенный в 2020 г., стал крупным движением с ежегодной конференцией.

• Знаковая статья Judea Pearl о роли CI для ML. Radical empiricism and machine learning research, опубликованная в Journal of Causal Inference, где автор определяет data science как объединение дисциплины машинного обучения как школы радикального эмпиризма (когда только данные генерируют модель реальности) и эконометрики как школы интерпретации данных (когда модель процессов/реальности генерирует данные). Методы CI в данном случае выступают ключом к балансу эмпиризма и интерпретируемости в DS.

• Interpretable & Causal ML Track – Data Fest Online 2021. На ежегодном Data Fest уже в третий раз был проведен трек по вопросам Reliable ML.

• Появление качественных общедоступных материалов по CI, включая как открытые русскоязычные курсы по теории CI, так и материалы по применению методов на Python.

• Развитие концепции Reliable ML как объединения концепций интерпретируемости моделей и методов причинно-следственного анализа для целей усиления применимости ML моделей. Для развития идей этой концепции был создан телеграм-канал Reliable ML и также планируется открытый обучающий курс в 2022 г. (при помощи сообщества Open Data Science).

Практика

• Больше практических кейсов в России. Все больще практических примеров применения CI методов в бизнес-задачах разных компаний в РФ.

• Рост запроса бизнеса на управление рисками в ML проектах, где основа – causal inference методы. АБ-тестирование и контрфактический анализ - основа для корректной оценки эффективности пилотов по инвестиционным инициативам в бизнесе, а значит, и ключ к оптимизации управления инвестициями. Этот взгляд в 2021 г. (по наблюдениям авторов и по содержанию докладов конференций) стало разделять заметно больше компаний, чем ранее.

Закрепление высокой актуальности темы в ML

В 2021 г. ½ Нобелевской премии по экономике была выдана Guido W. Imbens и Joshua D. Angrist за вклад в области CI.

Так, Guido W. Imbens, помимо огромного вклада в развитие методов в предыдущие годы (например, фундаментальный труд по CI для социальных наук, статистики и биомедицины), только в 2021 г. опубликовал ряд знаковых работ как по относительно новым методам, так и по развитию классических методов расчета causal эффекта для нестандартных случаев:

• Synthethic Difference-in-Differences – метод, объединяющий широко используемые концепции diff-in-diff и синтетического контроля. Детальнее этот подход был разобран в докладе Дмитрия Архангельского (соавтора статьи!) на Data Fest 2020 в треке Causal Inference in ML.

• Causal Bootstrap как развитие классического бутстрапа, основанного на предпосылке о том, что неопределенность в оценке возникает исключительно из неопределенности выборки (приближаем истинную функцию распределения через эмпирическое распределение). Авторы предполагают, что при применении бутстрап-методов для CI оценок, необходимо учитывать не только эмпирическое распределение, но и стохастическую природу самого эффекта воздействия.

• Design-based analysis in Difference-In-Differences settings with staggered adoption интересна предложением подхода к оценке эффекта, когда оценка эффекта какого-то решения не заканчивается пилотным периодом, а продолжается во времени и далее.

Joshua D. Angrist наряду с Guido W. Imbens обосновал значимость проведения естественных экспериментов для оценки причинно-следственного эффекта, структурировал и развил теорию и методы анализа причинно-следственных связей. Одной из знаковых работ Энгриста является статья о применении метода инструментальных переменных для задач CI – на примере исследования влияния службы в армии на доход во время Вьетнамской войны. Важным фундаментальным трудом – книга Mastering 'Metrics: The Path from Cause to Effect. По ее мотивам на Data Fest 2020 также был доклад от Ивана Комарова.

Из работ Joshua D. Angrist, планирующихся к публикации в 2021 г. хотелось бы обратить внимание на:

• Breaking Ties: Regression Discontinuity Design Meets Market Design – обобщение метода RDD для множественного воздействия (multiple treatments) на примере оценки causal эффекта от способа распределения мест в школах с избыточным количеством кандидатов на обучение на последующую успеваемость учеников.

• One Instrument to Rule Them All: The Bias and Coverage of Just-ID IV – про проблематику использования слабых инструментов для оценки эффектов.

Interpretable & Causal ML Track – Data Fest Online 2021

На ежегодном Data Fest уже в третий раз прошел трек по вопросам Reliable ML - Interpretable & Causal ML Track 2021.

В программе в 2021 г. были следующие доклады:

1: Causality & Shapley Values (О. Филиппова). Доклад вошел в топ всех выступлений сообщества Open Data Science в 2021 г. Тема с Causal Shapley Values прогремела в 2020 г., в 2021 г. - начинает все больше применяться, обсуждаются различные вопросы, связанные с практикой применения.

2: Обзор библиотеки EconML: идеи и реализация (Н. Тоганова). Библиотеку коллеги используют в реальном бою для задач EDA по оценке эффективности отдельных промо-активностей. Методы, обсуждаемые в докладе: double ML, doubly robust, meta-learners, применение инструментальных переменных и еще чуть об honest forest и bootstrap.

3: Все способы измерить слона: заглянуть внутрь трансформенных моделей (Т. Шаврина). Доклад посвящён актуальным методам оценки и интерпретации результатов обучения трансформерных моделей. Достижения NLP команды Татьяны в рамках AIRI Сбера в этом году сложно переоценить, доклад крайне рекомендуется к просмотру.

4: Explaining Hidden Representations (К. Быков). В докладе рассмотрены популярные методы для объяснения выученных репрезентаций для нейронных сетей и обсуждается, почему навык интерпретировать усвоенные нейронной сетью концепты является must-have для Data Scientist’ов в 2021 году. Кирилл также представляет лабораторию по Interpretable AI в TU Berlin, открытую в 2020 г. Вот тут можно подписаться на их Twitter.

5: Интерпретация банковских моделей (И. Ашрапов). В рамках доклада показано как, строя сложные модели с использованием блендинга/стэкинга, можно добиться понятной бизнес интерпретации. Как результат, подсветить на основе каких наиболее критичных факторов модель приняла то или иное решение для каждого заемщика.

6: Causal Inference в анализе временных рядов (Д. Павлов). В докладе Дима рассказывает о задачах causal inference, встречаемых в контексте работы с временными рядами: Causal Treatment Effect Estimation on Time Series, Causal Discovery for Time Series и методах их решения.

Появление качественных общедоступных материалов по CI

Среди множества материалов в открытом доступе по CI, появившихся в 2021 г., хотелось бы особенно отметить следующие:

• Курс лекций Дмитрия Архангельского (CEMFI) по экспериментальному анализу для экономического факультета МГУ.

  • Randomised Controlled Trials. Вводная лекция в курс, на которой разобрана базовая модель эксперимента, а также приведены решения проблемы несбалансированности контрольной и экспериментальной групп.

  • Внешние эффекты. Разобраны дизайны экспериментов, в которых не соблюдается ключевое предположение о стабильности воздействия (SUTVA), и на группы участников влияют различные внешние эффекты.

  • Адаптивные эксперименты. Разобраны более сложные дизайны экспериментов, где предположение о стабильности воздействия (SUTVA) соблюдается, но условия могут быть адаптивны.

  • Динамические эксперименты. Завершение курса обзором динамических экспериментов, где результат может зависеть не только от недавнего воздействия, но и от предыдущих. Именно такие условия характеризуют большинство более комплексных процессов в экономике и поэтому требуют более сложных дизайнов для оценки.

• Книга по CI на Python: Matheus Alves Causal Inference for The Brave and True. Очень доступное изложение и куча мемов – все как мы любим. И еще раз подчеркнем, что все примеры даны на python, что пока еще довольно большая редкость для литературы по CI.

• Телеграм-канал Reliable ML от авторов треков Interpretable & Causal ML на конференциях Open Data Science. В канале обсуждаются новости, мероприятия, полезные статьи и доклады в сфере Reliable ML.

Больше практических кейсов в России

В 2021 г. удалось узнать о существенно большем, чем в 2020 г., числе практических кейсов применения CI методов в бизнес-задачах разных компаний в России.

Среди них выделим две категории: отдельные кейсы применения CI методов, а также развитие АБ-тестирования в офлайне. Кейсы опишем верхнеуровнево, а в 2022 г. попробуем разобрать их детальнее на митапах/конференциях.

Отдельные кейсы

• Мегафон, Data Fest 2021, Causal Methods in Dynamic Pricing – И. Горбань, Д. Пятых. В этом докладе авторы обсуждают методы causal inference и динамической оптимизации применительно к установке цен на товары в сети МегаФон Ритейл.

• Промсофт: анализ влияния рекламы на продажи с помощью interrupted time-series подхода.

• Glowbyte: EDA по оценке отдельных промо-активностей на основе библиотеки EconML, о которой коллеги рассказывали на Data Fest 2021.

• Лента: оценка гало-эффекта установки прилавков в магазинах с помощью causal impact, доработанным в сторону робастности.

• Промсофт: отладка и тюнинг моделей с использованием априорных знаний в доменной области на базе causal shapley values.

Тренды для АБ-тестирования в офлайн-бизнесе

Говорим именно про офлайн, поскольку для онлайн-бизнесов АБ-тесты уже достаточно давно являются базовой гигиеной для принятия решений о развитии бизнеса / оптимизации инвестиционного процесса. А вот офлайн в последние 2-3 года переживает активное развитие АБ.

• Х5 Group, Лента, М.Видео, Промсофт: единая методика АБ-тестирования для оценки эффективности пилотов в офлайне.

• Лента, Сбер: оценка эффекта пилотов для малого числа объектов на основе подхода synthetic controls.

• Лента: оценка причинно-следственного эффекта, когда АБ-тестирование невозможно (robust causal impact).

Если вам известны и другие бизнес-кейсы применения методов CI – пишите в комментариях. Сделаем дополненную подборку! И запишем вас в авторов выступлений на ближайших мероприятиях по Reliable ML ????

Круглый стол Causal Inference in ML на Data Fest 3.0 - 5 июня 2022 г.

Секция Reliable ML состоится 5 июня онлайн. Планируем провести 3 круглых стола по актуальным темам. Про первую тему - Interpretable ML - было написано неделю назад вот в этой статье.

Круглый стол: Causal Inference in ML - 14:00 5 июня 2022 г.

За последние пару лет осознание того, что причинно-следственный анализ - это важно и нужно в ML системах, довольно прочно пришло в бизнес. А где же бизнес все-таки использует causal inference?

Поговорим об известных кейсах, обсудим ваши вопросы по использованию causal inference в работе.

Если вы хотели бы добавить свои вопросы для обсуждения - welcome. Пишите здесь.

Эксперты:

• Иван Комаров, Chief Data Scientist, ЦФТ.

• Григорий Чернов, экономист, аспирант лаборатории экспериментальной и поведенческой экономики Высшей школы экономики, приглашенный исследователь департамента принятия решения Тюбингенского университета.

• Иван Горбань, Senior Data Scientist, Careem.

Эксперты-модераторы:

• Дмитрий Колодезев, директор Promsoft.

• Ирина Голощапова, Head of Data Science, Lenta.

Доклады по Causal Inference на Data Fest 3.0 - 5 июня 2022 г.

5 июня с 10:00 до 20:00 планируется плотная программа. В первой половине дня будут в основном доклады по тематике Causal Inference.

• Causal Inference. Advanced методы моделирования. В 10:00 по Мск нашу секцию откроет Полина Окунева, ведущий аналитик Glowbyte. Полина расскажет об усовершенствованных методах моделирования причинно-следственного эффекта с опорой на библиотеки causalML и EconML : X-, R-, DR-learner, Domain Adaptation Learner, Doubly Robust Instrumental Variable learner, Tree-based algorithms (DDP, CTS). Рассмотрит основные плюсы и минусы методов и особенности их применения.

• Эффективны ли вакцины? В 10:45 по Мск выступит международная команда - Егор Кобылкин (Abbrivia GmbH, Германия), Иван Комаров и Глеб Соснин (ЦФТ, Россия). В докладе коллеги обсудят, а можно ли на общедоступных данных увидеть связь между вакцинацией и смертностью, или действуют ли вакцины (в нужном направлении)? Этой задачей занимались Иван и Глеб в рамках ODS LAB и 5 июня покажут результаты исследования "прямо из печки". Используя метод Difference-In-Difference, коллеги проведут сравнение похожих стран до и после вакцинации с разными режимами вакцинирования, а затем построят предсказательную модель избыточной смертности и оценят роль вакцинации в этой модели.

• Что такое p-value? Достаточно ли одного показателя? При чем тут мощность и доверительные интервалы? В 11:30 по Мск выступит Наталья Тоганова, к.э.н, старший бизнес-аналитик Glowbyte. Рандомизированные контролируемые эксперименты или А/Б тесты хотя и называются "золотым стандартом", но все же методика их проведения и интерпретации остаётся дискуссионной. Наталья расскажет о том:

  • почему практика, когда повышенное внимание уделяется p-value, и тому, был преодолел ли p-value определенный порог, подвергаются критике;

  • как предлагают исправить ситуацию и чем дополнить p-value (немного о мощности и доверительных интервалах);

  • как научная дискуссия связана с буднями обычного аналитика.

• От look-alike до uplift в моделировании для Жизненного Цикла Клиента. В 12:15 по Мск состоится доклад от команды моделирования жизненного цикла клиента ВТБ - Василия Сизова, тимлида команды, и Анастасии Григорьевой, руководителя направления. Василий и Анастасия расскажут о том, как машинное обучение помогает в Жизненном Цикле Клиента, в частности, для предложения клиентам новых продуктов. В докладе будут затронуты темы банка данных для моделей look-alike, response и uplift, а также сложностей при использовании sklift. В конце коллеги поделятся результатом применения моделей.

• Introduction to structured learning and causal discovery. В 13:00 по Мск будем слушать доклад Григория Чернова, экономиста, аспиранта лаборатории экспериментальной и поведенческой экономики НИУ ВШЭ, приглашенного исследователя департамента принятия решения Тюбингенского университета. Что данные могут рассказать о причинности? Григорий познакомит с введением в structured learning и causal discovery. В докладе будет рассмотрена интуиция, стоящая за графическими вероятностными моделями, а также возможность компромисса между количеством предположений и устойчивостью выводов на примере constrain-based (PC, FCI), scoring based (GIES) и иных (LiNGAM) базовых подходов, реализованных в py библиотеках "Causal Discovery Toolbox" и "Causal-learn".

Data Fest 3.0 - Регистрация

Встречайте — Data Fest Online 3.0. Долгожданная регистрация открыта!

Уже в эту субботу - 4 июня 2022 г. - начнётся трехнедельный онлайн Фест, по уже сложившейся формуле youtube + spatial.chat.

В субботу, 4 июня, в эфире организаторы Data Fest 3.0 расскажут про секции Reliable ML, NLP, RecSys, PyData + MLOps, DL in Finance, ML Trainings и другие.

В эфире 4 июня организаторы ODS также расскажут обо всех самых важных вопросы про новый ODS:

• Как устроен новый ODS + backstage про ODS текущий.

• Как будет проходить переезд, что это вообще за [Matrix], и как первыми туда попасть.

• Как участвовать в новом ODS … а также планы, новые фишки, и многое другое.

Далее, с 5 июня в течение 3х недель будут проводиться различные тематические секции Data Fest 3.0.

Эта статья была также собрана из серии постов в канале @Reliable ML.