Хотели представить перевод интересной статьи про обучение с помощью нейронных сетей на табличных данных. Вторая часть здесь.

Кратко

Предлагается TabNet – новая высокопроизводительная каноническая архитектура глубокого обучения на основе табличных данных. TabNet использует последовательные оценки выбора функций, которые следует использовать на каждом этапе принятия решения. Это обеспечивает интерпретируемость и эффективность процесса обучения, поскольку способность к обучению определяется более релевантными функциями (наиболее адекватными, согласно рассматриваемым оценкам выбора решения). Показано, что TabNet превосходит другие варианты архитектуры нейронной сети и дерева решений по широкому диапазону табличных наборов скалярных данных при интерпретации атрибутов их влияния на производительность, что ведет к пониманию поведения общей модели. Наконец, впервые, насколько нам известно, мы демонстрируем самоконтролируемое обучение для табличных данных при значительном повышении темпа обучения и наличии достаточно большой исходной выборки данных.

1. Введение

Глубокие нейронные сети (ГНС) показали свою успешность при работе с изображениями [21, 50], текстом [9, 34] и звуком [1, 56]. Для этих типов данных основным фактором развития является наличие канонических архитектур, позволяющих эффективно кодировать исходные последовательности в обучающие, обеспечивать высокую производительность на новых наборах данных и решаемых с их помощью задач при минимальных ресурсах. Например, в интерпретации изображений варианты остаточных сверточных сетей (в частности, ResNet [21]) должны обеспечивать достаточно хорошую производительность при работе с новыми наборами данных для изображений или смежными проблемами визуального распознавания (например, классификации, таксономии). Единственный тип данных, на которых еще не была достигнута успешность канонической архитектуры ГНС – это табличные данные. Несмотря на то, что это наиболее распространенный тип данных в реализациях ИИ [8], глубокое обучение для табличных данных остается недостаточно изученным, а варианты ансамблевых деревьев решений по-прежнему доминируют в большинстве приложений [28]. Почему это так? Во-первых, потому что древовидные подходы имеют определенные преимущества, которые делают их популярными: (i) они достаточно репрезентативны (и поэтому часто высокоэффективны) для многообразий решений с нечеткими гиперплоскостными границами распределения табличных данных; (ii) они хорошо интерпретируемы (например, путем отслеживания узловых решений) и существуют эффективные методы апостериорного объяснения формы их ансамбля, что является [36] важной задачей во многих реальных приложениях (например, в сфере финансовых услуг, где доверие к действиям с высоким риском имеет решающее значение); (iii) они быстро обучаются. Во-вторых, ранее предложенные архитектуры ГНС не адаптивны к табличным данным: обычные ГНС на сверточных слоях или многослойных персептронах (МСП) часто сильно параметризованные (по числу параметров и по сложности их идентификации) - отсутствие соответствующего индуктивного смещения приводит к тому, что они не могут найти оптимального решения для многообразия табличных решений [17]. Почему стоит изучить глубокое обучение для табличных данных? Одна очевидная причина – в том, что, как и в других областях, можно ожидать повышения производительности за счет архитектур на основе ГНС, особенно для больших наборов данных [22]. Кроме того, в отличие от древовидного (иерархического) обучения, которое не использует обратного распространения ошибок данных для управления эффективным обучением от ошибочных сигналов, ГНС обеспечивают сквозное обучение на основе градиентного спуска по стратегиям для табличных данных, имеющее множество преимуществ, продемонстрированных во многих различных областях, позволяя: (i) эффективно кодировать множество типов данных, таких как изображения в форме табличных данных; (ii) облегчать или устранять необходимость в разработке функций, что в настоящее время является ключевым аспектом древовидных методов обучения с использованием табличных данных; (iii) обучать на потоковых данных - обучение на древовидной структуре требует глобальной статистики для выбора узловых точек, а простые модификации, как в [4], обычно дают более низкую точность по сравнению с обучением для всей выборки данных; ГНС, напротив, демонстрируют больший потенциал непрерывного обучения [44]; (iv) изучать в сквозных моделях представления, позволяющие использовать ценные новые сценарии новых применений, включая адаптацию к областям эффективного использования данных [17], генеративного моделирования [46] и обучение с частичным привлечением учителя [11].

Очевидно, что есть значительные преимущества как у древовидных, так и у методов на основе ГНС. Можно ли разработать метод, сочетающий их наиболее полезные аспекты? В этой статье мы предлагаем новую каноническую архитектуру ГНС для табличных данных - TabNet, которая предназначена для отображения «дерева решений» с целью унаследовать ценные преимущества методов на основе дерева (интерпретируемость и разреженный выбор признаков) и ключевые преимущества методов на основе ГНС (пошаговое и сквозное обучение). В частности, в проекте TabNet рассматриваются две ключевые потребности: высокая производительность и интерпретируемость. Как уже упоминалось, одной высокой производительности часто недостаточно - ГНС должны интерпретировать, чтобы заменить древовидные методы. В целом, мы вносим следующий вклад в разработку нашего метода: (1) в отличие от древовидных методов, TabNet использует необработанные табличные данные без предварительной обработки и обучается с использованием оптимизации на основе методов градиентного спуска для изучения гибких представлений и обеспечения гибкой интеграции в сквозном обучении; (2) TabNet использует последовательные итерации, чтобы выбрать, какие особенности следует обосновать на каждом этапе принятия решения, обеспечивая интерпретируемость и лучшее обучение, поскольку способность обучения используется для наиболее значимых признаков (см. рис. 1); этот выбор признаков индивидуален, например, он может быть различен для каждого ввода, в отличие от других методов выбора признаков, таких как [6] или [61], причем Tab-Net использует единую архитектуру глубокого обучения со сквозным обучением.

(3) мы показываем, что вышеупомянутый выбор метода приводит к двум ценным свойствам: (a) TabNet превосходит или находится на одном уровне с другими табличными моделями обучения на различных наборах данных для задач классификации и регрессии из разных областей; (b) TabNet позволяет использовать два вида интерпретируемости: локальную, которая визуализирует важность входных функций и как они согласованы в предсказании, и глобальную, которая определяет вклад каждой входной функции в обучение модели.

(4) Наконец, мы показываем, что наша каноническая конструкция ГНС достигает значительных улучшений производительности за счет использования неуправляемого предварительного обучения для прогнозирования маскированных функций (см. рис. 2).

Наша работа является первой демонстрацией самообучения на табличных данных.

2. Подобные работы

Выбор функций: выбор функций в машинном обучении, в широком смысле, означает разумный выбор подмножества функций сходства (близости) на основе их полезности для прогнозирования. Широко используемые методы, такие как прямой отбор и регуляризация LASSO [20], характеризуются важностью признаков, основанных на всем наборе обучающих данных, они называются глобальными методами. Выбор функции для конкретного экземпляра определяется особенностями каждого входа, изученным в [6] путем обучения описательной модели для максимизации обобщающей способности по обратным связям выбранной функции и переменной отклика, а в [61] с использованием структуры «субъект-критик» для имитации многообразия опорных векторов при оптимизации выбора функции. В отличие от них, TabNet использует другой набор функций, с контролируемой разреженностью (предикативностью) в сквозном обучении и единой моделью сопоставления выходных данных, которые обеспечивают в результате превосходную производительность при компактном представлении данных.

Обучение на основе деревьев: модели на основе деревьев являются наиболее распространенным подходом к изучению на табличных данных. Важной и сильной стороной древовидных моделей является их эффективность в выборе глобальных характеристик с наибольшим статистическим объемом информации [18]. Чтобы улучшить производительность стандартных древовидных моделей за счет уменьшения остаточной дисперсии модели, одним из распространенных подходов является ансамблевый (агрегирование). Среди методов агрегирования – случайные леса [23], использующие случайные подмножества данных со случайно выбранными объектами для генерации и эволюции деревьев. XGBoost [7] и LightGBM [30] - два недавних подхода к дереву решений ансамбля, которые доминируют в использовании и исследовании в науке о данных (Data Science). Наши экспериментальные результаты для различных наборов данных показывают, что эффективность древовидных моделей может быть превзойдена, если улучшить способность к глубокому обучению при сохранении свойств функции, предсказательной способности.

Интеграция DNN в деревья решений: представление деревьев решений с помощью канонических элементов ГНС, как в [26], приводит к избыточности представления и неэффективному обучению. Предлагаются гибкие (нейронные) деревья решений [33, 58] с дифференцируемыми функциями принятия решений вместо не дифференцируемых. Однако при отказе от деревьев теряется их способность автоматического выбора функций, что важно для табличных данных. В [60] функцией мягкого связывания предлагается моделировать деревья решений в ГНС, но она при перечислении всевозможных решений является неэффективной. В [31] предлагается ГНС-архитектура, явно использующая объясняющие способности комбинаций функций, но обучение основано на передаче знаний с помощью дерева решений с градиентным бустингом, есть ограничения по улучшению производительности. В [53] предлагается ГНС-архитектура адаптивного роста от базовой системы «примитивов обучения» (вершин, ребер), с помощью функций маршрутизации до конечных узлов дерева решений. TabNet отличается от этих методов тем, что включает в себя гибкую функцию возможности выбора с контролируемой разреженностью за счет последовательных переоценок.

Модели преобразования таблиц в тексты: таблично-текстовые модели извлекают текстовую информацию из табличных данных, для чего в последних работах [3, 35] предлагается последовательный механизм контроля внимания на уровне полей. В отличие от них, мы демонстрируем применение обучения с учителем или самообучения вместо сопоставления табличных данных с другим типом данных.

Самообучение: обучение без учителя показывает, что полезно для самообучения, особенно на небольших выборках данных [47]. Недавняя работа с данными по языку [13] и изображению [55] показала значительные достижения - особенно важен тщательный выбор цели обучения без учителя и архитектуры глубокого обучения без учителя.

3. TABNET для обучения с помощью таблиц

Деревья решений успешно используются для обучения на основе реальных табличных наборов данных. Однако даже обычные исходные элементы ГНС могут быть использованы для реализации древовидного выходного множества решений (см. рис. 3 в качестве примера). В такой конструкции индивидуальный выбор признаков является ключевым для идентификации границ принятия решений в гиперплоскостной форме. Эта идея может быть обобщена для линейной комбинации признаков, где составляющие коэффициенты определяют долю (вклад) каждого признака. TabNet -основано на такой древовидной функциональности. Мы покажем, что он превосходит деревья решений, учитывая многие из их преимуществ благодаря тщательности проектирования, которое:

(i) использует разреженный выбор объектов по экземплярам, полученный на основе обучающего набора данных; (ii) создает последовательную многоступенчатую архитектуру, в которой каждый шаг принятия решения может внести свой вклад в ту часть решения, которая основана на выбранных функциях; (iii) улучшает способность к обучению путем нелинейных преобразований выбранных функций; (iv) имитирует ансамбль с помощью более точных измерений и большего количества шагов улучшения решения.

На рис. 4 показана архитектура TabNet для кодирования табличных данных. Табличные данные состоят из числовых и категориальных признаков. Мы используем необработанные числовые признаки и рассматриваем соответствие категориальных признаков обучаемым вложениями. Мы не рассматриваем никаких глобальных функций нормализации, а просто применяем пакетную нормализацию (ПН). Мы передаем одни и те же D-мерные объекты

на каждом шаге принятия решения, где B-размер пакета. Кодирование TabNet основано на последовательной многоступенчатой обработке с N шагами принятия решений.

При этом на i-м шаге используется обработанная на (i - 1)-м шаге информация, чтобы определить используемые функции и выводит окончательное функциональное представление, которое необходимо интегрировать в общее решение. Идея нисходящего внимания в последовательной форме возникла из приложений обработки визуальных и языковых данных (например, визуального ответа на вопросы [25]) и обучения с помощью учителя [40] при поиске небольшого подмножества релевантной информации в многомерных входных данных.

Абляционные исследования в Приложении посвящены влиянию различных вариантов конструкции, которые объясняются ниже. Исследования абляции (последовательного удаления данных) в приложении акцентированы на влияние различных вариантов реализации, которые объясняются далее. Рекомендации по выбору важных гиперпараметров также приведены в приложении.

Выбор характеристик: Мы используем обучаемую маску

для мягкого выбора характерных признаков. Благодаря разряженному отбору наиболее заметных признаков обучающая способность на шаге принятия решения не тратится впустую на нерелевантные признаки, и, таким образом, модель становится более эффективной параметрически. Маскировка задается мультипликативно, M[i] · f. Мы используем дискретный преобразователь (см. Рис. 4) чтобы получить маски, используя обработанные объекты предыдущего шага, a[i ? 1]:

Нормализация Sparsemax [37] улучшает разреженность путем отображения Евклидовой проекции на вероятностный симплекс, который считается превосходящим по производительности и согласуемым с целью выбора разреженной системы признаков для большинства реальных наборов данных.

Обратите внимание, что формула 1 задает

где h[i] - обучаемая функция, показанная на Рис. 4., использующая слой FC, за которым следует BN, P[i] - корректирующий показатель предыдущего масштаба, обозначающий, насколько тот или иной признак был использован ранее:

где ? - параметр свободы: когда ? = 1, функция принудительно используется для использования только на одном шаге принятия решения и по мере увеличения ?, обеспечивается большая гибкость для использования функции на нескольких шагах принятия решения. P[0] инициализируется как единицы,

без каких-либо предварительных условий для маскируемых объектов. Если некоторые функции не используются (как в самообучении), соответствующие P[0] элементы обнуляются, чтобы помочь модели обучиться. Для дальнейшего контроля разреженности выбранных признаков мы предлагаем регуляризацию разреженности в виде энтропии [19]:

где ?-небольшое число для вычислительной устойчивости. Мы корректируем регуляризацию разреженности по общим потерям с коэффициентом ? разреженности. Разреженность может обеспечить благоприятное индуктивное смещение для сходимости с более высокой точностью для наборов данных, где большинство объектов избыточны.

Обработка функций: Мы обрабатываем отфильтрованные объекты с помощью преобразователя (см. Рис. 4) а затем разделим выход для шага принятия решения и для последующего шага,

Для эффективного и надежного обучения с высокой производительностью преобразователь признаков должен опираться на слои, которые совместно используются на всех этапах принятия решения (поскольку одни и те же функции вводятся на различных этапах принятия решения), а также слои, зависящие от шага принятия решения.

На рис. 4 показана реализация в виде конкатенации двух общих слоев и двух зависящих от принятого на шаге решения слоев. За каждым слоем FC следует BN и закрытый линейный блок (GLU) [12], в конечном итоге связанная с нормализованным остатком нормализацией. Нормализация с v0.5 помогает стабилизировать обучение, гарантируя, что дисперсия по всей сети не изменится кардинально [15]. Для более быстрого обучения мы стремимся к большим размерам обучающих серий. Для повышения производительности при увеличении серий все операции BN, за исключением той, которая применяется к входным функциям, реализуются в форме ложного BN [24] с виртуальным размером серии BV и импульсом mB. Для входных признаков мы наблюдаем преимущество усреднения с низкой дисперсией и, следовательно, избегаем ложный BN. Наконец, применяя агрегацию, подобно дереву решений на Рис. 3, мы строим полное решение как

Мы применяем линейное отображение:

чтобы получить выходное соответствие. Для дискретных выходов мы дополнительно используем softmax во время обучения (и критерий argmax во время вывода).

Во второй части будет описано применение алгоритма TABNet.

Перевод, коррекция, редактирование Гилязов Айрат, Шигапова Фирюза.