Вот вы читаете очередную статью про KAN и ловите себя на мысли, что ничего не понимаете.

Знакомая ситуация?

Не переживайте, вы не одни. И дело тут не в вас, суть в том, что множество материалов описывают концепции по отдельности, не объединяя их в единую картину.

И чтобы решить эту проблему раз и навсегда, а также окончательно понять KAN, нам необходимо переосмыслив всё с нуля и постепенно двигаясь от базовых принципов линейной алгебры через нейронные сети. Завершив, обобщая всё с помощью множеств. В процессе мы также рассмотрим некоторые довольно уникальные и новые идеи!

Статья будет следовать данной структуре:

1. Основные термины и концепции

2. Объяснение многослойного персептрона (MLP)

3. Объяснение RBF нейронной сети (RBFN) и SVM, связь с MLP

4. Объяснение архитектуры KAN: Kolmogorov-Arnold Networks

1. Основные термины и концепции

Прежде чем переходить к нейронным сетям, важно разобраться в ключевых концепциях линейной алгебры, в этом помогут видео с канала 3Blue1Brown Русский.

1.1 Вкратце о некоторых дополнительных концепциях

Векторные пространства и подпространства

Векторное (линейное) пространство – это множество, где можно складывать векторы и умножать их на числа, следуя определённым правилам. Например, множество всех векторов на плоскости, как векторов на графике, является векторным пространством.

Векторное (линейное) подпространство (или подмножество пространства) – это часть векторного пространства, которая сама является векторным пространством. Примером может служить линия в плоскости, проходящая через начало координат, или плоскость в трёхмерном пространстве, проходящая через начало координат.

Аффинные пространства и подпространства

По словам французского математика Марселя Берже, «Аффинное пространство – это не более чем векторное пространство, о начале координат которого мы пытаемся забыть, добавляя переносы (смещения) к линейным трансформациям».

Лебеговы пространства

Сейчас я приведу довольно упрощённое объяснение данных пространств.
Но главное – иметь хотя бы некоторое представление, так как они будут упоминаться в статье.

Ранее рассматривались конечномерные вещественные векторные пространствагде для двух векторовиметрика Минковского задаётся следующим образом:

В частных случаях и эта метрика соответствует манхэттенскому и евклидову расстояниям. Но нас интересует именно

Норма вектораопределяется как расстояние Минковского до начала координат:

При этом любой вектор с конечным числом элементов можно рассматривать как дискретную функцию, возвращающую соответствующие элементы по индексу. Это понятие можно расширить на бесконечное множество элементов, задав норму функции на множестве

Кстати, думаю, очевидно, что в дискретном случае шаг по равен 1.

В контексте- пространств, если ограничить меру стандартной мерой Лебега (например, длина, площадь, объём) нато функцияпринадлежит если норма функции сходится к конечному числу:

К тому же в общем случае должен использоваться интеграл Лебега, но для упрощения можно ограничиться наиболее распространённым определением интеграла в виде интеграла Римана, хотя это и накладывает дополнительные ограничения на множество функций.

Кроме того, можно определить расстояние между функциями:

И так же скалярное произведение, но только при то есть в Гильбертовом пространстве:

Компактные множества

По сути, это множество, которое является замкнутым и ограниченным.

Ограничённое множество – это множество, для которого существует конечное число такое что расстояние между любой парой точек этого множества не превышает

Замкнутое множество – это множество, содержащее все свои предельные точки (границы).

Например, множествоограничено, но не замкнуто, так как не включает границы, а значит не компактно. А вот множествоуже компактно, так как включает границы.

2. Объяснение многослойного персептрона (MLP)

Многослойный персептрон (MLP) – является разновидностью сетей прямого распространения, состоящих из полностью связанных нейронов с нелинейной функцией активации, организованных как минимум в три слоя (где первый – входной). Он примечателен своей способностью различать данные, которые не являются линейно разделимыми.

Но прежде чем перейти к объяснению на примере, желательно разобраться с некоторыми теоретическими деталями, а именно с теоремами универсальной аппроксимации. Они являются семейством теорем, описывающих различные условия и подходы, при которых нейронные сети способны аппроксимировать широкий класс функций. Часто при упоминании для удобства их сводят к одной «теореме универсальной аппроксимации», ссылаясь, например, на теорему Цыбенко. Но такое упрощение сбивает с толку, так как не учитывает все детали и различные подходы. В данной статье я хочу уделить этим теоремам больше внимания.

Если говорить о них более подробно, то теоремы универсальной аппроксимации являются по своей сути теоремами существования и предельными теоремами. Они утверждают, что существует такая последовательность преобразованийи что при достаточном количестве нейронов мы можем аппроксимировать любую функциюиз определённого множества функций с заданной точностью в пределах

Однако эти теоремы не предоставляют способа фактически найти такую последовательность. Кроме того, они не гарантируют, что какой‑либо метод оптимизации, например, обратное распространение, сможет найти эту последовательность. Обратное распространение и другие методы могут либо найти сходящуюся последовательность, либо застрять в локальном минимуме. Также теоремы не дают гарантии, что нейронная сеть любого конечного размера, например, состоящая из 1000 нейронов, будет достаточной для аппроксимации функции с желаемой точностью.

Теперь рассмотрим некоторые из них:

Теорема Цыбенко (1989)

Цыбенко доказал, что нейронные сети с одним скрытым слоем и произвольным числом нейронов, использующие в качестве функции активации сигмоиду:

Могут аппроксимировать любые непрерывные функции на компактном множествеТо есть функции

Есть также пример ограниченной ширины и глубины:

Майоров и Пинкус (1999)

Майоров и Пинкус доказали, что нейронные сети с двумя скрытыми слоями и ограниченным числом нейронов в каждом слое могут быть универсальными аппроксиматорами в пространстве непрерывных функций на компактном множестве, если используются сигмоидные функции активации.

Во многих статьях под упоминанием теоремы универсальной аппроксимации, хотя и говорится в основном о теореме Цыбенко, часто рассматривается семейство нейронных сетей, определённых теоремами Хорника и Лешно:

Теорема Хорника 1989 и Теорема Хорника 1991

Курт Хорник и его коллеги расширили результаты Цыбенко и показали, что MLP с произвольным числом скрытых слоев и произвольным числом нейронов в каждом слое могут аппроксимировать любую непрерывную функцию с любой точностью на компактном множестве, рассматривая так же расширение на пространствадля любого Они также доказали, что это свойство не зависит от конкретных функции активации, если она является непрерывной, ограниченной, неконстантой и неполиномиальной.

Расширение Лешно и соавторов (1992):

Лешно и соавторы расширили результаты Хорника, ослабив требования к функции активации, позволяя ей быть кусочно-непрерывной и лишь локально ограниченной, а также не является полиномом почти всюду, что позволяет включить частоиспользуемые функции активации, такие как ReLU, Mish, Swish (SiLU), GELU и другие.

2.1 Иллюстрация на примере

Перейдём теперь к более практическому объяснению. Рассмотрим популярный датасет make_circles, который представляет собой векторы в двумерном пространстве. В этом пространстве каждый вектор данных можно задать линейно, по крайней мере, с помощью двух базисных векторов.

Логистическая регрессия в классическом варианте, моделирующая логарифмические шансы события (отношение выполнения события к его невыполнению) как линейную комбинацию признаков:

По сути, является нейросетью с одним входным слоем, нулём скрытых слоёв и одним выходным слоем (также можно рассматривать и линейную регрессию, и прочие модели). Если для кого-то ноль скрытых слоёв кажется контринтуитивным, то это можно рассматривать как применение единичной матрицы к входному вектору, собственно, что и делает входной вектор.

Поскольку логистическая регрессия осуществляет линейное разделение данных в исходном пространстве, а наш набор данных make_circles является нелинейно разделимым в нем, необходимо преобразовать данные так, чтобы модель могла эффективно их разделить. Для этого добавим к нашей логистической регрессии один скрытый слой с тремя нейронами и линейной функцией активацииПосмотрим, как изменятся данные перед их подачей в логистическую регрессию:

И также посмотрим на график:

После прохождения через скрытый слой с тремя нейронами, данные сохраняют свою двумерную структуру. Хотя теперь данные выражаются в виде трех координат, их эффективное пространство по-прежнему остается двумерным. Каждый вектор можно задать линейно, как минимум, с помощью двух трехмерных базисных векторов и . Это означает, что данные находятся в двумерном аффинном подпространстве трехмерного пространства, образуя плоскость. Таким образом, мы фактически применили аффинное преобразование к исходным данным, и наш классификатор линейно разделяющий данные все еще не может их разделить.

Теперь добавим сигмоидную нелинейную функцию активации вместо линейной к результатам преобразования и посмотрим на полученный результата. То есть:

Бинго! Мы получили данные, которые стали нелинейными по отношению к исходному пространству признаков. Как видно из иллюстрации, они по-прежнему не являются линейно разделимыми. В данной ситуации на помощь приходит обучение нейросети, например, с использованием метода обратного распространения. Этот процесс регулирует матрицу преобразования и смещения, фактически перемещая и поворачивая базисные вектора. Таким образом, после тренировки нейросети и преобразования данных можно ожидать, что классификатор в виде логистической регрессии сможет построить разделяющую плоскость и линейно разделить данные.

Подытожим наш пример:

Изначально мы работаем с набором векторов, расположенных в двумерном векторном пространстве.
Применяя аффинное преобразование, мы переводим их в двумерное аффинное подпространство трехмерного пространства. Затем, используя нелинейную функцию активации, мы преобразуем данные нелинейно относительно входного пространства.
Далее, в процессе обучения с использованием метода обратного распространения ошибки, мы настраиваем базисные вектора двумерного подпространства таким образом, чтобы после применения функции активации данные становились линейно разделимыми на выходе скрытого слоя. Это делает их пригодными для классификации с помощью логистической регрессии на выходном слое.

Пример выше геометрически демонстрирует, почему линейные функции активации не подходят для работы с нелинейно разделимыми данными. Хотя в нашем примере мы использовали линейную функцию активации ситуация при общем случае останется аналогичной. Линейные функции активации не способны "изгибать" пространство входных данных при преобразовании, что необходимо для разделения нелинейных классов. Именно поэтому для работы с такими данными требуется использование нелинейных функций активации, которые позволяют моделям нейросетей эффективно преобразовывать пространство признаков, обеспечивая возможность линейного разделения в преобразованном пространстве.

Стоит отметить, что после применения нелинейной функции активации данные не всегда преобразуются в пространство, размерность которого совпадает с количеством нейронов (или размерностью каждого базисного вектора). В данном примере, после применения сигмоидной функции активации данные образуют трёхмерное подпространство в трёхмерном пространстве, то есть фактически становятся трёхмерными, но это является частным случаем.

При этом нам не обязательно увеличивать размерность базисных векторов на скрытом слое, хоть это и дает больше возможностей модели. Мы можем оставить их количество неизменным с последующим нелинейным преобразованием или даже уменьшить размерность, также используя нелинейные функции. Концепция преобразования пространства остаётся применимой и актуальной даже в случае, если нейросеть имеет несколько скрытых слоёв, то есть является глубокой, или для других архитектур нейронных сетей.

Рассмотрим подробнее выходной слой для нашего примера. Ранее я описывал его как логистическую регрессию для бинарной классификации. Но что такое логистическая регрессия, если не аффинное преобразование с последующим применением функции активации, которой, как правило, является сигмоида. Сам слой выглядит следующим образом:

Итак, сначала мы выполняем скалярное произведение двух векторов. Это операция, по сути, преобразует- мерный вектор в одномерное пространство. Важно отметить, что скалярное произведение – симметричная операция, то есть результат не зависит от порядка векторов: . Таким образом, не имеет значения, какой из векторов рассматривать как матрицу преобразования, а какой как преобразующий вектор. Однако в контексте нашей задачи матрицей преобразования, логичнее, если будут являться веса. После скалярного произведения мы добавляем смешение производя аффинное преобразование-мерного вектора в одномерное аффинное подпространство.

После этого применяем преобразование с помощью сигмоидной функции активации, которая, по сути, изменяет это одномерное подпространство. В итоге, математически имеем тот же скрытый слой, только в контексте нашей цели, того как преобразует этот слой наши данные, а так же вместе с функцией потерь, мы его интерпритируем для удобства как выходной слой.

2.2 Аффинное преобразование и применение функции активации как функции преобразования и суперпозиции суммы функций

Суперпозиция функций, известная так же как сложная функция или «функция функции», имеет видв случае суперпозиции суммы функций будет иметь вид .

И в целом это довольно очевидно по идее, что аффинное преобразование и применение функции активации схожи, так как обе функции и выполняют преобразование данных с одного пространства в другое и единственная разница как. Но сейчас мы их представим в виде суперпозиции суммы функций и применения функциональных матриц к векторам, что позволит более явно увидеть сходство и пригодится как основной момент в пункте с KAN.

Рассмотрим на примере который мы выше использовали.

Аффинное преобразование:

При аффинном преобразовании элементы результатирующего вектора будут иметь следующий вид :

При этом данное аффинное преобразованиеможно подать как сумму функций одной переменной, только функции будут вида (смещение для одной строки можно распределить как угодно по функциям внутри неё), и преобразованный вектор будет выглядеть следующим обаразом:

Функция активации:

Преобразование с помощью функции активации будут иметь следующий вид:

Но при этом это эквивалентно ситуации, где функции на главной диагонали являются функцией активации а остальные .

В общем виде каждое аффинное преобразование и применение функции активации можно рассмотреть подобным образом (если мы уже применили функциональную матрицу к вектору):

А так как мы рассматриваем как функции одной переменной, то можно объединить предыдущую активацию и следующее аффинное преобразование в одно преобразование подобного вида (как в формуле выше) и интерпретировать его как слой.
Потому что, в любом случае, итоговая функция будет функцией одной переменной из-за того, что функция активации применяется только по диагонали (т. е.), а значит:

По сути, определяя каждую функцию как

Хотя это всё и может показаться сперва контринтуитивным, так как мы в основном воспринимаем предыдущее аффинное преобразование и последующую активацию как один из слоёв, но это просто вопрос интерпретации.

3. Объяснение RBF нейронной сети (RBFN) и SVM, связь с MLP

В этом пункте я хочу показать, в чем же причина не использовать полиномиальные функции активации, связать SVM и MLP, пройти от линейного ядра к полиномиальному и Гауссовому, а также рассмотреть RBF нейронную сеть как альтернативу MLP, что будет важно в пункте с KAN. Бонусом также мы расширим RBF нейронные сети на многослойный случай и докажем для них теорему универсальной аппроксимации.

3.1 SVM как вид нейронной сети прямого распространения

В предыдущем пункте мы рассматривали частный случай сети прямого распространения в виде MLP, а теперь рассмотрим аналоги MLP в виде некоторых вариантов SVM и RBF нейронных сетей. Их любят разделять, но почему бы не рассмотреть их в контексте сходства.

SVM, как и MLP в классическом виде, строит гиперплоскость для разделения классов в задачах классификации. Единственное отличие заключается в том, что SVM при построении гиперплоскости необходимо максимизировать расстояние между самой гиперплоскостью и границами классов. Для этого применяется процесс квадратичной оптимизации.

Теперь рассмотрим математический аспект. При предсказении классов мы имеем в SVM такую формулу:

При тренировке решается, как уже говорилось, задача квадратичной оптимизации, но нас интересует то, что для этого нужно вычислить матрицу Грама, используя ядро попарно между нашими тренировочными данными –.

Теперь, по поводу самой функции ядра, теоретически обоснованным является использование функций, которые попадают под определение теоремы Мерсера (Mercer's theorem), то есть являются симметричными положительно полуопределенными (матрица Грама имеет неотрицательные собственные значения). Это позволяет им выполнять так называемый ядерный трюк (kernel trick).

Часто используемыми подобными ядрами являются:

• Линейное ядро:

• Полиномиальное ядро:

• Гауссово (RBF) ядро:

Ядерный трюк (kernel trick) — способ вычисления скалярного произведения в пространстве, сформированном функцией неявного преобразования. И выглядит это следующим образом:

Функция неявного преобразования принимает на вход наше множество данных и отображает его в новое пространство.

В данном пункте мы рассмотрим именно использование линейного ядра, где

Линейное ядро также попадает под определение теоремы Мерсера и способно выполнять ядерный трюк. Оно просто преобразует исходное пространство в себя и производит скалярное произведение.

Предлагаю рассмотреть SVM как нейросеть с тремя слоями, где входным слоем будет наша функция Скрытым слоем будет просто линейное преобразование. В этом слое матрица весов будет построена с использованием предварительно преобразованных тренировочных векторов, используя функцию Выходным слоем будет аффинное преобразование, где веса состоят из множителей Лагранжа и значений целевой функции для каждого тренировочного вектора.

При этом данный вариант мы не можем рассматривать как вариант MLP из-за того, что функция активации, то есть ядро является линейным. По сути, данная модель производит линейное и последующее аффинное преобразование и является полностью линейной.

Рассмотрим набор из тренировочных векторов:

где каждый вектор

Также рассмотрим набор из тестовых векторов:

где каждый вектор

Формулу нашей модели можно тогда подать как:

Для наглядности можно записать матрицы в развернутом виде:

Можно также переписать и саму формулу модели:

В обучении модели, конечно же, из-за использования квадратичной оптимизации, как было обсуждено в начале этого пункта, мы сначала строим матрицу Грама из тренировочных векторов.

После этого обучаем множители Лагранжа в матрице , и можем тестировать модель.

Все то, что мы рассмотрели выше, можно подать в виде схемы:

В реальности, конечно, будет использоваться ядро для уменьшения вычислительных затрат, и все будет выглядеть следующим образом:

Что соответствует формуле, которую мы рассматривали в самом начале этого пункта:

Ну, или в случае с линейным ядром, мы имеем формулу:

Несмотря на то, что структура модели для первой схемы и для второй одинакова, это является лишь частным случаем при линейном ядре, что будет видно в следующих примерах с другими ядрами.

3.1.1 Полиномиальное ядро

Возьмем вторую схему:

Теперь рассмотрим использование полиномиального ядра, в общем виде оно задано как:

Где– показатель степени полиномиального ядра.

Упростим для примера сделав и :

Представим теперь, как трехслойный MLP, используя вторую схему, тогда формула будет выглядеть так:

Фактически, мы просто заменяем функцию активации в предыдущем примере с линейным ядромна квадратичнуюна скрытом слое. Таким образом, в скрытом слое будет выполняться аффинное преобразование с последующей квадратичной функцией активации.

Однако, как я упоминал в предыдущем пункте про MLP, не все нелинейные функции активации изменяют размерность преобразованных данных, равную размерности базисных векторов. В общем случае для двумерных векторов при использовании квадратичной функции активации они будут образовывать максимум трёхмерное подпространство в произвольном- мерном пространстве.

И вот тут первая схема нам и пригодится:

Поэтому сейчас мы разберёмся с функцией чтобы понять, почему Хорник и Лешно утверждали, что нейронные сети с именно неполиномиальными функциями активации обладают свойством универсальной аппроксимации, а также почему использование полиномиальных функций активации в нейронных сетях не является популярным решением.

Для двумерных данных с полиномиальным ядром второй степени по определению функция выглядит подобным образом:

Вот доказательство:

И иллюстрация этого преобразования:

То есть, как мы можем увидеть, применение полиномиального ядра второй степени к двумерным данным всегда отображает их нелинейно в трёхмерное пространство и после этого производит скалярное произведение.

Для трёхмерных векторов с полиномиальным ядром второй степени:

Для двумерных векторов с полиномиальным ядром третьей степени:

Доказательство и анализ для общего случая.

Полиномиальное ядро степени(неотрицательные целые числа) с параметром сдвигаопределяется как:

Необходимо доказать, что существует такая функциячто:

и при этом размерностьпревышает размерностьдляи

Для этого мы воспозуемся мультиномиальной теоремой, которая обобщает биномиальную и триномиальную теоремы на случай произвольного количества слагаемых. Она гласит, что для любых вещественных чисели натурального числа

гдеи сумма

Подставляя это разложение обратно в выражение для ядра, получаем:

Исходя из данного преобразования мы можем выразитькак:

Где каждая компонентасоответствует уникальному набору мультииндексови определяется как:

Теперь проанализируем что происходит спри различныхи

• Еслии

  При фиксированной размерностии увеличении степенирастёт полиномиально относительно

  При фиксированной степении увеличении размерностирастёт экспоненциально относительно

• Для

  Полиномиальное ядро первой степени эквивалентно линейному ядру и функцияпреобразует данные в исходное пространство признаков.

• Для

  Функцияотображает входные данные в одномерное пространство признаков. ПриэквивалентПрипроизводит нелинейное преобразование в другое одномерное пространство.

То есть, если мы возьмём формулу SVM для первой схемы:

Матрица которая состоит из набора тренировочных векторов, предварительно преобразованных с помощью функциибудет иметь размергде– количество тренировочных векторов, а– количество элементов преобразованного тренировочного вектора с помощью функции

Если взять сядром для двумерных входных векторов, матрица будетдля – дляно для трёхмерных входных –

Ситуация с MLP и полиномиальной функцией активации аналогична, просто вместо тренировочных векторов мы используем заранее определённые веса.

Это и есть причина, почему Хорник и Лешно в своих работах указывали, что для универсальной аппроксимации функция активации нейронной сети не должна быть полиномиальной, так как это ограничивает возможности модели в увеличении размерности признаков после линейного или аффинного преобразования.

Непопулярность полиномиальных функций активации на практике объясняется двумя взаимосвязанными причинами. Во-первых, такие функции ограничивают размерность преобразованного пространства как мы уже обсудили. Во-вторых, при использовании метода обратного распространения ошибки для оптимизации возникает численная нестабильность при расчете градиентов по параметрам. С увеличением степени полинома, хотя размерность пространства растет и предоставляет модели больше возможностей, высокие степени могут вызывать нестабильность в вычислении градиентов. Таким образом, решая любую одну из проблем, мы всегда сталкиваемся с другой.

3.1.2 Гауссово ядро

Но перед тем как начать обсуждение этого пункта, необходимо ввести определение радиальной базисной функции в контексте данной статьи.

Радиальная базисная функция (RBF) будет являться вещественнозначной функцией, которая принимает вектор и вычисляет эвклидово расстояние до другого фиксированного вектора, который часто называют центром. То есть

В общем виде ее, конечно, можно расширить на различные виды норм для векторных пространств, а также на функциональные и другие виды.

Теперь перейдём к рассмотрению RBF (в данном случае гауссового) ядра и его вычислению скалярного произведения в бесконечномерном пространстве.

Доказательство того, что Гауссово ядро вычисляет скалярное произведение в бесконечномерном пространстве, и нахождение функции неявного преобразования.

Исходное выражение Гауссового ядра при

При этом эвклидово расстояние междуиможно разложить как:

Ряд Тейлора для экспоненты выглядит следующим образом:

Подставляяполучаем:

Вспомним определение мултиномиальной теоремы для любых вещественных чисели натурального числа

где и сумма

В нашем случае:

Применяя мультиномиальную теорему, получаем:

Подставляя разложение экспоненты и результат применения мультиномиальной теоремы в выражение дляполучаем:

Упрощая, получаем:

Мы знаем, что:

Исходя из преобразований выше мы можем определитькак:

Где каждая компонентасоответствует уникальному набору мультииндексови определяется как:

Таким образом, исходя из того, что функциявозвращает вектор с бесконечным количество компонент, а значит что любой входной вектор фиксированной размерности будет отображаться в бесконечномерное пространство признаков. Из этого следует, что используя гауссово ядро и выполняя ядерный трюк, мы фактически вычисляем скалярное произведение нелинейно преобразованных входных векторов в это бесконечномерное пространство.

Возьмем Гауссово ядро:

Возьмем также знакомую нам первую схему и рассмотрим её для Гауссового ядра:

Функция приопределяется как:

Где каждая компонентасоответствует уникальному мультииндексуи определяется как:

Пример для двух двумерных векторов – и

Собирая всё вместе,можно записать как:

Аналогично для :

Теперь вычислим скалярное произведение между и :

Теперь рассмотрим на примере SVM, что происходит с тренировочными и входными векторами, и что мы получим на выходе перед подачей в линейный классификатор. Для большей наглядности и уменьшения количества индексов я буду использовать в качестве тренировочных векторов двумерные векторы: в качестве тестового вектора –

Векторзадан подобным образом:

для и все аналогично.

Теперь построим матрицу преобразования, используя тренировочные векторы:

Преобразование с помощью функции Гауссового ядра даёт нам нелинейное отображение вектора в бесконечномерное пространство. Это позволяет нам построить матрицу преобразования размером, где – количество векторов для обучения в случае SVM, либо количество нейронов в более общем случае, а так же Кроме того, итоговый ранг матрицы, как и размерность результатирующего вектора, будут зависеть именно от значения Именно в этом заключается главная особенность использования Гауссового ядра в SVM. К примеру, выше мы преобразовали вектор из двумерного исходного пространства нелинейно в четырёхмерное пространство.

В случае с SVM в примере выше, мы преобразуем тренировочные вектора при помощи затем через матрицу преобразования создаём элементы, которые были созданы с помощью тех же тренировочных векторов и функции по сути создавая матрицу Грама. Затем эта матрица будет использоваться в процессе квадратичной оптимизации для обучения множителей Лагранжа в выходном слое. После обучения мы можем тестировать модель на новых векторах, таких как как мы и сделали выше.

Если мы возьмем вторую схему, где мы рассматриваем напрямую применение ядра:

Тогда формула SVM будет выглядеть следующим образом:

Но в отличие от линейного или полиномиального ядра, мы не можем представить данную нейронную сеть как MLP, поскольку вычисляем квадрат евклидова расстояния, а не скалярное произведение. Мы вернёмся к этому и рассмотрим более подробно в пункте про KAN. При этом SVM с RBF ядром является подмножеством RBF нейронной сети с определённым подходом к её построению и обучению. Поэтому предлагаю перейти к рассмотрению самой RBF нейронной сети.

3.2 RBF нейронная сеть

В предыдущем абзаце я уже говорил, что RBF-нейронная сеть применяет аналогичный подход как но более обобщённо: вместо тренировочных данных мы можем использовать любые случайные веса, поскольку они будут оптимизироваться в процессе обучения. Также нет необходимости фокусироваться на задаче максимизации расстояния между классами, использовании множителей Лагранжа или квадратичной оптимизации.

Таким образом, можно рассматривать как частный случай множества RBF-нейронных сетей. При этом любые RBF нейронные сети являются альтернативой MLP, так как если мы ее представим как композицию суммы функций, то каждая функция является не , а.

Одна из пионерских работ в области RBF нейронных сетей была написана Дж. Парком и В. Сандбергом. Там также предоставляется теорема универсальной аппроксимации для ограниченного количества слоев и произвольного количества нейронов.

Она гласит, что если ядроявляется интегрируемым, ограниченным и интеграл на всей области определения не нулевой, тогда:

является универсальным аппроксиматором в пространствахдля любого и пространтсвах непрерывных функций

По сути, выполняя данное преобразование, данная нейронная сеть способна аппроксимировать широкий ряд функций:

Где– это центры RBF ядра (веса),– ширина ядра.

При этом, несмотря на частое использование Гауссового ядра, существуют и другие известные ядра, которые также могут выполнять скалярное произведение в бесконечномерном пространстве, а именно:

• Inverse Quadratic RBF

• Inverse Multiquadric RBF

И сейчас я приведу для каждого доказательство:

Inverse Quadratic RBF

где и равны:

Приведение к форме, удобной для разложения:

При условии, что:

Можем использовать разложение в геометрическую прогрессию:

Таким образом, получаем:

Определяем компоненты функции преобразования:

{}где:

Здесь:

— тензорное произведение вектора с самим собой раз.

Вычисление скалярного произведения:

Inverse Multiquadric RBF

Тогда ядро можно записать как:

Как и в доказательстве в предыдущем ядре:

Тогда ядро переписывается как:

Для удобства вынесем за скобку:

Теперь наша цель – разложить выражение в степенной ряд:

Биномиальное разложение дляприи :

Исходя из разложения, компонентыможно определить как:

где:

Здесь:

— тензорное произведение векторас самим собой раз.

Скалярное произведение функций неявного преобразования будет:

Проверка сходимости разложения

Несмотря на то, что видно, что данные ядра вычисляют скалярное произведение в бесконеченомерном пространстве, это происходит при условии, когда вышеперечисленные ряды сходятся, поэтому сейчас проверим условие сходимости.

Условие сходимости геометрической прогрессии для обоих ядер:

По неравенству Коши-Буняковского:

Наша задача — показать, что:

Умножим обе части неравенства на знаменатель (так как знаменатель не равен нулю и всегда положителен):

Заметим, что:

Так как неравенство является справедливым:

То выполняется и данное условие:

3.2.1 Многослойная RBF нейронная сеть

То, что мы рассмотрели RBF-нейронную сеть с одним скрытым слоем, в целом можно экстраполировать на многослойную, где мы рекурсивно применяем набор RBF-ядер.

Для первого слоя:

Для второго слоя:

И так далее, до-го слоя:

Здесь:

• – центры RBF-нейронов на -м слое.

• – ширина ядра на -м слое.

• – количество нейронов на -м слое.

Но увы, многослойные RBF-нейронные сети не получили широкой популярности в сообществе. Исследований на эту тему крайне мало, обсуждений на форумах тоже практически не встретишь. Более того, мне так и не удалось найти формального доказательства того, что многослойная RBF-сеть обладает свойством универсальной аппроксимации. Поэтому я приведу это доказательство сам.

Теорема универсальной аппроксимации многослойной RBF нейронной сети

В данном доказательстве за основу будет использоватся работа Дж. Парка и В. Сандберга – «Universal Approximation Using Radial-Basis-Function Networks»

Теорема 1: Плотностьв (Park, J.; I. W. Sandberg, 1991)

Пусть – интегрируемая, ограниченная функция, непрерывная почти всюду и такая, что:

Тогда семейство​состоящее из конечных линейных комбинаций сдвигов функции

плотно вдля любого

Tеорема 2: Плотность ​ в с метрикой (Park, J.; I. W. Sandberg, 1991)

Пусть– интегрируемая, ограниченная и непрерывная функция, такая, что:

Тогда семейство​состоящее из функций вида:

гдеиплотно вотносительно метрики:

Теорема 3: Универсальная аппроксимация многослойными RBF сетями

Пусть– интегрируемая, ограниченная и непрерывная функция, такая что:

ине является константой. Предположим, что каждый скрытый слой сети имеет параметр сглаживания Тогда семейство многослойных RBF сетей с произвольным числом слоев и произвольным числом нейронов в каждом слое плотно в относительно равномерной аппроксимации на компактных множествах.

Доказательство:

Докажем это методом математической индукции по числу слоев.

Базовый случай ():

При сеть представляет собой стандартную RBF сеть с одним скрытым слоем.
Согласно теореме 2, семейство плотно в
Следовательно, утверждение верно для

Индуктивный шаг:

Предположим, что теорема верна для некоторого то есть любую функцию можно аппроксимировать равномерно на компактных множествах с помощью сети с слоями.

Теперь докажем, что утверждение верно для

Лемма 3.1: Композиция универсальных аппроксиматоров

Если функцию можно аппроксимировать с произвольной точностью функциями из семейства а функцию можно аппроксимировать с произвольной точностью функциями из семейства то композицияможет быть аппроксимирована композициями функций из и функций из

Доказательство:

Пусть и такие, что

Поскольку равномерно непрерывна на значениях функции существуеттакое, что

Выбирая достаточно малым, мы можем сделать ошибку аппроксимации произвольно малой.

Лемма 3.2: Композиция в многослойных сетях

Если функция может быть аппроксимирована с точностью сетью с слоями, и функция идентичности может быть аппроксимирована на компактном множестве с точностью дополнительным слоем (с использованием функций из​), то сеть с слоями аппроксимирует с точностью

Доказательство:

Пусть– аппроксимация функции сетью сслоями, так что

Пусть– функция идентичности, а – её аппроксимация дополнительным слоем, так что на значениях функции

Тогда аппроксимируетс ошибкой используя результат из леммы 3.1.

Лемма 3.3: Линейная комбинация универсальных аппроксиматоров

Линейная комбинация функций, каждая из которых может аппроксимировать любую функцию из определенного класса с заданной точностью, также может аппроксимировать любую функцию из этого класса с нужной точностью.

Доказательство:

Пусть аппроксимирует с для

Рассмотрим линейную комбинацию:

Выбирая коэффициентысоответствующим образом и минимизируя можно обеспечить для любого желаемого

Завершение индуктивного шага:

По индукционному предположению существует такая, что

Поскольку удовлетворяет условиям теоремы 2, функцию идентичности можно аппроксимировать на значениях функции с точностью

Функция ​ аппроксимирует с точностью

Используя лемму 3.3, можно настроить выходной слой (линейная комбинация выходов) для уменьшения ошибки до значения менее

Следовательно, сеть с слоями может аппроксимировать с точностью

По индукции, теорема 3 верна для всех

Следствие 3.1: Универсальная аппроксимация векторнозначных функций

Многослойные RBF сети с любым числом слоев и любым числом выходов являются универсальными аппроксиматорами для векторнозначных функций

Так как каждая компонента векторнозначной функции может аппроксимироваться независимо многослойной RBF сетью, как показано в теореме 3. Объединяя аппроксимации всех компонент, получаем аппроксимацию функции с нужной точностью.

Следствие 3.2: Универсальная аппроксимация в пространствах

Многослойные RBF сети являются универсальными аппроксиматорами в пространстве для любого

Используя теорему 1 и теорему 3, мы видим, что семейство плотно в Следовательно, многослойные RBF сети могут аппроксимировать любую функцию в с произвольной точностью.

Основная причина, почему этот подход остался в тени, кроется в том, как RBF-сети традиционно обучали. Обычно процесс выглядел так: данные сначала кластеризовали, центры кластеров брали в качестве параметров для RBF-нейронов, а затем настраивали веса только для линейного выходного слоя. В результате необходимость в многослойной архитектуре просто отпадала, делая её использование нелогичным и неоправданным.

Однако с развитием машинного обучения, когда стали массово применять метод обратного распространения ошибки, многослойные сети набрали большую популярность. Казалось бы, это должно было дать новый импульс и для многослойных RBF-сетей. Но увы, ассоциации с этим методом остались на уровне устаревшего подхода с одним скрытым слоем. Это, мягко говоря, несправедливо, ведь потенциал таких сетей гораздо шире.

В следующем разделе про KAN я более подробно покажу это, сравнив многослойные RBF-сети с другим, но подобным по концепции преобразования, вариантом KAN.

import torch
import torch.nn as nn

# ---------------------
# Классический RBF слой
# ---------------------

class RBF(nn.Module):
    def __init__(self, in_features, out_features, basis_func, per_dimension_sigma=False):
        """
        Arg:
            per_dimension_sigma (bool): 
                Если True, для каждого выходного нейрона и каждого входного признака обучается отдельное значение σ.
                Если False, для каждого выходного нейрона используется одно общее значение σ для всех входных признаков.
        """
        super(RBF, self).__init__()
        self.in_features = in_features
        self.out_features = out_features
        self.per_dimension_sigma = per_dimension_sigma
        self.basis_func = basis_func

        if self.per_dimension_sigma:
            self.log_sigmas = nn.Parameter(torch.Tensor(out_features, in_features))

        else:
            self.log_sigmas = nn.Parameter(torch.Tensor(out_features))

        self.centres = nn.Parameter(torch.Tensor(out_features, in_features))
        self.reset_parameters()

    def reset_parameters(self):

        nn.init.normal_(self.centres, mean=0.0, std=1.0)
        nn.init.constant_(self.log_sigmas, 0.0)

    def forward(self, input):

        B = input.size(0)
        x = input.unsqueeze(1).expand(B, self.out_features, self.in_features)
        c = self.centres.unsqueeze(0).expand(B, self.out_features, self.in_features)

        if self.per_dimension_sigma:
            sigma = torch.exp(self.log_sigmas).unsqueeze(0).expand(B, self.out_features, self.in_features)
            distances = ((x - c).pow(2) / sigma).sum(dim=-1)

        else:
            sigma = torch.exp(self.log_sigmas).unsqueeze(0).expand(B, self.out_features)
            distances = (x - c).pow(2).sum(dim=-1) / sigma

        return self.basis_func(distances)

def gaussian_rbf(distances):
    return torch.exp(-distances)

      
# -----------------------------------------------------
# RBF слой с использованием идеи SkipConnection(ResNet)
# -----------------------------------------------------
  
class RBFResBlock(nn.Module):
    def __init__(self, in_features, out_features, basis_func, per_dimension_sigma=False):
        super(RBFResBlock, self).__init__()

        self.rbf = RBF(in_features, out_features, basis_func, per_dimension_sigma)

        if in_features != out_features:
            self.skip_connection = nn.Linear(in_features, out_features)

        else:
            self.skip_connection = nn.Identity()

    def forward(self, x):

        rbf_output = self.rbf(x)
        skip_connection_output = self.skip_connection(x)
        return rbf_output + skip_connection_output

# ------------------------
# Пример модели с 4 слоями
# ------------------------
      
class ResMRBFN(nn.Module):
    def __init__(self, in_features, hidden_units1, hidden_units2, hidden_units3, out_features, per_dimension_sigma=False):
        super(ResMRBFN, self).__init__()

        self.rbf_block1 = RBFResBlock(in_features, hidden_units1, gaussian_rbf, per_dimension_sigma)

        self.rbf_block2 = RBFResBlock(hidden_units1, hidden_units2, gaussian_rbf, per_dimension_sigma)

        self.rbf_block3 = RBFResBlock(hidden_units2, hidden_units3, gaussian_rbf, per_dimension_sigma)

        self.linear_final = nn.Linear(hidden_units3, out_features)

    def forward(self, x):

        x1 = self.rbf_block1(x)

        x2 = self.rbf_block2(x1)

        x3 = self.rbf_block3(x2)

        return self.linear_final(x3)

import torch
import torch.nn as nn

# ---------------------
# Классический RBF слой
# ---------------------

class RBF(nn.Module):
    def __init__(self, in_features, out_features, basis_func, per_dimension_sigma=False):
        """
        Arg:
            per_dimension_sigma (bool): 
                Если True, для каждого выходного нейрона и каждого входного признака обучается отдельное значение σ.
                Если False, для каждого выходного нейрона используется одно общее значение σ для всех входных признаков.
        """
        super(RBF, self).__init__()
        self.in_features = in_features
        self.out_features = out_features
        self.per_dimension_sigma = per_dimension_sigma
        self.basis_func = basis_func

        if self.per_dimension_sigma:
            self.log_sigmas = nn.Parameter(torch.Tensor(out_features, in_features))

        else:
            self.log_sigmas = nn.Parameter(torch.Tensor(out_features))

        self.centres = nn.Parameter(torch.Tensor(out_features, in_features))
        self.reset_parameters()

    def reset_parameters(self):

        nn.init.normal_(self.centres, mean=0.0, std=1.0)
        nn.init.constant_(self.log_sigmas, 0.0)

    def forward(self, input):

        B = input.size(0)
        x = input.unsqueeze(1).expand(B, self.out_features, self.in_features)
        c = self.centres.unsqueeze(0).expand(B, self.out_features, self.in_features)

        if self.per_dimension_sigma:
            sigma = torch.exp(self.log_sigmas).unsqueeze(0).expand(B, self.out_features, self.in_features)
            distances = ((x - c).pow(2) / sigma).sum(dim=-1)

        else:
            sigma = torch.exp(self.log_sigmas).unsqueeze(0).expand(B, self.out_features)
            distances = (x - c).pow(2).sum(dim=-1) / sigma

        return self.basis_func(distances)

def gaussian_rbf(distances):
    return torch.exp(-distances)

      
# ---------------------------------------
# RBF слой с использованием идей DenseNet
# ---------------------------------------
     
class RBFDenseBlock(nn.Module):
    def __init__(self, in_features, out_features, basis_func, per_dimension_sigma=False):
        super(RBFDenseBlock, self).__init__()

        self.rbf = RBF(in_features, out_features, basis_func, per_dimension_sigma)

    def forward(self, x, previous_outputs):

        combined_inputs = torch.cat(previous_outputs, dim=1)

        rbf_densenet_output = self.rbf(combined_inputs)

        return rbf_densenet_output

      
class TransitionLayer(nn.Module):
    def __init__(self, in_features, out_features):
        super(TransitionLayer, self).__init__()

        self.transition = nn.Sequential(
            nn.Linear(in_features, out_features),
            nn.Mish(),
        )

    def forward(self, x):
        return self.transition(x)      

      
# ------------------------
# Пример модели с 4 слоями
# ------------------------

def gaussian_rbf(distances):
    return torch.exp(-distances)


class DenseMRBFN(nn.Module):
    def __init__(self, in_features, hidden_units1, hidden_units2, hidden_units3, out_features, per_dimension_sigma=False):
        super(DenseMRBFN, self).__init__()

        self.rbf_block1 = RBFDenseBlock(in_features, hidden_units1, gaussian_rbf, per_dimension_sigma)
        self.transition1 = TransitionLayer(in_features + hidden_units1, hidden_units1)

        self.rbf_block2 = RBFDenseBlock(in_features + hidden_units1, hidden_units2, gaussian_rbf, per_dimension_sigma)
        self.transition2 = TransitionLayer(in_features + hidden_units1 + hidden_units2, hidden_units2)

        self.rbf_block3 = RBFDenseBlock(in_features + hidden_units1 + hidden_units2, hidden_units3, gaussian_rbf, per_dimension_sigma)
        self.transition3 = TransitionLayer(in_features + hidden_units1 + hidden_units2 + hidden_units3, hidden_units3)

        self.linear_final = nn.Linear(hidden_units3, out_features)

    def forward(self, x):
        outputs = [x]

        x1 = self.rbf_block1(x, outputs)
        outputs.append(x1)
        x1 = self.transition1(torch.cat(outputs, dim=1))

        x2 = self.rbf_block2(x1, outputs)
        outputs.append(x2)
        x2 = self.transition2(torch.cat(outputs, dim=1))

        x3 = self.rbf_block3(x2, outputs)
        outputs.append(x3)
        x3 = self.transition3(torch.cat(outputs, dim=1))

        return self.linear_final(x3)

4. Объяснение архитектуры KAN: Kolmogorov-Arnold Networks

Для начала предлагаю определить ключевые термины в контексте данного раздела, чтобы избежать путаницы в дальнейшем.

KAN – семейство нейронных сетей прямого распространения имеющих следующий вид:

То есть искомую функцию можно разложить на суперпозиции суммы функций одной переменной В последнем слое индекс означает, что функция может быть векторозначной.

Где каждая сумма (слой) представляет собой преобразование подобного рода:

B-spline KAN – частный случай KAN при

Нейронная сеть будет иметь следующий вид:

Где каждый слой представляет собой преобразование подобного рода:

Официальная реализация B-spline KAN доступна в репозитории pykan на GitHub.

Хочу также уточнить, что авторы оригинального исследования определяют также KAN, но остановились на B-сплайнах как удобном выборе для параметризации этих одномерных функций. Они просто рассматривают реализацию, тогда как моя цель – обобщить многие архитектуры, используя их расширение теоремы Колмогорова-Арнольда на произвольный случай. Поэтому я и назвал их реализацию B-spline KAN, отделив её от KAN.

4.1 MLP как частный случай KAN

Мы уже рассматривали аффинное преобразование и применение функции активации как суперпозицию функций одной переменной в пункте: 2.2 «Аффинное преобразование и применение функции активации как функции преобразования и суперпозиции суммы функций».

Если мы сравним это со слоем в KAN, то увидим, что функция активации и последующее аффинное преобразование составляют один слой в KAN. Первый слой, очевидно, будет состоять из линейных функций. И в контексте данной интерпретации все функцииявляются обучаемыми, хоть и не могут аппроксимировать в большинстве своем функции одной переменной. Это связано с тем, что они, по сути, являются масштабированными функциями активации, которые также в большинстве своем не обладают данной возможностью.

Тем самым можно заключить логичный вывод, что MLP является частным случаем KAN. Несмотря на то, что KAN и MLP являются подвидами нейронных сетей прямого распространения, KAN обобщает MLP на случай произвольных функций одной переменной.

Но также предлагаю рассмотреть, что из себя представляет часть существующих теорем универсальной аппроксимации для MLP в контексте KAN. Для начала рассмотрим теорему Цыбенко, которая утверждает, что нейронные сети с одним скрытым слоем и произвольным числом нейронов, использующие сигмоидные функции активации, обладают свойством универсальной аппроксимации.

Это идентично KAN с двумя слоями:

В первом слое все функции будут линейными, а во втором используются сигмоидные функции активации и масштабирующие коэффициенты для каждой из них.

Первый слой:

И второй выходной:

В итоге мы получаем модель, в которой сначала выполняется аффинное преобразование в определённое подпространство- мерного пространства, затем применяется сигмоидная функция активации, после чего выполняется ещё одно аффинное преобразование и на выходе получается скаляр (для векторнозначных функций – вектор).

И в контексте KAN, теорему универсальной аппроксимации Цыбенко можно рассмотреть как теорему, которая определяет структуру KAN, которая обладает свойствами универсальной аппроксимации.

Также предлагаю рассмотреть случай ограниченной ширины и глубины нейронной сети, взяв к примеру теорему универсальной аппроксимации Н. Кулиева и В. Исмаилова из данной работы.

Котоорая гласит, что любая непрерывная функция, определённая на -мерной области, может быть аппроксимирована нейронной сетью с двумя скрытыми слоями и сигмоидными и функциями активации:

Первый слой:

Второй слой (выходной):

Собственно также, как и в случае с теоремой Цыбенко, здесь мы определяем структуру KAN с ограниченной шириной и глубиной, которая обладает универсальной аппроксимацией.

Ну и рассмотрим теоремы универсальной аппроксимации для случая произвольной ширины и глубины, которые упоминались в начале раздела про MLP, а именно теоремы Хорника и Лешно. Если рассматривать эти случаи в контексте KAN, то первый слой представляет собой аффинное преобразование, а последующие слои – преобразования, состоящие из масштабированных функций активации. При этом функция активации одинакова для всего слоя. В случае Хорника она должна быть непрерывной, ограниченной, неконстантой и неполиномиальной, а в случае теоремы Лешно допускаются кусочно-непрерывные функции и лишь локально ограниченные, а также не являющиеся полиномами почти всюду.

Где во входном слое фукнции а во всех остальных –

4.2 Теорема Колмогорова — Арнольда

Исследователи из MIT, предложив архитектуру B-spline KAN, вдохновились теоремой Колмогорова-Арнольда о представлении функций и расширили её. Однако в данном случае я предлагаю рассмотреть не архитектуру KAN через призму теоремы Колмогорова-Арнольда, а наоборот, что представляет собой теорема Колмогорова-Арнольда в контексте архитектуры KAN.

Андрей Колмогоров и Владимир Арнольд установили, что еслиявляется функцией нескольких перменных, то может быть записана как конечная композиция непрерывных функций одной переменной и операций сложения:

И хотя это не теорема универсальной аппроксимации, так как она утверждает просто о способности разложения функции, в контексте архитектуры KAN теорему Колмогорова-Арнольда можно рассматривать как теорему, определяющую структуру сети KAN и образующую подмножество сетей с ограниченной шириной и глубиной.

Однако можно рассмотреть её вариант, который очевидно является элементом множества KAN и, в том числе, элементом подмножества KAN, в виде MLP. Мы уже разбирали его в предыдущем пункте, а именно – теорему универсальной аппроксимации Н. Кулиева и В. Исмаилова для двухслойного MLP. В качестве основы для доказательства они использовали теорему Колмогорова-Арнольда, по сути доказывая, что частный случай теоремы способен аппроксимировать любую непрерывную функцию на компактном множестве, с контролируемой ошибкой аппроксимации.

При этом интересно, что Теорема Колмогорова-Арнольда появилась задолго до известных архитектур 1990-х годов. Более того, она была опубликована в тот же год, когда Фрэнк Розенблатт предложил идею перцептрона – в 1957 году. И только спустя 67 лет исследователи из MIT, вдохновившись этой теоремой, предложили идею для создания KAN, который объединяет огромное количество вариантов сетей прямого распространения.

4.3 B-spline KAT и B-spline KAN

Рассмотрим для начала B-spline теорему Колмогорова-Арнольда (B-spline KAT). Мы уже обсуждали, что можем представить MLP в контексте KAN как нейронную сеть с первым слоем аффинного преобразования, где каждая функция имеет вид и последующими преобразованиями, где функция в общем виде в которой заранее определена для всего слоя.

Несмотря на то, что функции являются обучаемыми, при использовании популярных функций активации, к примеру ReLU, Mish, Swish (SiLU), GELU, функции по сути могут аппроксимировать с заданной точностью крайне маленький класс функций. Поэтому мы можем переопределить KAN, заменив все функции на произвольные B-сплайны, которые обладают куда большей возможностью аппроксимирования, что потенциально может дать больше гибкости модели, а также избавит от проблем выбора конкретной функции активации. Собственно, данный подход и предложили исследователи из MIT как вариант реализации KAN, а также выдвинули и доказали теоретическую часть для этого:

Теорема утверждает, что если целевая функция представлена как последовательность преобразований:

где каждое – это непрерывно дифференцируемая функция- раз.
То её можно эффективно аппроксимировать с помощью B-сплайнов.

При этом точность аппроксимации будет зависеть от параметра который представляет шаг сетки аппроксимации. Для любых ошибка аппроксимациичерез B-сплайны в - норме будет оцениваться rак:

где:

• – шаг сетки (чем меньше, тем точнее будет аппроксимация),

• – константа, зависящая от функции и её преобразований,

• – степень гладкости исходных функций ,

• – порядок производной, до которого измеряется точность.

В контексте KAN данная теорема определяет структуру KAN и предоставляет аппроксимацию любой функции в пространстве непрерывных функций, обладающих непрерывными производными порядкана компактном множестве– то есть вПри этом множествоявляется подмножеством пространства непрерывных функций

И хотя в оригинальном исследовании B-spline KAT предлагаются как альтернатива традиционным теоремам универсальной аппроксимации, её природа аналогична, так как она также утверждает, что существует такая последовательность преобразований и что при достаточном количестве нейронов мы можем аппроксимировать любую функцию из определённого множества функций с заданной точностью в пределах Таким образом, B-spline KAT можно также отнести к их числу!

Теперь перейдём к B-spline KAN. Вспомним, что в нем каждая из функций одной переменной задается как:

Можно, конечно, интерпретировать, что мы берем модель из B-spline KAT, состоящую из композиции сумм B-сплайнов, добавив просто взвешенную функцию активации от входного вектора. Однако по сути мы берем MLP сгде вместо константной функции в виде смещениямы используем B-сплайныОчевидно, что сплайны могут без проблем аппроксимировать на компактном множестве константную функцию, а значит, теоретически данная модель может сойтись либо к чистому MLP, либо к модификации MLP. Это, в свою очередь, означает, что B-spline KAN в реализации, которую предложили в официальном репозитории pykan, больше напоминает модификацию MLP, чем альтернативную модель, предложенную в B-spline KAT.

4.4 SVM и RBF нейронная сеть как частный случай KAN

Мы уже знаем, что SVM можно представить как нейронную сеть прямого распространения и в некоторых случаях как MLP. В данном случае с линейным ядром, как в общем виде, так и с его разложением, у нас будет, по сути, два слоя с линейным и аффинным преобразованием.

Если представить в формате KAN, то это будет выглядеть следующим образом:

С полиномиальным ядром всё в целом аналогично: если не использовать разложение с помощью функции то мы просто изменяем выходной слой и добавляем смещение во входной слой, производя аффинное преобразование, а не линейное.

А вот с разложением с помощью функции всё посложнее. Мы знаем, что формула для SVM выглядит подобным образом (еслисостоит из нулей):

Возьмем простой и привычный пример для двумерных входных данных:

Нам было бы очень интересно подать в виде:

Однако последний элемент в видевсё портит. Безусловно, мы его можем разложить подобным образом:

Но увы, данный вариант не будет работать для произвольного случая. К примеру, для полиномиального ядра третьей степени степени для двумерного входного вектора появляется член – а его разложение будет выглядеть следующим образом:

Как можно увидеть, тут не обойтись без функции двух переменных, которая также раскладывается и так бесконечное количество раз. Для произвольного случая все аналогично, и это можно вывести, используя мультиномиальную теорему.

Существует вариант разложить подобным образом:

Но условие положительности, накладываемое логарифмом, мешает определить конечный знак данного произведения. Мы можем использовать знаковую функцию в виде комплексного члена. И тогда наше преобразование будет выглядеть следующим образом:

Исходя из этого всего, можно увидеть, что преобразование с помощью функции , что можно разложить на два слоя KAN.

Теперь рассмотрим RBF-нейронную сеть с одним скрытым слоем и произвольным количеством нейронов в контексте KAN, но уже с использованием ядерного трюка, как это предложено в теореме универсальной аппроксимации (Дж. Парк, В. Сандберг), которую мы обсуждали в пункте 3.2 «RBF нейронная сеть». В контексте KAN её можно воспринимать как теорему, которая формирует KAN для приближения широкого класса функций. Аналогично обсуждаемым ранее теоремам, её структура будет выглядеть следующим образом:

1. Первый слой:

2. Второй слой:

   • Гауссово ядро:

   • Обратное квадратичное ядро (Inverse Quadratic):

   • Обратное мультиквадратичное ядро (Inverse Multiquadric):

Для теоремы универсальной аппроксимации RBF-нейронной сети с произвольным количеством скрытых слоев и нейронов, которую я доказывал в пункте 3.2.1 «Многослойная RBF нейронная сеть», всё аналогично. Она также формирует KAN и выглядит всё так:

• Для

• Для

• Для

4.4.1 Многослойная RBF нейронная сеть (MRBFN) vs FastKAN

Вскоре после выхода исследования про KAN была выпущена модель, которая вместо использования B-спланов использует Гауссово ядро. Сама модель доступна на GitHub, а также её описание на arXiv.

Цель данного сравнения – показать, что, несмотря на то, что с первого взгляда мы получаем KAN с RBF-ядрами, который быстрее B-spline KAN и по точности ± такой же, и как бы всё отлично, но у нас уже существует подобный KAN в виде многослойной RBF-нейронной сети, который ничем не хуже.

Архитектура FastKAN выглядит следующим образом:

• Для

• Для

Из пункта 3.2 мы знаем, что преобразование с помощью слоя RBF-нейронной сети (кроме выходного) выглядит следующим образом:

То есть разница в том, что в случае RBF-нейронной сети мы применяем Гауссово ядро между всем входным вектором и вектором веса, когда в FastKAN мы применяем между каждым элементом входного и вектора веса, а потом суммируем.

Для выполнения поставленной задачи нужно выполнить, по сути, данное сравнение в плане скорости и сложности преобразования.

По сути, нам достаточно сравнить преобразование, которое приводит в обоих случаях к элементу результирующего вектора. Это без проблем обобщается на весь слой и всю модель, то есть:

Функциидля входных векторов размерностью больше двух в итоге дадут идентичный логический вывод из-за свойств функции. Поэтому рассмотрим на привычных двумерных векторахи Одномерный случай мы проанализируем после. Также в качестве примера ядра я буду использовать Гауссово. Для обратного квадратического и обратного мультиквадратического вывод идентичен, или для ядер, которые обладают теми же свойствами. Также сумма мультииндексов ограниченаи для удобства

Начнем с:

И теперь перейдем к

Как мы можем заметить, разница в том, что для вычисления ядра между векторами у нас экспоненциальный множитель учитывает все элементы векторов, а также появляются смешанные члены вроде

Поэтому, выразим с помощью:

Как мы можем увидеть, каждый элемент преобразования учитывает не просто экспоненту от суммы конкретных квадратов двух элементов, а от всех элементов двух векторов. Также мы учитываем совместные члены, которые учитывают множитель экспоненты от всех членов двух векторов. В совокупности это даёт очевидно больше возможностей для учета взаимосвязи между входными признаками, а значит, потенциально более высокую точность в задачах.

В контексте KAN в случае с RBF-нейронной сетью мы по сути имеем дополнительные слои при представлении сети с использованием функции Как мы обсуждали, можно разложить, используя экспоненту от суммы логарифмов с контролем знака, используя фазу данного числа в комплексной плоскости, что даёт дополнительный слой, в то время как в FastKAN подобных дополнительных слоев нет.

Теперь перейдём к скорости. Довольно очевидно, что для входных векторов с размерностью больше или равной двум RBF-нейронная сеть с использованием ядерного трюка будет всегда быстрее, чем FastKAN.

В случае с одномерным входным вектором RBF-нейронная сеть и FastKAN равны и по преобразованию, и по скорости.

То есть в итоге мы имеем более быструю и потенциально более точную модель.

4.5 Проклятье и благословение размерности

При обсуждении проклятия размерности часто игнорируют благословение размерности, считая его учтённым по умолчанию, что ошибочно. Эти явления являются двумя сторонами одной медали: увеличение размерности может как приносить преимущества, так и создавать недостатки в зависимости от контекста и подхода к решению задачи.

Проклятие размерности – термин, описывающий различные проблемы, которые возникают при анализе и обработке данных в многомерных пространствах, но не проявляются в пространствах с малым количеством измерений, например в привычном трёхмерном пространстве. Этот термин был введён Ричардом Беллманом в 1957 году.

Благословение размерности – термин, который, вопреки ожиданиям о проклятии размерности, указывает на то, что в высокоразмерных пространствах могут возникать и положительные эффекты, позволяющие решать задачи проще, чем ожидалось. Он был введён в конце 1990-х годов Дэвидом Донохо.

Суть проклятия размерности в том, что при увеличении числа измерений объём пространства растёт экспоненциально быстро, а имеющиеся данные становятся «разреженными», то есть их оказывается слишком мало для надёжного анализа. Это особенно важно, когда количество данных невелико относительно внутренней размерности самих данных. При этом также может экспоненциально расти сложность модели при увеличении количества измерений входных данных.

Также часто пространство начинает демонстрировать явление концентрации меры: величины, зависящие от случайных переменных, в высоких размерностях концентрируются вокруг своих средних значений, и вероятность больших отклонений стремится к нулю. К примеру, так ведут себя нормы векторов, скалярные произведения, углы между векторами, эвклидовы расстояния и т. п.

Однако все эти выводы в основном опираются на синтетические сценарии. На практике же нередко преобладает благословение размерности.

Суть в том, что машинное обучение связано с отнесением экземпляров к их источникам, а классовые метки символизируют разные процессы. Аргумент о проклятии исходит из предположения, что все данные приходят из одного процесса. Если бы это было так, машинное обучение теряло бы смысл. Однако, если учесть несколько процессов, потеря контраста может стать полезной, так как помогает находить ближайший и наиболее связанный экземпляр, делая расстояния более значимыми в высоких размерностях. На практике вектора часто подвержены одинаковым внутриклассовым корреляциям между признаками внутри одного и того же класса. Это приводит к тому, что эффективная размерность одного класса оказывается ниже, чем всё пространство данных, а значит, позволяет моделям машинного обучения разделять классы более эффективно.

Теперь перейдём к MLP. Стереотип о том, что эти сети подвержены проклятию размерности, выглядит чрезмерно громким, так как они (как и многие другие модели машинного обучения) в одних условиях могут страдать от проклятия размерности, а в других – нет. Всё зависит от конкретных обстоятельств, в которых мы их рассматриваем. В контексте нейронных сетей, и в частности MLP, обычно говорят об экспоненциальном росте сложности самой модели при увеличении входного пространства признаков и определённой желаемой точности.

К примеру, есть исследование Эндрю Р. Баррона «Оценки универсальной аппроксимации для суперпозиций сигмоидной функции», в котором анализируется MLP-архитектура, предложенная Цыбенко. Баррон доказывает, что при сходимости данного интеграла (нормы Баррона):

где – это преобразование Фурье целевой функцииколичество нейронов, необходимое для достижения заданной точности аппроксимации, растёт полиномиально, а не экспоненциально с увеличением размерности входных данных. То есть, если преобразование Фурье целевой функции не содержит больших высокочастотных элементов и убывает достаточно быстро, то проклятие размерности можно считать разрушенным.

Всё аналогично и для B-spline KAT: предложенная модель также разрушает проклятие размерности, но лишь при соблюдении ряда условий. А именно, если целевую функциюможно разложить на блокиобладающие непрерывными производными порядкаи при этом константав ошибке аппроксимации не растёт экспоненциально с увеличением размерности входных данных, то тогда проклятие размерности можно считать разрушенным.

Кстати, на MathOverflow есть обсуждение, в котором ставят под сомнение точность утверждения о разрушении проклятия размерности и просят уточнить условия.

В целом же это одна из проблем множества статей, рассматривающих B-spline KAN, поскольку некорректно утверждать, что MLP якобы подвержен проклятию размерности, а KAN – нет. На деле всё определяется конкретными предположениями и условиями применения той или иной модели.

4.6 Итог и обобщение информации с помощью множеств

В этой статье одной из целей, которую я ставил, было показать, что многие известные архитектуры сетей прямого распространения можно объединить и рассматривать через призму KAN, даже те, которые с первого взгляда не являются ими. Это дает возможность лучше понять, в чем они схожи и чем отличаются.

Также предлагаю теперь посмотреть как то, что мы обсуждали, будет выглядеть в контексте множеств. Однако сразу предупреждаю, что данная визуализация не охватывает все варианты и подмножества которые мы обсуждали, а для удобства восприятия включены только основные. В качестве примера пересечения множеств можно рассматривать комбинацию двух вариантов.

Список еще некоторых вариантов KAN можно найти в данном репозитории на GitHub.

И напоследок хотел сказать, что в планах так же написаь статью, где я покажу 2 новых варианта KAN. На данный момент в интернете подобные реализации мне еще не встречались.

Так что будет интересно!