В апреле практиками-исследователями и математики анонсировали новую архитектуру нейросетей. Крупного резонанса открытие не принесло, хотя с нашей точки зрения, KAN может претендовать на интересную технологию Важнее, что это не просто новая вариация трансформера или исправленная рекуррентная нейронная сеть – это новый подход к нейросетям в принципе, новая архитектура вместо MLP.

Мы написали большую статью по KAN со всеми подробностями, здесь мы совсем кратко пробежимся по основным положениям архитектуры и ее проблемах для самых неподготовленных читателей. 

Но надеемся, что некоторое понимание базовой линейной алгебры и математического анализа присутствует. 

MLP – обычная полносвязная нейросеть, где благодаря послойной активации нейронов мы получаем какой-то конечный результат (данные) на последнем слое. Похоже на имитацию действия мозговых нейронов: благодаря передаче импульса от нейрона к нейрону – мы получаем результат в виде ассоциации, воспоминаний...

Так вот суть KAN сводится к переносу акцента с “активации нейронов” к активации “связей” между ними. 

Конечно, сами связи никуда не деваются, но. Теперь вместо обычных весовых отношений между нейронами – мы получаем обучаемые функции активации – связываем нейроны B-spline’ами. Веса – это такие числовые коэффициенты, которые определяют уровень активации нейронов. Больше вес – сильней сигнал.

Нейросети с большим числом слоев превращаются в черный ящик. Мы не можем понять, как конкретно числовые значения отвечают за те или иные признаки — и как именно признаки в них преобразуются. Поэтому внутренняя часть нейросети нам недоступна.

Напомним, как выглядит классическая формула MLP: 

MLP – базовый уровень устройства нейросетей, на подобной архитектуре работают и другие модели: от генеративных до рекуррентных. Поэтому KAN немного переворачивает подход.

Kolmogorov-Arnold Network (KAN) использует B-сплайны для аппроксимации функций из-за их вычислительной эффективности, локальной поддержки, которая снижает сложность обработки, и способности обеспечивать гладкость и гибкость представления функций. 

Аппроксимация здесь / восстановление функции – практически восстановление закономерностей из данных.

Ключевое слово – локальность. Именно локальность позволяет нам гибко перестраивать функции – этим обеспечивается “обучаемость” кривых. B-сплайны позволяют точно моделировать нелинейные зависимости, легко реализуются и предлагают контроль над параметрами аппроксимации… 

Гибкость позволяет нейросети обучать функции активации так, чтобы получить наилучший результат. Функции активации в нейронных сетях помогают решить, активируется ли нейрон (будет ли он передавать сигнал дальше) или нет.

Для начала стоит вернуться к ключевой задаче нейросети – нахождении закономерностей и скрытых зависимостей. Выбирается датасет (упорядоченный набор данных), который становится источником входных данных. На выходе благодаря активациям и обработке мы получаем конечный результат. Основная вычислительная задача – аппроксимация многомерной функции. 

Но "Проклятие размерности" — это проблема, с которой сталкиваются нейросети, когда работают с данными высокой размерности, то есть с большим числом признаков или переменных. Тут мы расписали о ней подробнее.

– мы можем положить в аргументы разыскиваемой функции много признаков. А наши аргументы, точнее их число – это размерность функции. 

В простых терминах, чем больше измерений (или признаков) у данных, тем труднее становится анализировать их и строить модели, которые бы хорошо работали.

Хотим классифицировать в нашей нейронке по тысячам признаков – тогда предлагайте данных , где — количество точек данных на одно измерение. 

Модели могут хорошо работать на тренировочных данных, но плохо обобщаться на новые, невидимые данные, так как в высоких размерностях вероятность переобучения вырастает в разы. 

Но, что нам делать то с этой суперпозицией функции (разными аргументами) и не потерять данные, не втягиваться в костыли? – разбить функцию на простые нелинейные функции… 

Многомерную функцию, множество значений которой – буквально сотни комбинаций пар (если вы решили исследовать функцию с множеством переменных) можно перевести в простые, человеческие одномерные действительные числа…. 

Мы можем превратить “многомерность” в “одномерность”. 

Больше не нужно решать проблемы с десятками и сотнями размерностей данных – теперь мы работаем в одном измерении. 

Так гласит теорема Колгоморова-Арнольда. 

Еще точнее: любую функцию в суперпозиции можно представить в виде суммы нелинейных “одномерных функций”. 

Наверное, все помнят еще со школы те самые функции, где нужно найти “область определения”... 

Такие функции можно разложить. Общая формула выглядит так:

Мы суммируем “одномерные” функции с двумя/одной переменными и получаем исходную функцию с множеством признаков/аргументов. Если вам больше интересна математическая сторона вопроса, переходите по ссылке.

Теперь кодеры могут использовать символьные формулы. 

B-spline в этой формуле играют роль функций, которые можно задавать кусками (только те области значений, которые нам нужны), а еще гибко управлять ими. 

Лучше показать визуально: 

Касательные – благодаря им строятся изменения в сплайнах. 

Подвинули касательную – изменили поведение графика нелинейной функции, B-spline. Касательные, как мы помним еще со школы, строятся через линейные функции На графиках они показывают скорость убывания или возрастания значений функции. 

Вычисление конкретной скорости в отдельной точке – производная функции. Естественно, чтобы адекватно менять сплайны – нам нужно, чтобы эта “скорость” графика менялась равномерно без скачков. Функции, где производные меняются последовательно, грубо говоря, называют гладкими. 

Но тут возникает ключевая проблема. А кто сказал, что при разложении функции от многих переменных по теореме Колгоморова-Арнольда мы будем получать только сумму нелинейных и гладких функций? 

Одна из проблем KAN – мы можем получать фрактальные функции в сумме многомерной функции. 

Фрактальные функции, область значений которых выходит в комплексные числа. Комплексные числа — расширенная версия действительных/обыденных чисел. Зачастую формулы фракталов сложны и пугающи, считать их даже без учета комплексных чисел сложно. 

С другой стороны, такой подход по теореме предлагает нам возможность переписать стандартный MLP и подойти к нейросетям с новой стороны – теперь мы ищем закономерности, обучая функции активации B-spline. 

Они гибкие и легко поддаются изменениям из-за своей локальности, активно обучают другие функции активации. 

Получается, что стандартная формула нейросетей переписана, процесс приближения к изначальной функции (закономерности) становится эффективнее. Бенчмарки на тестах показали растущую эффективность в 10 раз, но мы жертвуем “скоростью” обучения, которая пропорционально уменьшается – в те же 10 раз. 

Конечно, интересно, как подобную архитектуру реализуют на популярных фреймворках Keras и TensorFlow. Мы написали большой материал, где рассматриваем архитектуру подробнее. Там мы оставили вариант реализации архитектуры на PyTorch и пример работы с официального Гитхаба KAN на библиотеке PyKAN, специально заточенной под нейросеть Колмогорова-Арнольда. 

Если вам хочется сразу перейти к делу на основе примеров – заходите в репозиторий KAN на Гитхабе. 

И сразу переходите к блокноту с кодом и объяснениями или читайте документацию. 

Для математиков полный вариант статьи можно почитать на английском – тут.