27.08.2026 14:07
Ir1na 0 7400 Источник

Структура слоев нейросетей была исследована во множестве работ: градиентный спуск, методы forward и backward pass изучены достаточно глубоко. Но тем не менее большинство нейросетей работают как черные ящики: обновляются миллионы параметров, берутся композиции тысячи функций и, если все это распараллелить, результат получается быстрее, чем мы успеем подумать о запутанности и красоте системы. Попытки формализовать эту строгую систему, понять ее, чтобы сделать лучше продолжаются до сих пор. Такая наука как математика является одним из главных инструментов при препарировании сложного организма искусственного интеллекта.

В статье «Modular Duality in Deep Learning» (MIT CSAIL) предлагается формализовать задачу для разных модулей (линейного, модуля эмбеддингов и тд). Данная работа является кратким и структурированным обзором на идею авторов.

Начнем сначала: градиентный спуск используется повсеместно для поиска минимума функции потерь (лосс‑функции). Многие знают как обновляются веса нейросети, но с математической точки зрения корректна ли эта операция? Таким вопросом задались авторы обозреваемой статьи. На самом деле, если углубиться в математику, становится ясно, что вектор принадлежит векторному пространству, а градиент — сопряженному и является функционалом от вектора (или ковектором). Таким образом, авторы настаивают, что перед обновлением весов требуется применение некоторого двойственного отображения, которое переведет нас в нужное пространство, где операция вычитания станет корректной. Но зачем так усложнять, если все и так работает? Проблема в том, что функция потерь может иметь разную гладкость (кривизну) в разных направлениях пространства весов. Обычный градиент никак не учитывает эту однородность. Авторы сами с лёгкой самоиронией замечают:

This restriction may seem absurd! After all, here the weight space W and its dual W^* are both just \mathbb{R}^n. However, insisting upon this type check serves to remind us that the curvature of the loss function may be highly heterogeneous.

Этой фразой они подчёркивают, что формальный подход — не бюрократия, а способ не забывать о скрытых свойствах лосса.

Дабы исправить эту неточность, авторы определяют двойственное отображения по заданной норме в векторном пространстве как:

dualize_{\| \cdot \|} g := argmax_{t \in \mathbb{R}^n: \| t \| = 1} (g^Tt).

Например, для евклидового пространства это будет выглядеть так:

g^T t = \sum_{i = 1}^n g_i^T t_i \le \|g \|_2 \cdot \| t \|_2 \ \ (\text{неравенство КБШ})

Равенство в неравенстве достигается тогда и только тогда, когда t = c \cdot g, c - const. С учетом условия на вектор t, получаем: dualize_{\| \cdot \|_2 } g = \frac{g}{\| g \|_2}

Так авторы приходит к понятию модульной нормы, но перед этим давайте четко определим что такое модуль.

Definition 4 (Module). Given input vector space X, output vector space Y and weight vector space W, a module M is an object with the following four attributes:

(a) a function, M.forward : W \times X \rightarrow Y, which maps an input and a weight vector to an output;

(b) a number, M.mass \ge 0, which is used to set the proportion of feature learning that this module contributes to any supermodule;

© a number, M.sensitivity \ge 0, which estimates the module’s sensitivity to input perturbations;

(d) a norm over the weight space, M.norm : W \rightarrow \mathbb{R}_{\ge 0}, sometimes abbreviated to just \| \cdot \|_M .

Если пункт (а) вопросов, вероятно, не вызывает (стандартная операция для нейронных сетей), то следующие могут вызвать непонимание. Параметр M.mass отвечает за вклад самого модуля в архитектуру: как сильно этот модуль влияет на ответ нейросети. Название M.sensitivity говорит само за себя: как небольшие изменения входных параметров меняют выходные. И, наконец, норма M.norm отвечает за «размер/ сложность» текущих весов модуля для контроля емкости и обобщающей способности.

Далее, из множества всех модулей отдельно выделяют «Well‑normed module», для которых функция M.forward Липшицева с константой 1 по входу и с константой M.sensitivity по весам. Это гарантирует устойчивость градиентного спуска (шаг по весам не вызывает взрыва активации) и позволяет оценивать устойчивость всей сети к шумам (adversarial attacks). На введенном множестве вводятся операции композиции и конкатенации модулей с изменениями параметров самих модулей. Эти операции соответствуют последовательному и параллельному соединению модулей в нейросети.

Познакомимся поближе с новыми понятиями на примере атомарного линейного модуля.

The Linear module sends inputs from X = \mathbb{R}^{d_{in}} to outputs in Y = \mathbb{ R}^{d_{out}}. The weight space is given by the matrix space W = \mathbb{R}^{d_{out}\times d_{in}}. We endow the Linear module with attributes:

  1. Linear.forward(W , x) = W x the matrix‑vector product;

  2. Linear.sensitivity = 1

  3. Linear.mass = μ where μ \ge 0 is a hyperparameter;

  4. Linear.norm(W) = \|W \|_{RMS \rightarrow RMS} the \| \cdot \|_{RMS \rightarrow RMS} induced operator norm.

  5. Linear.dualize(G) = \sqrt\frac{d_{out}}{d_{in}} \times UV^T where the gradient G \in \mathbb{R}^{d_{out} \times d_{in}} has

    reduced SVD G = U \Sigma V^T

Прокомментируем данный пример. Метод forward, думаю, вопросов не вызывает. Второе равенство (для чувствительности) следует из Липшицевости по входу с константой 1. Масса является гиперпараметром и отвечает за скорость обучения. Выбор нормы связан с понятием правильной нормированности (Well‑normed): если веса и входы лежат в своих единичных шарах, то выходы гарантированно не взорвутся и тоже останутся ограниченными единицей. Вместо того чтобы делать обычный шаг градиентного спуска (как в SGD или Adam), авторы заменяют матрицу градиентов G на ее полярную проекцию UV^{T}. Это матрица, у которой все сингулярные числа принудительно заменены на единицы (полуортогональная матрица). Проекция G \to UV^T математически эквивалентна продвинутому матричному оптимизатору Shampoo (метод адаптивной оптимизации для матричных параметров). Множитель \sqrt{d_{\text{out}}/d_{\text{in}}} совпадает со спектральным масштабированием из теории \mu\text{P}. Это позволяет менять ширину сети без необходимости заново подбирать скорость обучения.

Также авторы не забыли и о скорости и удобстве подсчетов. Вычисление SVD матрицы может быть медленным, поэтому было предложено использовать семейство прямоугольных итераций Ньютона‑Шульца (Rectangular Newton‑Schulz Iteration) для ускорения. В частности этот итеративный процесс работает так:

  1. Положим X_0 = G / |G |_{l_2 \rightarrow l_2}

  2. Обновим: X_{t+1} = \frac{3}{ 2} X_t- \frac{1}{ 2} X_tX^T_t X_t

и при t \to \infty последовательность X_t стремится к UV^T, что можно увидеть на графике ниже (более подробно см. исходную статью):

Rectangular Newton-Schulz Iteration
Rectangular Newton‑Schulz Iteration

В заключение авторы предлагают подумать над следующими темами:

  • создание строгой системы типов: каждое пространство активаций должно иметь жесткий «тип», определяемый его целевой нормой и ожидаемым масштабом данных;

  • скоростное обучение нейросетей: рекорд на сети NanoGPT с использованием уже упомянутого выше метода:

  • единый теоретический базис;

  • выравнивание активаций и обновлений: насколько сильно обновление весов слоя коррелирует с входящими в него активациями?

По моему мнению, все темы достаточно сильны и актуальны. Строгая система и единый теоретический базис помогут формализовать некоторые вопросы, возникающие при анализе работы нейросетей, и найти ответы на них. Скоростное обучение позволит быстрее адаптировать модели под новые данные, что критично для задач с постоянно обновляющейся информацией. Выравнивание активаций и обновлений поможет при борьбе с шумом и при защите от adversarial attacks.

Обозреваемая статья является мощной попыткой авторов навести порядок в существующем многообразии подходов к обучению нейросетей и машинного обучения с помощью математических методов. Она демонстрирует как фундаментальные понятия линейной алгебры помогают современным исследователям достичь большего в развитии ИИ. Усиление математического аппарата, применяемого к нейросетям, является крепким фундаментом для совершенствования.

Комментарии (0)