Очень много внимания сейчас уделяется размерам нейросетей и и гигаваттам ЦОДов, но на самом деле, будущее не только гигантские кластеры, но и крошечные чипы, встроенные напрямую в чувствительные элементы датчиков. Когда нейросеть размещена непосредственно в чипе сенсора, она должна быть очень эффективной.

В процессе экспериментов мне удалось построить архитектуру нейросети на 380 параметров (с потенциалом к уменьшению), способную работать в условиях, которые считаются непригодными для обычных алгоритмов.

Технологический стек

Главная особенность архитектуры — возможность встраивания напрямую в логику датчика:

• Целочисленная природа: Алгоритм полностью реализуется на операциях сложения, вычитания и битовых сдвигов (int-only). Это позволяет внедрять ИИ в контроллеры без блока плавающей запятой (FPU).

• Ресурсный минимум: Модель Nano-класса занимает 380 обучаемых параметров. Это позволяет разместить нейросеть и обвязку в паре килобайт памяти.

• Линейность и стабильность: Используются только линейные вычисления. Система не склонна к нелинейные артефактам,  неопределенности вывода и градиентным взрывам. Если сигнал выходит за пределы нормы, архитектура сохраняет предсказуемость благодаря жестким физическим ограничениям, заложенным в структуру.

• Устойчивость к среде: Встроенная защита от дрейфа изолинии (Drift) и автоматическая адаптация к шумовой полке.

• Высокая устойчивость к потере нейронов, там где чипы работают неустойчиво или частично выходят из строя, датчик продолжит работу.

Проведенные эксперименты на синтетических данных ниже.

Использованные типоразмеры сетей: 

Во всех экспериментах под именем Goliath выступает классическая сверточная нейросеть (CNN), стандартные слои свертки и пулинга без специфических механизмов очистки сигнала.

Эксперимент 1: Испытание алгоритма без настройки на тип задачи.

Одна и та же архитектура может решать разные задачи без изменения своего кода — достаточно базового обучения. Несложная настройка резко повышает устойчивость к шуму без увеличения модели. Я протестировал чистую версию новой архитектуры (David) на трех типах сигналов: сердце (ЭКГ), вибрация подшипника и данные акселерометра.

TASK: ЭКГ-ритм. D - David. G - Goliaf, стандартная нейросеть

TASK: BEARING (Вибрация подшипника)

Самая стабильная задача для David: даже при шуме точность выше 80% на Medium, а дрейф игнорируется полностью.

TASK: Шагомер (Акселерометр)

Здесь David Large показывает 91% в условиях дрейф + шум, где Goliath просто угадывает 50%.

1. Инвариантность к дрейфу: David демонстрирует 100.0% стабильность при дрейфе 50g на всех задачах. В это же время классическая CNN (Goliath) деградирует до уровня случайного угадывания (~50%). Это прямое доказательство того, что архитектура успешно отделяет переменную составляющую от постоянной.

2. Шумовой барьер: Просадка в HEART (D_Noise3x) подтверждает необходимость индивидуальной настройки под задачу.

3. Преимущество масштабирования: С ростом размера от Nano до Large David значительно лучше адаптируется к шуму, сохраняя при этом устойчивость в дрейфе.

4. Результат Goliath (CNN) при дрейфе на уровне 50% — математический эквивалент подбрасывания монетки. Это доказывает, что стандартные веса нейронов теряются в смещении изолинии, в то время как David архитектурно прозрачен для постоянной составляющей

Результаты универсальной модели:

• Дрейф 50g: 100% точность (архитектурная неуязвимость).

• Шум (базовый уровень): 85–90% точность.

• Отказоустойчивость: Сохранение работоспособности при случайном повреждении (pruning) до 30% весов модели.

Даже без тонкой настройки David обходит классические сверточные сети аналогичного размера, уязвимые к смещению сигнала.

Эксперимент 2: dropout

Эта таблица демонстрирует, как модель размера large справляется со случайным удалением нейронов в идеальных условиях против экстремального дрейфа сигнала.

Эксперимент 3: настройка на задачу

Я взял распознавание ритма сердца в условиях экстремального хаоса. Шум в 3 раза превышает полезный сигнал (SNR < 0.5), плюс дрифт. Настройка не касалась основного алгоритма, код остался практически прежним. Измерялась точность (Accuracy) и стабильность (Std Dev) на 20 независимых прогонах.

• Параметрический паритет (Строка 3): David (380 параметров) в условиях шума догоняет Goliath Large (40 000 параметров). 

• Слепое пятно CNN (Строка 2 и 4): Стандартные свертки гораздо хуже работают с дрейфом. Даже большая модель (Goliath Large) показывает 49.2%, это угадывание. Для неё смещение изолинии — это шум, который она не может отфильтровать без внешней помощи.

• Стабильность David-а: Точность 100% на дрейфе и 96.8% в шум+дрейф доказывает, что алгоритм работает как физический фильтр, встроенный в веса нейросети.

Пример 

Новая архитектура в микросети на 380 параметров в анализе ЭКГ.

Диагностика отклонения экг сердца от нормы. Первый датасет норма, второй аритмия, третий тахикардия. Датасеты взяты стандартные для этих задач, вывод модели:

Техническая часть

На текущем этапе исследования архитектура оптимизирована для 1D-сигналов (временных рядов). Модель Nano-класса (~380 параметров) чувствительна к высокочастотному шуму, если он перекрывает спектр полезного сигнала. В таких случаях требуется переход на уровень Micro или Medium.

• David Nano: Занимает меньше 2 КБ оперативной памяти (RAM) и работает на простейших контроллерах уровня ARM Cortex-M0.

• Вычисления: Линейные вычисления. Только целочисленные операции. Полное отсутствие необходимости в аппаратном ускорителе плавающей точки (FPU).

• Затраты на обучение: Модели было достаточно 300 итераций на 64 примерах, чтобы выйти на плато 96%.

• Датчик может работать в условиях, где идет деградация чипа.

Перенос новой архитектуры напрямую в датчик дает производителю оборудования следующие преимущества:

1. Снижение себестоимости: Возможно использовать дешевые датчики

2. Энергоэффективность: За счет использования целочисленных операций и малого числа параметров, потребление энергии снижается в десятки раз по сравнению с классическими DSP-алгоритмами.

3. Новый класс устройств: Возможность создавать датчики, которые выдают не сырые данные, а качественный анализ.

Крайне полезно для запуска на самых слабых микроконтроллерах, носимой электронике, промышленный IoT, агрессивная среда.

Сотрудничество 

Все эксперименты проведены на синтетических данных, если у кого-то есть возможность дать на проверку реальные показаниях датчиков в аналогичных областях, был бы очень благодарен. 

А в целом, ищу партнеров для дальнейшего исследования и внедрения новой архитектуры в реальные проекты. 

Гадеев Камиль telegram

P.S. В статье приведены реальные данные экспериментов на синтетических данных, шанс на то, что в реальных испытаниях выявится что-то критичное в алгоритме не нулевой. Это и интересно.