Probabilistic Constellation Shaping with Denoising Diffusion Probabilistic Models: A Novel Approach

Аннотация — Благодаря невероятным результатам, достигнутым с помощью генеративных предварительно обученных трансформеров (GPT) и диффузионных моделей, предполагается, что генеративный искусственный интеллект (GenAI) обеспечит выдающиеся прорывы в различных промышленных и академических областях. В этой статье мы используем вероятностные модели снижения шума (DDPM), как одну из самых современных генерирующих моделей, для формирования вероятностных созвездий в беспроводной связи. В то время как геометрия созвездий предопределена сетевыми стандартами, вероятностное формирование созвездий может помочь повысить скорость передачи информации и эффективность связи за счет определения вероятности появления (генерации) символов созвездий. В отличие от традиционных методов, которые решают задачу оптимизации дискретного распределения созвездий, мы используем радикально иной подход. Основная идея заключается в том, чтобы научиться генерировать символы созвездий из шума, “имитируя” способ, которым приемник выполняет восстановление символов, используя функцию “подавления шума и генерации”, характерную для DDPM. Поступая таким образом, мы делаем так, чтобы символы созвездия, передаваемые передатчиком, и то, что выводится (реконструируется) приемником, были как можно более похожими. Наше моделирование показывает, что предложенная схема превосходит тесты на основе глубоких нейронных сетей (DNN) и обеспечивает равномерное формирование, обеспечивая при этом устойчивость сети, а также надежную работу вне пределов распределения в режимах с низким уровнем SNR и негауссовым шумом. Примечательно, что по сравнению с подходом, основанным на DNN, для геометрии QAM64, достигается трехкратное улучшение с точки зрения обмена информацией.

I. Введение

    Появление генеративных моделей привело к смене парадигмы в области искусственного интеллекта (AI -artificial intelligence) в сторону систем, основанных на генеративном AI (GenAI) [1]. Инновационные подходы в GenAI привлекли значительное внимание как со стороны научных кругов, так и со стороны промышленности, объединив обширные усилия в области исследований и разработок. В связи с этим эволюция диффузионных моделей [2], как самого современного семейства генеративных моделей, рассматривается как один из ключевых факторов недавних достижений GenAI. Он продемонстрировал замечательные результаты с использованием таких известных решений, как ImageGen от Google Brain и DALL.E 2 от OpenAI, и это лишь некоторые из них. С точки зрения передачи данных и создания сетей, “подключенный интеллект” рассматривается как наиболее значимая движущая сила беспроводных коммуникаций шестого поколения (6G) [3]–[6]. Предполагается, что машинное обучение (ML) и алгоритмы AI широко включены в беспроводные системы для реализации AI решений. Это подчеркивает необходимость разработки AI-native систем для новых сценариев 6G.

A. Обзор литературы

    Хотя диффузионные модели показали замечательные результаты в различных приложениях в сообществе компьютерных наук, таких как обработка естественного языка (NLP), компьютерное зрение и медицинская визуализация [7], в литературе по связи есть только несколько статей, которые начали изучать применение диффузионных моделей для беспроводных систем [8] - [11]. Примечательно, что включение диффузионных моделей в проблемы беспроводной связи все еще находится в зачаточном состоянии, и мы надеемся, что наша статья проливает свет на некоторые из возможных направлений. Авторы в [8] предлагают рабочий процесс для управления беспроводной сетью с использованием диффузионных моделей, подчеркивая их возможности исследования для управления беспроводной сетью. Препринт [9] использует диффузионные модели для улучшения характеристик приемника с точки зрения устранения шума и ошибки оценки канала. Авторы используют автоэнкодер (AE) в дополнение к своей диффузионной модели. Однако выходные сигналы кодера не обязательно следуют стандартной форме символов модуляции, что делает схему неприменимой к реальным беспроводным системам. Кроме того, реализация двух различных моделей ML, каждая из которых имеет отдельную целевую функцию, может накладывать вычислительные издержки на сеть.

Вероятностная модель подавления шума DDPM используется в [10] для генерации синтетических каналов сквозной беспроводной системы на основе AE. Авторы подчеркивают многообещающую эффективность диффузионных моделей в качестве альтернативы моделям на основе генеративной состязательной сети (GAN). Они показывают, что GAN имеет нестабильность в обучении и меньшую производительность из-за «состязательного» характера обучения, в то время как DDPM поддерживают более стабильный процесс обучения и лучшее обобщение при инференсе. В [11] для оценки канала в беспроводной связи с множеством входов и множеством выходов (MIMO) используются оценочные сети с обусловленным шумом. Нейронная архитектура RefineNet реализована для оценки градиента log-prior беспроводных каналов. Результаты предполагают конкурентоспособную производительность для сценариев out-of-distribution (OOD) по сравнению с GAN.

B. Наша работа

    С помощью GenAI мы попробуем сделать шаг к AI-native системе [3] - [5], в которой возможно оперативно создавать радиосигналы, адаптироваться к изменениям в канале связи и реализовывать «взаимопонимание» между участниками коммуникаций, а не слепо передавать информационные символы. В данной работе мы исследуем применение диффузионных моделей, самой современной генеративной модели по GenAI для вероятностного формирования созвездий в беспроводном канале связи.

    Насколько нам известно, это первый документ, в котором предлагаются диффузионные модели формирования созвездий в беспроводной связи.

Базовая установка

    Выбор модуляционного созвездия существенно влияет на производительность систем связи. В последнее время предлагаются сети DNN для геометрического профилирования [12] - [14]. В которых, как правило, используются архитектура AE в которой нейронная модель изучает созвездия передаваемых символов. Это приводит к появлению форм созвездий, которые могут быть несовместимы со стандартами беспроводной связи 3rd Generation Partnership Project (3GPP) [15]. В таких сценариях вероятностное формирование созвездий может помочь повысить скорость передачи информации и производительность декодирования сигналов [12]. При новом подходе используется вероятность появления (генерации) символов созвездий в рамках соответствующей геометрии.

 Наш вклад:

    В отличие от предыдущих работ, которые пытаются иметь дело с оптимизацией созвездий над дискретными распределениями с помощью итеративных методов оптимизации или глубоких нейронных сетей (DNN) [12], мы предлагаем радикально другой подход - мы используем характеристику «denoise-and-generate» DDPM для вероятностей.

    Интуитивно цель состоит в том, чтобы сформировать таким образом, чтобы информационные символы совокупности, генерируемые в передатчике, и то, что выводится (восстанавливается) в приемнике, стали как можно более похожими, что приводит к как можно меньшему количеству несоответствий между сторонами связи. Для выполнения этого требования передатчик использует характеристику «помеха и генерация» DDPM и «имитирует» способ, которым приемник выполняет восстановление символа. (Более подробная информация приведена в разделе III.) Мы показываем, что предлагаемый нами подход превосходит схему на основе DNN с обучаемым слоем созвездия и нейронным демаппером [12].

    Примечательно, что мы показываем трехкратное улучшение с точки зрения метрики взаимной информации по сравнению с решением на основе DNN для геометрии 64-QAM. Наши результаты также подчеркивают, что предлагаемая схема на основе DDPM устойчива к режимам с низким SNR. Мы также демонстрируем надежную работу OOD при негауссовом шуме по сравнению с другими бенчмарками. В следующем мы сначала представляем структуру DDPM в разделе II. системная модель и предлагаемая схема представлены в разделе III. Кроме того, нейронная архитектура и предлагаемые алгоритмы для вероятностного формирования созвездий рассматриваются в этом разделе. Численные результаты изучаются в разделе IV, и в разделе V завершается документ.

II. ПРЕДВАРИТЕЛЬНЫЕ СВЕДЕНИЯ О DDPM

Диффузионные модели — это новый класс современных вероятностных генеративных моделей, основанных на неравновесной термодинамике [2]. Пусть x0 - выборка данных из некоторого распределения q(x0). Для конечного числа временных шагов T процесс прямой диффузии q(xt|xt−1) определяется путем добавления гауссовского шума в соответствии с “графиком дисперсий " 0 < β1 < β2 < · · · < βT < 1 на каждом временном шаге t ∈ [T]. Это,

Используя (2), выборка данных постепенно теряет свои отличительные особенности с течением времени, когда при T → ∞, xT приближается к изотропному гауссову распределению с ковариационной матрицей Σ = σ**2 I  для некоторого σ>0[2].

Согласно (1), каждая новая выборка на временном шаге t может быть получена из условного гауссова распределения со средним вектором μt = √1 − βtxt−1  и ковариационной матрицы Σ**2/t = βtI. Следовательно, прямой процесс реализуется путем выборки из Гауссовского шума ϵt−1 ∼ N(0, I)  и получения

Полезным свойством прямого процесса в (3) является то, что мы можем производить выборку xt на любом произвольном временном шаге t, рекурсивно применяя метод репараметризации из литературы по ML [16]. Это приводит к следующей формулировке:

Теперь проблема состоит в том, чтобы обратить вспять процесс, описанный в (4), и выполнить выборку из q (xt−1 | xt), чтобы мы восстановили истинные выборки из некоторого гауссовского шума xT. Согласно [2], при достаточно малом βt, q(xt−1|xt), ∀t ∈ [T] также соответствует Распределению Гаусса. Однако мы не можем легко оценить распределение, поскольку для этого требуется знать распределение всех возможных выборок данных. Следовательно, чтобы аппроксимировать условные вероятности и запутить процесс обратной диффузии, нам нужно изучить вероятностную модель pθ(xt−1|xt).Соответственно,мы можем записать

Теперь задача сводится к изучению среднего вектора μθ(xt, t) и ковариационной матрицы Σθ(xt, t). для вероятностной модели pθ(·), где нейронная сеть (NN) с параметром θ может быть обучена аппроксимировать (изучать) обратный процесс. Отметим, что, если мы определим обратный процесс на x0, эта условная вероятность станет приемлемой [2]. Следовательно, когда у нас есть x0 в качестве ориентира, мы можем сделать небольшой шаг в обратном направлении для генерации выборок данных, а обратный шаг формулируется как q(xt−1|xt, x0). Математически можно записать как

которое получается с помощью правила Байеса, где

Используя (10), можно сделать вывод, что ковариационная матрица в (8) не имеет изучаемого параметра. Следовательно, нам просто нужно узнать среднее значение вектора μ(xt, x0, t). Чтобы еще больше упростить (9), отметим, что благодаря трюку с перепараметризацией и подходу, аналогичному (4), мы можем выразить x0 следующим образом.

Замена x0 в (9) на (11) приводит к

Теперь мы можем изучить условное распределение вероятностей pθ(xt−1|xt), обучив NN, которое приблизительно равно μ(xt, x0, t). Следовательно, нам просто нужно задать приближенный вектор среднего значения μθ(xt, t) таким образом, чтобы он имел ту же форму, что и целевой вектор среднего значения μ(xt, x0, t). Поскольку xt доступен на временном шаге t, мы можем повторно параметризовать NN, чтобы приблизить его к ϵt из входных данных xt. Компиляция этих фактов приводит к

где ϵθ(xt, t) обозначает наше NN.Теперь мы можем определить функцию потерь Lt для временного шага t ∈ [T], чтобы минимизировать разницу между μθ(xt, t) и μ(xt, x0, t).

Используя (14), на каждом временном шаге t модель DDPM принимает xt в качестве входных данных и возвращает компоненты искажения θ(xt, t). Кроме того, θt обозначает коэффициент рассеянного шума на временном шаге t.

III. МОДЕЛЬ СИСТЕМЫ И ПРЕДЛАГАЕМАЯ СХЕМА

    На рис. 1 представлена рассматриваемая система связи. Система принимает битовый поток информации и преобразует его в гиперсимволы s ∈ S, S = {1, ... ,M} в соответствии с доступным для изучения распределением pθ(s) (параметризованным через θ), где M обозначает порядок модуляции. В этой статье, θ реализуется DDPM, который обучается и совместно используется передатчиком и приемником. Последовательность гиперсимволов затем поступает в символьный модулятор, который отображает каждый символ s в точку созвездия x ∈ Xc, где Xc показывает набор точек созвездия. Каждый символ генерируется в соответствии с распределением pθ(s). Другими словами, частота передачи потока битов через точку созвездия x = g(s) соответствует параметрическому распределению pθ(s), где g обозначает функциональность модуляции. Соответственно, мы имеем

 А. Предлагаемый подход

Основная идея:

Интуитивно говоря, цель состоит в том, чтобы вероятностно сформировать символы созвездия, найдя правильное значение pθ(·), таким образом, чтобы символы, несущие информацию, передаваемые передатчиком, и то, что выводится приемником , были как можно более похожими (Это “сходство” будет количественно оценено в разделе IV с использованием широко распространенного показателя взаимной информации), что приводит к минимальному количеству несоответствий между сторонами связи насколько это возможно. Этот факт, наряду с характерной особенностью диффузионных моделей “устранять шум и генерировать”, побуждает нас предложить следующий подход, основанный на DDPM, для формирования вероятностной совокупности. Ключевая идея достижения желаемого сходства заключается в том, что передатчик “имитирует” способ, которым приемник выполнял бы реконструкцию символов. Следовательно, передатчик вероятностно генерирует созвездия таким образом, который был бы аналогичен процессу устранения шума и реконструкции (регенерации) в приемнике. Это также помогает достичь “взаимопонимания” в том, как отображать и де-отображать информационные символы с течением времени, реализуя своего рода врожденный интеллект участников коммуникации. Исходя из этих фактов, наше пошаговое решение может быть разработано следующим образом.

1) Обучение DDPM:

DDPM обучается на основе функции потерь, приведенной в (14). Это соответствует обучению параметра θ для нашей схемы вероятностного формирования в (15). Цель состоит в том, чтобы обучить процесс диффузии генерировать символы созвездий (с заданной геометрией) из шума. Процесс описан в алгоритме 1, который основан на основополагающей статье DDPM, опубликованной в [2]. Обучение может проводиться в центральном облаке или на пограничном сервере, а затем загружаться коммуникационными объектами. Обученная модель развертывается на передатчике и приемнике.

2) Оценка качества линии связи с использованием SNR канала:

    В рамках каждого TS передатчик сначала оценивает качество линии связи. Это может быть выполнено с использованием пилотных сигналов, посылаемых узлом назначения, в начале каждого TS, по которому может быть рассчитан уровень SNR канала связи [18].

3) Вероятностное формирование:

    Обученный DDPM запускается в передатчике для вероятностного формирования (генерации) символов сопоставления в соответствии с SNR канала. Для этого передатчик сначала случайным образом отбирает Ns выборок из набора символов созвездия Xc.  (Размер выборки Ns можно рассматривать как количество наблюдений, необходимых для формирования эмпирического распределения нашей вероятностной модели). Цель состоит не в том, чтобы равномерно сопоставить информационные символы с точками созвездия, а сгенерировать символы созвездия таким образом, чтобы несущие информацию символы созвездия, передаваемые передатчиком, были легко реконструируемые в приемнике с минимальным расхождением. Например, когда канал связи испытывает высокие уровни шума, т.е. в режиме с низким уровнем SNR, мы интуитивно ожидаем, что приемник сможет декодировать символы, соответствующие точкам, которые относительно удалены друг от друга в геометрии созвездия, в то время как другие точки ложные и не соответствуют правильной кодировке. Таким образом, передатчик пытается вероятностно изменить форму символов созвездия таким образом, чтобы было легко устранить шумы и восстановить (регенерировать) их в приемнике. Для этого передатчик производит выборку случайного шума средней мощности δ**2 , и вводит их в символы с равномерной
дискретизацией. Мощность синтетического шума δ**2 рассчитывается в соответствии с канальным SNR, Γ, который получен на шаге 2, и может быть сформулирован как δ**2 = P10Γ/10 , где P обозначает среднюю мощность передачи. Затем зашумленная версия сэмплов подается в обученный DDPM, и запускается процесс обратной диффузии для устранения шумов и генерации символов из сэмплов с искусственным шумом.

Другими словами, передатчик пытается имитировать способ, которым приемник выполняет реконструкцию (регенерацию) символов, когда он принимает зашумленные символы. Распределение сгенерированных выборок на выходе блока DDPM рассматривается как выходные вероятностные совокупности, на которые отображаются информационные символы для отправки.

    Общий алгоритм предложен в алгоритме 2, где основной цикл соответствует обратному процессу диффузии с временного шага T по 1, согласно 13. Кроме того, proj_s(x) означает оператор проекции, который отображает элементы вектора x на ближайшие элементы в наборе S. и count(x, S) выводит вектор размером |S|, элементы которого представляют количество вхождений элементов набора S в вектор x. Примечательно, что Ψ в алгоритме 2 обозначает точки созвездия вероятностной формы на выходе блока DDPM передатчика, а pθ  означает соответствующее распределение, полученное с помощью диффузионной модели.

4) Восстановление символа в приемнике:

    После генерации символов группировок информационные сигналы передаются в соответствии с вероятностными группировками. Символы принимаются приемником. Затем приемник запускает диффузионную модель для восстановления (регенерации) символов из принятых зашумленных сигналов. Соответствующий алгоритм для этого шага предложен в алгоритме 3. Начиная с принятой партии зашумленных символов, обозначаемых yr, для каждого временного шага t ∈ {T, T -1, . . . , 1}, NN выдает ϵθ(ˆxt, t)  для аппроксимации остаточного шума в пределах набор символов, и алгоритм выборки выполняется в соответствии со строкой 4 алгоритма, чтобы выполнить выборку ˆxt −1. Процесс выполняется в течение T шагов.

(Мы подчеркиваем, что в пределах каждого TS, при соблюдении времени когерентности канала, SNR канала остается неизменным по сравнению с тем, который используется передатчиком для формирования созвездия).

IV. ОЦЕНКИ

    В этом разделе мы проводим численные оценки, чтобы подчеркнуть эффективность предлагаемой схемы по сравнению с другими контрольными показателями. В частности, мы показываем, что наш подход, основанный на DDPM, обеспечивает трехкратное улучшение с точки зрения взаимной информации по сравнению с решением на основе DNN для QAM64. Мы также показываем, что предлагаемый DDPM может обеспечить естественную устойчивость системы связи в режимах с низким уровнем SNR и негауссовским шумом.

    Мы используем нейронную сеть, состоящую из 3 скрытых линейных слоев, каждый из которых содержит 128 нейронов с функциями активации softplus. Выходной слой представляет собой простой линейный слой той же формы, что и входной. Вдохновленные работой Transformer [17], мы распределяем параметры NN по временным шагам, умножая вложения временного шага и включая их в модель. Для обучения диффузионной модели мы используем оптимизатор адаптивной оценки момента Adam со скоростью обучения learning rate=0.001

. Мы рассматриваем геометрию QAM как широко распространенный формат группировки в беспроводных сетях [4], [6], [12]. Более того, мы установили T = 100, и критерий остановки в алгоритме 1 выполняется при достижении максимального количества эпох [9]–[11], которое равно 1000 эпох.

Рис. 2: Процесс генерации в передатчике и восстановления в приемнике для значений SNR, установленных на -25, -10 и 10 дБ соответственно.

    На рис. 2 показана визуализация данных для этапа выборки, соответствующая алгоритмам 2 и 3. Первая строка соответствует этапам генерации созвездия, которые выполняются в передатчике (алгоритм 2), а вторая строка соответствует реконструкции в приемнике (алгоритм 3). Это повторяется для различных SNR, чтобы визуализировать характеристики нашего DDPM, формирующие созвездия, при различных уровнях шума. Сравнивая выходные данные нашего вероятностного алгоритма генерации созвездий (первая строка) и восстановленные символы в приемнике (вторая строка), мы можем заметить, что идея синтетического воспроизведения функциональности приемника для формирования символов созвездий (рассмотренная в разделе III-A) помогла передатчику генерировать символы, которые очень похожи на те, которые на самом деле восстанавливаются приемником. Это может повысить эффективность связи за счет уменьшения несоответствия между способом передачи информации передатчиком и способом декодирования символов приемником. Это “сходство” количественно измеряется в терминах взаимной информации. Согласно рис. 2, когда система связи работает в режиме с низким уровнем SNR, вероятностная модель демонстрирует неравномерное распределение по точкам созвездия, причем более высокие вероятности присваиваются точкам, которые находятся на наибольшем расстоянии друг от друга в геометрии созвездия. Это согласуется с тем, что мы интуитивно ожидаем от системы связи в режимах с низким уровнем SNR, когда информационные биты часто сопоставляются с символами созвездий, которые находятся далеко друг от друга. При увеличении SNR вероятностное формирование имеет тенденцию к равномерному распределению, что также согласуется с нашими интуитивными представлениями о системах связи.

На рис. 3 показана взаимная информация между вероятностно сгенерированными символами на выходе передатчика (т.е. входе канала) и восстановленными символами на приемнике. Метрику взаимной информации можно интерпретировать как количественную меру для изучения «взаимного сходства» между сторонами связи, как описано в разделе III-A. Для этого эксперимента мы рассмотрим как случаи аддитивного канала белого гауссова шума (AWGN), так и негауссова шума, чтобы показать эффективность OOD нашей схемы. Для эталона мы рассмотрим модель DNN с обучаемым слоем созвездия и нейронным демаппером, как предложено в [12]. Бенчмарк DNN имеет три линейных слоя с 64 нейронами на скрытых слоях и функциями активации ReLU, и мы рассмотрели 5000 итераций обучения с оптимизатором Adam. На рисунке 3 четко показана эффективность нашей модели на основе DDPM в режимах с низким SNR. Хотя бенчмарк DNN не показывает каких-либо заметных характеристик в диапазонах SNR ниже − 5 дБ, даже для более простого вида модуляции QAM16 (который менее подвержен ошибкам чем QAM64), наша схема достигает взаимной информации около 1,25 бит для QAM64 и 1 бит для QAM16 соответственно. Более того, наша схема показывает трехкратное улучшение по сравнению с эталоном на основе DNN для QAM64 и SNR 0 дБ. Эти результаты показывают, что наша главная цель в реализации «взаимопонимания» между сторонами связи была успешно достигнута и система устойчива к низким показателям SNR. Чтобы показать робастность нашей схемы в исполнении ООД, изучаем сценарий каналов связи с негауссовым шумом. Мы рассматриваем аддитивный лапласовый шум с той же дисперсией, что и у сценария AWGN, как наш эталон [6]. Примечательно, что, хотя мы не переобучаем нашу модель диффузии с лапласовым шумом, производительность нашего подхода на основе DDPM не меняется (даже становится лучше) при этом не гауссовом предположении (которое не наблюдается во время обучения), и результирующая взаимная информация кривые следуют за случаем сценария распределения.

Тем не менее, тест DNN испытывает снижение производительности при не-гауссовом предположении, хотя мы также переобучили его с лапласовым шумом. На рис. 3 мы также изучаем другой эталон, который представляет собой однородную форму. Мы исследовали этот тест, отключив блок DDPM на передатчике. Из рисунка видно, что используемый DDPM в приемнике может превосходить тестовую сеть DNN. Примечательно, что наша вероятностная модель формирования с DDPM, используемыми как в передатчике, так и в приемнике, превосходит наивную схему равномерного формирования и этот разрыв также увеличивается при использовании более высоких порядков модуляции.

 V. ВЫВОДЫ

    В этой статье мы изучили применение DDPM в вероятностном формировании созвездий для беспроводной связи. Мы использовали характеристику DDPM «denoise-and-generate». Передатчик запускает модель для вероятностного формирования (генерации) символов совокупности, а приемник регенерирует (восстанавливает) символы из принятых шумовых сигналов. Ключевая идея заключалась в том, что передатчик имитирует способ, которым приемник будет делать, чтобы восстановить (регенерировать) символы из зашумленных сигналов, реализуя «взаимопонимание», чтобы уменьшить несоответствие между сторонами связи. Наши результаты подчеркнули производительность нашей схемы по сравнению с демапером на основе DNN, обеспечивая при этом устойчивость сети в режимах с низким SNR и негауссовым шумом.

 Ссылки:

[1] P. Popovski. (2023, Jun. 11). “Communication engineering in the era of generative AI,” Medium,      [Online]. Available: https://petarpopovski51271.medium.com/communication-engineering-in-the-era-of generative-ai-703f44211933 

[2] J. Ho, A. Jain, and P. Abbeel, “Denoising diffusion probabilistic models,” Advances in Neural Information Processing Systems, vol. 33, pp. 6840–6851, 2020.

[3] 3GPP Release 18, “Study on Artificial Intelligence (AI)/Machine Learning (ML) for NR Air Interface RAN,” Meeting #112, Athens, Greece, Tech. Rep., 27th February – 3rd March 2023.

[4] M. Merluzzi et al., “The Hexa-X project vision on artificial intelligence and machine learning-driven communication and computation co-design for 6G,” IEEE Access, vol. 11, pp. 65620–65648, Jun. 2023.

[5] F. A. Aoudia, J. Hoydis, A. Valcarce, and H. Viswanathan, ”Toward a 6G AI-native air interface,” Nokia Bell Labs, Mar. 2021. [Online]. Available: https://onestore.nokia.com/asset/210299.

[6] M. Chafii, L. Bariah, S. Muhaidat, and M. Debbah, “Twelve scientific challenges for 6G: Rethinking the foundations of communications theory,” IEEE Communications Surveys & Tutorials, vol. 25, no. 2, pp. 868–904, Second quarter 2023.

[7] B. Levac, A. Jalal, K. Ramchandran, and J. I. Tamir, “MRI reconstruction with side information using diffusion models,” arXiv:2303.14795, Jun. 2023. [Online]. Available: https://arxiv.org/abs/2303.14795.

[8] Y. Liu, H. Du, D. Niyato, J. Kang, Z. Xiong, D. I. Kim, A. Jamalipour, “Deep generative model and its applications in efficient wireless network management: A tutorial and case study,” arXiv preprint arXiv: 2303.17114, Mar. 2023.

[9] T. Wu, Z. Chen, D. He, L. Qian, Y. Xu, M. Tao, W. Zhang, “CDDM: Channel denoising diffusion models for wireless communications,” arXiv preprint arXiv: 2305.09161, May 2023.

[10] M. Kim, R. Fritschek, and R. F. Schaefer, “Learning end-to-end channel coding with diffusion models,” 26th International ITG Workshop on Smart Antennas and 13th Conference on Systems, Communications, and Coding (WSA & SCC 2023), Braunschweig, Germany, Feb. 27 – Mar. 3, 2023, pp. 1–6.

[11] M. Arvinte and J. I. Tamir, “MIMO channel estimation using scorebased generative models,” IEEE Trans. Wireless Commun., vol. 22, no. 6, pp. 3698–3713, Jun. 2023.

[12] M. Stark, F. A. Aoudia, and J. Hoydis, “Joint learning of geometric and probabilistic constellation shaping,” 2019 IEEE Globecom Workshops (GC Wkshps), Waikoloa, HI, USA, 2019, pp. 1–6.

[13] D. Korpi, M. Honkala, J. M. J. Huttunen, F. Aoudia, and J. Hoydis, “Waveform learning for reduced out-of-band emissions under a nonlinear power amplifier,” arXiv preprint arXiv: 2201.05524, Jan. 2022.

[14] F. A. Aoudia and J. Hoydis, “Waveform learning for next-generation wireless communication systems,” IEEE Transactions on Communications, vol. 70, no. 6, pp. 3804–3817, Jun. 2022.

[15] [Release 16] 3GPP. “Physical channels and modulation.” TS 38.211 (V16.2.0), July 2020.

[16] D. P. Kingma, T. Salimans, and M. Welling “Variational dropout and the local reparameterization trick,” Advances in Neural Information Processing Systems (NIPS 2015), vol. 28, 2015.

[17] A. Vaswani, et al., “Attention is all you need,” arXiv:1706.03762v7, Aug. 2023. [Online]. Available: https://arxiv.org/abs/1706.03762.

[18] X. Chen, D. W. K. Ng, W. Yu, E. G. Larsson, N. Al-Dhahir, and R. Schober, “Massive access for       5G and beyond,” IEEE J. Sel. Areas Commun., vol. 39, no. 3, pp. 615–637, Mar. 2021.

Послесловие переводчика

Перевод сделал как смог с помощью Google и Яндекс, без претензий на идеальность.

- Почему решил сделать перевод статьи?

    Почти год назад появилась идея сделать деноиз NN для радиосигналов различной модуляции по аналогии с удалением шума с картинок. Начинал с простой модели классического автоэнкодера AE, далее перешел на вариационный автоэнкодер VAE. Много экспериментировал с размерами скрытого слоя, гиперпараметрами, размерами ядер и количеством сверточных слоев в энкодере и декодере и с другими параметрами нейронки. Сетка обучалась, но впечатляющего эффекта улучшения SNR не получалось. Видел много статей по денойзу сигналов на основе сложных гибридных VAE моделей, подумывал переходить на генеративные GAN, но потом наткнулся на эту статью, в которой указывается что только диффузионная модель способна решить проблему.

Конструктивная критика приветствуется!

 Спасибо за внимание.