來源：投稿 作者：小灰灰
編輯：學(xué)姐

論文鏈接: https://arxiv.org/abs/2006.10685v1

摘要

最近，人們開發(fā)了支持深度學(xué)習(xí)的端到端（E2E）通信系統(tǒng)，以合并傳統(tǒng)通信系統(tǒng)中的所有物理層塊，從而使聯(lián)合收發(fā)器優(yōu)化成為可能。在深度學(xué)習(xí)的推動(dòng)下，自然語言處理（NLP）在分析和理解大量語言文本方面取得了巨大成功。

受這兩個(gè)領(lǐng)域研究成果的啟發(fā)，我們的目標(biāo)是從語義層面對(duì)通信系統(tǒng)提供一個(gè)新的視角。 特別地，我們提出了一個(gè)基于深度學(xué)習(xí)的語義通信系統(tǒng)，名為DeepSC，用于文本傳輸?；谠撧D(zhuǎn)換器，DeepSC旨在通過恢復(fù)句子的意義，而不是傳統(tǒng)通信中的位或符號(hào)錯(cuò)誤，來最大限度地提高系統(tǒng)容量并最小化語義錯(cuò)誤。

此外，遷移學(xué)習(xí)用于確保DeepSC適用于不同的通信環(huán)境，并加速模型訓(xùn)練過程。為了準(zhǔn)確證明語義通信的性能，我們還初始化了一個(gè)新的度量，稱為句子相似度。

大量的仿真結(jié)果表明，與不考慮語義信息交換的傳統(tǒng)通信系統(tǒng)相比，該系統(tǒng)對(duì)信道變化具有更強(qiáng)的魯棒性，能夠在低信噪比下獲得更好的性能。

介紹

基于shhannon和Weaver,通信有三個(gè)級(jí)別

1）符號(hào)的傳播；

2）傳輸符號(hào)的語義交換；

3）語義信息交換的影響。

第一級(jí)通信主要關(guān)注符號(hào)從發(fā)射機(jī)成功傳輸?shù)浇邮諜C(jī)，其中傳輸精度主要在比特或符號(hào)級(jí)別進(jìn)行測量。

第二級(jí)通信處理從發(fā)送方發(fā)送的語義信息和在接收方解釋的含義，稱為語義通信。

第三級(jí)處理通信的影響，這些影響轉(zhuǎn)化為接收器以發(fā)送器所期望的方式執(zhí)行某些任務(wù)的能力。

在過去的幾十年里，通信主要集中在如何準(zhǔn)確有效地將符號(hào)（以比特為單位）從發(fā)射機(jī)傳輸?shù)浇邮諜C(jī)。在這種系統(tǒng)中，誤碼率（BER：Bit Error Ratio）或SER（Symbol Error Ratio）表示誤符號(hào)率。通常被視為性能指標(biāo)。隨著第一代（1G）到第五代（5G）的發(fā)展，實(shí)現(xiàn)的傳輸速率提高了數(shù)萬倍，系統(tǒng)容量逐漸接近單端極限。

最近，各種新的應(yīng)用出現(xiàn)了，例如自動(dòng)運(yùn)輸、消費(fèi)機(jī)器人、環(huán)境監(jiān)測和遠(yuǎn)程健康。 這些應(yīng)用程序的互連將產(chǎn)生驚人的字節(jié)數(shù)量的數(shù)據(jù)。此外，這些應(yīng)用程序需要在有限的頻譜資源上支持大規(guī)模連接，但需要較低的延遲，這對(duì)傳統(tǒng)的信源信道編碼提出了嚴(yán)峻挑戰(zhàn)。

語義通信可以通過提取數(shù)據(jù)的含義，過濾掉無用、無關(guān)和非本質(zhì)的信息，從而在保留語義的同時(shí)進(jìn)一步壓縮數(shù)據(jù)，從而在語義域中處理數(shù)據(jù)。

此外，語義通信有望對(duì)惡劣的信道環(huán)境，即低信噪比（SNR）區(qū)域具有魯棒性，這非常適合要求高可靠性的應(yīng)用。這些因素促使我們通過考慮數(shù)字比特背后的語義來開發(fā)智能通信系統(tǒng)，以提高通信的準(zhǔn)確性和效率。

與傳統(tǒng)通信不同，語義通信旨在傳輸與傳輸目標(biāo)相關(guān)的信息。 例如，對(duì)于文本傳輸，意義因此是基本信息，而表達(dá)，即是單詞的表達(dá)，是不必要的。通過這樣做，數(shù)據(jù)流量將顯著減少。在典型通信系統(tǒng)中，當(dāng)帶寬有限、信噪比較低或誤碼率/誤碼率較高時(shí)，這樣的系統(tǒng)可能特別有用。

基于深度學(xué)習(xí)（DL）的自然語言處理（NLP）和通信系統(tǒng)的最新進(jìn)展啟發(fā)我們研究語義通信，以實(shí)現(xiàn)上述第二級(jí)通信。所考慮的語義通信系統(tǒng)主要關(guān)注聯(lián)合語義信道編碼和解碼，其目的是提取和編碼句子的語義信息，而不是簡單地一個(gè)比特序列或一個(gè)單詞。

「對(duì)于語義通信系統(tǒng)，我們面臨以下問題：」

• Question 1: 如何定義bits

• Question 2:如何衡量句子的語義錯(cuò)誤？

• Question 3:如何聯(lián)合設(shè)計(jì)語義和信道編碼？

本文將NLP中的機(jī)器翻譯技術(shù)應(yīng)用到物理層通信中，研究語義通信系統(tǒng)。 具體來說，我們提出了一個(gè)支持DL的語義通信系統(tǒng)（DeepSC）來應(yīng)對(duì)上述挑戰(zhàn)。

「本文的主要貢獻(xiàn)總結(jié)如下：」

在Transformer的基礎(chǔ)上，提出了一種新的DeepSC框架，該框架能夠有效地從文本中提取語義信息，并且對(duì)噪聲具有魯棒性。在提出的DeepSC中，設(shè)計(jì)了一種聯(lián)合語義信道編碼來處理信道噪聲和語義失真，解決了上述問題3。

DeepSC的收發(fā)器由語義編碼器、信道編碼器、信道解碼器和語義解碼器組成。為了在理解語義的同時(shí)最大限度地提高系統(tǒng)容量，采用兩個(gè)損失函數(shù)對(duì)接收器進(jìn)行優(yōu)化：交叉熵和互信息。此外，本文還提出了一種新的度量標(biāo)準(zhǔn)，以準(zhǔn)確反映DeepSC在語義層面的性能。這些解決了上述問題1和2。

為了使DeepSC適用于各種通信場景，采用深度遷移學(xué)習(xí)加速模型再訓(xùn)練。通過重新訓(xùn)練的模型，DeepSC可以識(shí)別各種知識(shí)輸入，并從失真中恢復(fù)語義信息。

基于大量的仿真結(jié)果，提出的DeepSC在低信噪比下的性能優(yōu)于傳統(tǒng)的通信系統(tǒng)，提高了系統(tǒng)的魯棒性。

DeepSC介紹

所考慮的系統(tǒng)模型包括兩個(gè)層次：語義層次和傳輸層次，如圖1所示。語義層處理用于編碼和解碼的語義信息，以提取語義信息。傳輸級(jí)別保證語義信息可以在傳輸介質(zhì)上正確交換。

總體而言，我們考慮了一個(gè)具有隨機(jī)物理信道的智能E2E通信系統(tǒng)，其中發(fā)射機(jī)和接收機(jī)具有一定的背景知識(shí)，即不同的訓(xùn)練數(shù)據(jù)。對(duì)于不同的應(yīng)用場景，背景知識(shí)可能會(huì)有所不同。

定義1：語義噪音是信息交換中的一種干擾，由于信息傳輸中使用的詞語、句子或符號(hào)的歧義，干擾了信息的解釋。

定義2：物理信道噪聲是由物理信道損傷引起的，如加性高斯白噪聲（AWGN）、衰落信道和多徑，從而導(dǎo)致信號(hào)衰減和失真。

如圖1所示，發(fā)射器將句子s映射為復(fù)雜符號(hào)流x，然后將其通過具有傳輸損傷（例如失真和噪聲）的物理信道。接收到的y在接收器處解碼，以估計(jì)原始句子s。我們使用DNN聯(lián)合設(shè)計(jì)發(fā)射器和接收器，因?yàn)镈L使我們能夠訓(xùn)練輸入可變長度句子和不同語言的模型。

特別是，我們假設(shè)DeepSC的輸入是一個(gè)句子，其中wl代表句子中的第l個(gè)單詞。如圖1所示，Transmiter由兩部分組成，即語義編碼器和信道編碼器，用于從s中提取語義信息，并保證語義信息在物理信道上的成功傳輸。編碼的符號(hào)流可以用，,? ? ?是參數(shù)集為β的語義編碼器網(wǎng)絡(luò)，??是參數(shù)集為α的信道編碼器。為了簡化分析，我們假設(shè)相干時(shí)間為M。如果發(fā)送x，接收器接收到的信號(hào)將為如圖1所示，接收機(jī)包括信道解碼器和語義解碼器，分別恢復(fù)發(fā)送的符號(hào)和隨后發(fā)送的句子。解碼后的信號(hào)可以表示為

該系統(tǒng)的目標(biāo)是最大限度地減少語義錯(cuò)誤同時(shí)減少要傳輸?shù)姆?hào)數(shù)量。 然而，我們?cè)谒紤]的體系中面臨兩個(gè)挑戰(zhàn)。第一個(gè)挑戰(zhàn)是如何設(shè)計(jì)聯(lián)合語義信道編碼。另一個(gè)是語義傳遞，這在傳統(tǒng)的通信系統(tǒng)中沒有被考慮。

即使現(xiàn)有的通信系統(tǒng)能夠?qū)崿F(xiàn)較低的誤碼率，但由于噪聲和糾錯(cuò)能力的影響，一些比特可能會(huì)導(dǎo)致理解困難，因?yàn)檎麄€(gè)句子的部分語義信息可能會(huì)丟失。

為了實(shí)現(xiàn)語義級(jí)的成功恢復(fù)，我們聯(lián)合設(shè)計(jì)了語義和信道編碼，以保持和s之間的意義不變，這是由一個(gè)新的DNN框架實(shí)現(xiàn)的。

交叉熵（CE）被用作損失函數(shù)來測量s和之間的差異，其公式如下：

性能指標(biāo)

在E2E通信系統(tǒng)中，發(fā)送端和接收端通常以誤碼率作為訓(xùn)練目標(biāo)，這有時(shí)會(huì)忽略通信的其他方面目標(biāo)。對(duì)于文本傳輸，誤碼率不能很好地反映性能。

除了通過人工判斷來確定句子之間的相似性外，機(jī)器翻譯中通常使用雙語評(píng)估研究（Bilingual Evaluation Understudy：BLEU）分?jǐn)?shù)來衡量結(jié)果，這將作為本文的性能指標(biāo)之一。

然而，BLEU分?jǐn)?shù)只能比較兩句話中單詞之間的差異，而不能比較它們的語義信息。因此，我們初始化了一個(gè)新的度量，稱為句子相似度，以根據(jù)兩個(gè)句子的語義信息來描述它們的相似程度，這將在下文中介紹。這為問題2提供了一個(gè)解決方案。

對(duì)于長度為的傳輸句子s，長度為的解碼句子，BLEU可以表示為

句子相似性：

一個(gè)詞在不同的語境中可以有不同的含義。 例如，老鼠在生物學(xué)和機(jī)器中的含義是不同的。傳統(tǒng)的方法，如word2vec[25]，無法識(shí)別多義詞，其中的問題是如何使用數(shù)字向量來表達(dá)單詞，而數(shù)字向量在不同的上下文中有所不同。

根據(jù)語義相似度，我們建議計(jì)算原始句子s和恢復(fù)句子之間的句子相似度，如下所示：

結(jié)果

提出的DeepSC與其他DNN算法以及AWGN信道和瑞利衰落信道下的傳統(tǒng)信源編碼和信道編碼方法進(jìn)行比較，其中我們假設(shè)所有方案都具有完美的CSI。在擦除信道和衰落信道以及不同的背景知識(shí)下，驗(yàn)證了遷移學(xué)習(xí)輔助的DeepSC。

對(duì)于相同的傳輸符號(hào)總數(shù)，BLEU分?jǐn)?shù)與SNR的關(guān)系，64-QAM中使用RS（30,42）的哈夫曼編碼，64-QAM中使用RS（42,54）的5位編碼，64-QAM中使用Turbo編碼的哈夫曼編碼，128-QAM中使用Turbo編碼的5位編碼，8-QAM中使用Turbo編碼的布羅特利編碼；基于DNN的JSCC[22]在AWGN信道和瑞利衰落信道上訓(xùn)練，我們提出的DeepSC在AWGN信道和瑞利衰落信道上訓(xùn)練。

相同傳輸符號(hào)總數(shù)下的句子相似性與信噪比，使用64-QAM中的RS（30,42）霍夫曼編碼；64-QAM中RS（42，54）的5位編碼；哈夫曼編碼與64-QAM中的Turbo編碼；采用128-QAM的5位Turbo編碼；Brotli編碼與8-QAM中的Turbo編碼；在AWGN信道和瑞利衰落信道上訓(xùn)練的E2E[22]；我們提出的DeepSC在AWGN信道和瑞利衰落信道上進(jìn)行訓(xùn)練。

總結(jié)

在本文中，我們提出了一個(gè)語義通信系統(tǒng)，名為DeepSC，在DeepSC中，輸入文本和輸出符號(hào)的長度是可變的，互信息被視為損失函數(shù)的一部分，以實(shí)現(xiàn)更高的數(shù)據(jù)速率。

此外，還采用了深度遷移學(xué)習(xí)來滿足不同的傳輸條件，并利用預(yù)先訓(xùn)練好的模型中的知識(shí)加快新網(wǎng)絡(luò)的訓(xùn)練。此外，我們還將句子相似性作為一個(gè)新的語義錯(cuò)誤性能指標(biāo)進(jìn)行了初始化，這是一個(gè)更接近人類判斷的指標(biāo)。

仿真結(jié)果表明，DeepSC的性能優(yōu)于各種基準(zhǔn)，尤其是在低信噪比情況下。所提出的遷移學(xué)習(xí)輔助的DeepSC已經(jīng)證明了它能夠以較快的收斂速度適應(yīng)不同的渠道和知識(shí)。

因此，我們提出的DeepSC是文本傳輸?shù)囊粋€(gè)很好的候選者，尤其是在低信噪比情況下，這對(duì)于大量設(shè)備連接到有限頻譜資源的情況非常有用。

我們將語義通信系統(tǒng)與傳統(tǒng)通信系統(tǒng)的區(qū)別歸納為以下幾點(diǎn)：?

1）不同的數(shù)據(jù)處理領(lǐng)域。前者在語義域處理數(shù)據(jù)，后者在熵域壓縮數(shù)據(jù)。?

2）不同的溝通目標(biāo)。傳統(tǒng)的通信系統(tǒng)側(cè)重于精確的數(shù)據(jù)恢復(fù)，而語義通信系統(tǒng)則服務(wù)于傳輸?shù)臎Q策或目標(biāo)。?

3）不同的系統(tǒng)設(shè)計(jì)。傳統(tǒng)系統(tǒng)只設(shè)計(jì)和優(yōu)化傳統(tǒng)收發(fā)器中包含的信息傳輸模塊，而語義系統(tǒng)則共同設(shè)計(jì)從源信息到最終應(yīng)用目標(biāo)的整個(gè)信息處理模塊。 根據(jù)本文提出的語義通信概念，我們開發(fā)了用于文本和語音傳輸?shù)腖-DeepSC和DeepSC-S。

關(guān)注【學(xué)姐帶你玩AI】公眾號(hào)

回復(fù)“500”AI必讀論文合集免費(fèi)領(lǐng)（下載好的）