基于阈值的损失函数_低信噪比下基于深度学习的调制模式识别方法
期刊:计算机科学来源:陈晋音,成凯回,郑海斌.低信噪比下基于深度学习的调制模式识别方法[J].计算机科学,2020,47(S1):283-288.摘要:无线电信号的调制类型识别是信号检测与解调的中间步骤,已有的研究表明利用深度学习技术能高效地识别无线电 信号调制类型。但对于低信噪比区间内识别准确率骤降的问题,仍没有一种较好的解决方案。受到深度学习在图像降噪中的启发,本文提出了低信噪比下基于深度学习
期刊:计算机科学
来源:陈晋音,成凯回,郑海斌.低信噪比下基于深度学习的调制模式识别方法[J].计算机科学,2020,47(S1):283-288.
摘要:无线电信号的调制类型识别是信号检测与解调的中间步骤,已有的研究表明利用深度学习技术能高效地识别无线电 信号调制类型。但对于低信噪比区间内识别准确率骤降的问题,仍没有一种较好的解决方案。受到深度学习在图像降噪中的启发,本文提出了低信噪比下基于深度学习的调制模式识别方法,实现了对低信噪比信号的降噪处理,解决了低信噪比区间信号识别准确率过低的问题。通过在开源数据集下的大量实验,验证了本方法的有效性,低信噪比信号调制类型识别的准确率由10%上升至15%。最后,文章对于本方法存在的问题进行分析,并对未来的研究进行了展望。
1 引言
无线电信号的调制类型识别技术是一项介于信号检测与信号解调之间的技术[1],通过快速准确的自动识别,可以实现无线电信号的智能接收与处理。在未来的电子对抗战中,实施电子对抗、电子反对抗、威胁侦测、目标搜索与检测等任务,都需要高效的调制类型自动识别技术来分析相关信号的参数与性质。但是,无论是传统的调制类型识别方法,还是最近提出的基于深度学习的信号调制类型识别方法,在低信噪比区间内的识别准确率都非常低。针对以上问题,本文提出一种新的低信噪比下基于深度学习的调制模式识别方法,最终目的是提高信号的调制类型识别准确率。
传统的信号降噪方法包括小波降噪法、模极大值降噪法等,这些方法泛化能力低而且需要一定的先验知识。例如,小波变换阈值的确定、小波的选择。基于对数据表征的学习,深度学习可以较好地提取出数据中所隐藏的关键特征量,自动滤除干扰噪声的影响。凭借其高效的数据处理能力,深度学习在计算机视觉[2]、自然语言处理[3]等领域得到了广泛应用。在图像降噪中,Vincent等[3]提出了基于卷积神经网络结构的降噪自编 码 器(denoisingautoencoder,DAE),通过对噪声图片的特征映射实现图像的降噪。Tian等[4]全面回顾和总结近年来提出的基于深度学习的图像降噪技术。此外,研究人员们也将深度学习技术运用到无线电信号调制类型的识别领域中,提出了基于卷 积神经网络结构的调制类型识别方法[5-6]。虽然深度学习技术在无线电信号调制类型识别领域中取得了优良的效果,但其在低信噪比区间的识别效果仍然较差。受到深度学习技术在图像降噪中的启发和无线电信号的时序 特性,本文以长短时记忆网络[7](Long-ShortTime Memory,LSTM)为基础结构,提出了低信噪比下基于深度学习的调制模式识别方法,其最终目的是提高信号的调制类型识别准确率。实验结果表明,无线电信号经过该降噪方法处理后,能够更精确地被无线电信号调制类型识别模型分类,能够更全面地利用有限的无线电信号的信息资源。
本文的主要贡献如下:
(1)提出了一种低信噪比下基于深度学习的调制模式识别框架,自动识别高低信噪比的信号,并对低信噪比信号进行降噪处理,来提高信号调制类型的整体识别准确率。
(2)设计了基于LSTM的无线电信号降噪方法,实现了对低信噪比区间的无线电信号的降噪重构处理,进一步提高
了该区间内调制类型识别模型的准确率和稳定性。
(3)本文通过大量的实验证明了低信噪比下基于深度学习的调制模式识别方法对提高调制类型识别准确率的有效性。
本文第2节总结了目前的信号调制类型识别方法以及降噪方法;第3节介绍了提出的基于深度学习的信号降噪方法;第4节阐述了实验的设计和结果分析;最后总结全文并展望未来。
2 相关工作
2.1 长短时记忆神经网络
在深度学习技术中,典型的神经网络包括卷积神经网络、循环神经网络、全连接神经网络等。循环神经网络[19]是一种节点定向连接成循环的神经网络,能较好地展示动态时序行为,利用内部的记忆单元可以处理任意时序的输入序列,处理一些时序问题,例如自然语言处理、语音识别等任务。
长短时记忆网络[7]是一种特殊的循环神经网络。在循环神经网络的基础上,增加输入门限、遗忘门限和输出门限,使权重在自循环过程中变化,而且不同时间节点上的积分尺度可以动态地变化,巧妙地避免了循环过程中产生的梯度消失或者梯度膨胀的问题。因此,利用长短时记忆网络为基础可以构建庞大的循环神经网络,解决复杂的时序问题。
长短时记忆网络解决了循环神经网络中存在的梯度爆炸和梯度消失问题,极大地提高了循环神经网络处理时序问题的能力。
长短时记忆网络的结构如图1所 示,其核心思想是使用存储单元(细胞)代替神经元。细胞的整个状态如图1中的灰
色部分所示,细胞在传送带上有序进行信息的传递。单个细胞由3个门组成,包括遗忘门、输入门和输出门。
遗忘门通 过 sigmoid层来决定细胞中哪些信息需要被丢弃。
输入门决定信息的更新,而tanh层用来生成备选信息Ct:
2.2 基于小波变换的信号降噪
小波变换是一种无线电信号的频率分析方法[20]。与传统的傅里叶变换分析相比,小波变换具有时域局部化和频域局部化等优点,可以实现信号在不同尺度下的分解,保留不同调制类型下信号的特征。连续的小波变换函数的定义如下:
信号在空间或时间上具有一定的连续性,其有效信号在小波域的小波系数较大,而噪声信号在空间或时间上一般呈现离散状态,其在小波域内的小波系数较小。利用这一性质,可以通过小波变换的方法来实现对信号的降噪处理。小波阈值降噪法的具体流程如图2所示。
对输入的原始信号进行小波分解处理,计算得到不同的小波系数,假设噪声信号服从高斯分布,那么绝大部分的噪声系数都会位于一定的区间内,将该区间内的系数置零,以实现对噪声信号最大程度的抑制。利用阈值处理后的小波系数,实现无线电信号重构,得到降噪后的信号。
2.3 基于卷积神经网络的自编码器
自编码器(Auto-encoder,AE)一般由三层网络构成,包括输入层、隐藏层和输出层,其中输入层与输出层的神经元数量相等。在训练过程中,对于每一个输入样本,自编码器都会产生一个相同尺寸的输出样本,自编码器训练的优化目标就是使输出样本与输入样本尽可能接近,损失函数可以设计为:
在自编码器的基础 上,研究人员提出降噪自编码器(De-noisingAuto-encoder,DAE)[7],在输入数据中加入噪声信号,使训练得到的自编码器具有降噪功能,同时更具鲁棒性,提高了模型的泛化能力。
3 低信噪比下基于深度学习的调制模式识别方法
3.1 主要思想
现有的基于深度学习的无线电信号调制类型识别方法,对大批无线电信号数据的调制类型识别具有良好的识别效果,但在低信噪比区域,这些调制类型识别方法的识别准确率仍然较低。针对上述问 题,本文提出了一种基于深度学习的无线电信号降噪重构方法。
本文设计了低信噪比下基于深度学习的调制模式识别方法,如图3所示,主要包括低信噪比分类器、降 噪 自 编 码 器 以及调制类型识别网络。其中低信噪比分类器的本质是一个二分类器,通过设置不同的信噪比阈值,能够识别信噪比中的高信噪比信号与低信噪比信号。降噪自编码器能够实现对低信噪比无线电信号的降噪处理。调制类型识别网络由LSTM网络构成,能够识别所输入无线电信号的调制类型。
3.2 基于LSTM的无线电信号调制类型识别模型
受长短时记忆神经网络的启发,本文设计了基于长短时记忆网络的无线电信号调制类型识别模型,具体结构如图4所示。图4中,输入的原始信号尺寸为len*2,其中len表示采样节点数,2表示某一采样节点的时间维度。LSTM(128)表示将输入数据的时间维度映射到尺寸为len*128的特征空间中。FC(11)表示全连接网络,将输入数据映射到11个分布区域,其中11是由训练数据集调制类型种类所确定的。LSTM层采用tanh作为激活函数,dropout为0.8。全连接层使用softmax作为激活函数,训练采用交叉熵作为损失函数,选择学习率为0.001的Adam作为优化器,batchsize为64,epoch为20。选择top_one作为模型的评价指标,即仅当最高置信度所对应的类标为正确类标时,模型识别正确。
利用长短时记忆网络从无线电信号数据中提取数据的特征信息,根据该特征信息实现对于不同调试类型信号的分类。根据基于长短时记忆网络的无线电信号调制类型识别模型对无线电信号降噪前后的调制类型识别准确率的对比,来判断该降噪重构模型的降噪效果。
3.3 低信噪比分类器
在高信噪比区域内,调制类型识别模型已具备良好的分类效果,但在低信噪比区间内的识别准确率极低。因此,需要对低信噪比区间内的无线电信号进行降噪处理,以提高调制类型识别模型的识别区间的准确率。
对低信噪比信号进行降噪处理,首先需要从信号数据中提取低信噪比信号。为了更加准确地筛选出低信噪比信号,本文设计了基于LSTM的无线电信号分类器,用以低信噪比信号的降噪处理,具体结构如图5所示。
图5中,输入的信号尺寸为len*2,其中len表示采样节点数,2表示某一采样节点的时间维度。LSTM(32)表示将输入数据的时间维度映射到尺寸为len*32的 特 征 空 间 中。LSTM层采用tanh作为激活函数,dropout为0.8。FC层即为全连接层,采用softmax作为激活函数。训练采用交叉熵作为损失函数,选择学习率为0.008的Adam作为优化器,batchsize为64,epoch为20。
利用低信噪比分类网络可以将无线电信号映射到高信噪比与低信噪比两个区间,实现基于LSTM的无线电信号二分类任务。
3.4 基于自编码技术的无线电信号降噪方法
在无线电信号调制类型识别中,信号的信噪比越大,噪声对信号的影响越小,无线电信号调制类型的识别准确率就越高。现有的一些基于深度学习的无线电信号调制类型识别方法[4-5],实现了对高信噪比无线电信号数据的调制类型的准确识别,但低信噪比区域的低准确率仍然是个难以解决的问题。针对上述问题,本文提出了一种基于自编码技术的无线电信号降噪方法,具体结构如图6所示。图6中,输入的信号尺寸为len*2,其中len表示采样节点数,2表示某一采样节点的时间维度。LSTM(32)表示将输入数据的时间维度映射到尺寸为len*32的特征空间中。LSTM层采用tanh作为激活函数,dropout为0.8。通过样本时间维度的伸缩变换实现对低信噪比信号的降噪处理。
4 实验结果及分析
4.1 实验设置与评价指标
实验平台环境为:i7-7700k 4.20GHzx8(CPU)TITANXp 12GiBx2(GPU),16GBx4内存(DDR4,Ubuntu16.04(操作系统),Python3.5,Tensorflow-gpu-1.3(深度学习框架)Tflearn-0.3.2。
为了证明基于深度学习的无线电信号降噪重构方法的有效性,我们分别测试了低信噪比无线电信号在降噪前后的调制类型识别准确率。
实验中,以识别准确率为生成的降噪自编码器的评价标准,识别准确率ACC 为:
其中,N表示准确识别的样本数量,Nc 表示测试样本的总数量。以扰动的2-范数作为降噪前后噪声的评价标准:
4.2 数据集和对比方法
本文使用了 Deep-Sig团队的04C数据集,该数据集包括了11种广泛应用的无线电信号调制类型:BPSK,QPSK, 8PSK,16QAM,64QAM,BFSK,CPFSK,PAM4,WB-FM,AM-SSB,AM-DSB。该数据集被划分为两个子集:训练集和测试集。训练集有132000个训练样本,测试集有33000个测试样本,每个样本的尺寸为[128,2]。每类调制类型的样本数量相同,每类样本中含有20种不同的信噪比无线电信号数据(SNR=-20+2n)。我们对上述的数据集进行了预处理操作,对数据集进行了归一化:
4.3 低信噪比分类器
利用图5所示的低信噪比分类网络,将无线电信号数据映射到低信噪比与高信噪比两个区域中,实现低信噪比无线电信号的提取。我们选取了不同的信噪比作为区分高低信噪比信号的标准并进行测试,统计结果如表1所列。
根据实验结果可知,所设计的低信噪比分类器能够准确地提取出数据集中的低信噪比信号,并且具有一定的泛化能力。
4.4 无线电信号调制类型识别
为了更好地证明该基于深度学习的无线电信号降噪模型的通用性,本文使用4.2节中所描述的数据集进行验证。利用训练集对图4所示的基于LSTM的无线电信号调制类型识别模型进行训练。在训练过程中,采用交叉熵作为损失函数,学习 率 为 0.001,选 择 Adam作为优化器,batch size为 64,ep0ch为20。训练结束之后,我们将测试集输入到模型中,得到不同信噪比(SNR)下的调制类型识别结果。由于数据集中的信噪比变化范围较大,本文将其划分为4个区间,统计不同信噪比下无线电信号调制类型识别模型的准确率。识别效果如表2所列,从总体数据来看,该无线电信号调制类型识别模型在高信噪比区域能够达到90%的识别准确率,识别准确率较高,基本可以准确识别高信噪比信号的调制类型。
图7与表1显示了基于LSTM的无线电信号调制类型识别模型对于33000个测试样本进行调制类型识别的统计结果。
由实验结果可知,基于 LSTM 的无线电信号调制类型识别模型能够准确识别SNR≥0DB的无线电信号的调制类型。但当SNR<0DB时该无线电调制类型识别模型的识别准确率会骤降,尤其是当SNR<-14DB模型时的 识别准确率仅为10%。
4.5 基于自编码技术的无线电信号降噪重构模型
针对低信噪比区域内的识别准确率较低的问题,本文提出了基于自编码技术的无线电信号降噪模型,具体结构如图6所示。本文利用了4.1节中所介绍的数据集对模型进行训练,并通过调制类型识别模型测试了该模型的降噪重构效果。
在高信噪比信号中加入服从高斯分布的白噪声,将这些含有加性噪声的信号和原始高信噪比信号输入到降噪模型进行训练。使用训练完毕的降噪模型,实现对低信噪比信号的降噪重构处理。
我们以SNR=-12DB为高低信噪比信号的分类标准,将低于该信噪比的无线电信号进行降噪重构处理。利用重构后的信号对调制类型识别模型进行重训练,并与图2所示的小波阈值降噪方法进行比较。具体结果如表3、表4所列。实验中采用Donoho与Johnstone提出的基于噪声数据分布以及最佳基的自适应方法[21-23]计算每一个通道的小波降噪的阈值系数并保留近似系数,利用计算所得小波阈值系数实现对信号的小波降噪处理。
根据实验结果可知,本文提出的基于自编码技术的无线电信号降噪重构方法能够更加充分地利用有限的信号资源,并一定程度地提升无线电信号调制类型识别模型在低信噪比区间内的识别准确率。
5 结束语
无线电信号技术,是经济持续发展的基础保障,无线电信号识别技术的自动化与智能化,能够为我国社会发展注入强大的动力。本文针对深度学习模型在低信噪比区域内识别精度较低的问题,结合自编码器技术,提出了一种自编码技术的无线电信号降噪重构模型方法,一定程度上能够提高基于深度学习的调制类型识别模型在低信噪比区间内的识别精度,能更充分地利用有限的信号资源。
本文首先通过 LSTM 构建无线电信号调制类型识别模型对不同信噪比的无线电信号进行调制类型识别,通过低信 噪比分类器实现基于 LSTM 的无线电信号二分类任务,随后基于自编码技术构建无线电信号降噪重构模型,实现对低信噪比无线电信号的降噪重构工作,最后使用降噪重构后的数据对调制类型识别模型进行重训练,并进行测试。
由实验结果可知,本文提出的基于自编码技术的无线电信号降噪重构模型在公开数据集上取得了较好的效果,能够提高基于深度学习的调制类型识别模型在低信噪比区间内的识别准确率。在本文方法的研究过程中也发现了许多不足之处,如降噪效果还有待提高、低信噪比分类器的分类准确率欠佳等,都有待进一步的改进。
但基于本文的实验结果,对于未来将自编码技术应用于无线电信号降噪领域是具有极大理论与实践意义的。
参考文献
更多推荐
所有评论(0)