深度学习语音增强系统研究开题报告

1.研究背景：

根据调查统计，听障患者中，约有九成是属于感音神经性听觉受损，这类型的患者几乎无法以药物及手术治疗，所以只能配戴助听器来改善不适。

2. 研究内容和预期目标

研究内容：

传统助听器的功能是将收到的声音放大，让听障人士可以听得清楚声音，但在放大人声的同时也可能放大了周围的噪音。助听器在面对较平稳、无太大变化的静态噪音时能够发挥不错的效用，但若是遇到没有规律的动态噪音，或是环境噪音与人声频谱重迭的情况，将无法有效地将噪音从麦克风的取样中抽离。本课题－基于深度学习的环境降噪语音增强系统，透过深度学习模型，建构一有效过滤噪音特征并过滤环境噪音之系统，学习声音频谱中环境噪音的模式，并予以消除，留下干净的人声。在研究的最后阶段，我们将系统移植至嵌入式开发版，实现便携之穿戴式装置应用。本课题为实现概念验证，挑选四类最令听障人士最难受的噪音作为降噪目标。本课题共分为三阶段：第一阶段对音讯进行前处理，转换为时频图；第二阶段输入以类 CNN 网络训练之噪音分类器进行噪音辨识，判断出音讯中夹带何种环境噪音；第三阶段则根据噪音分类器的结果，使用针对四类不同噪音所训练之类降噪模型进行降噪，将环境噪音从频谱中去除，并于最后转换回干净人声音讯输出，解决传统降噪无法适应动态环境噪音的窘境。

预期目标：

3. 研究的方法与步骤

1.数据集产生器(Dataset Generator)

带有噪音的人声音讯可以看作是将干净人声混入噪音，所以我将使用自行混入噪音的人声音档做训练，并以未混入噪音的原始人声音文件作为目标比对，让预测结果尽可能地接近没有噪音的人声。而在过往的经验中，使用自行录制的dataset所训练出的模型效果较不佳，一来是能取得的资料量有限，二来是难以获得多元、泛化的内容，所以这次选定的数据皆是从公开数据集所取得。

2.数据前处理

4. 参考文献

[1]RosenbaumTomer,Cohen Israel,Winebrand Emil,Gabso Ofri. Differentiable Mean Opinion ScoreRegularization for Perceptual Speech Enhancement[J]. Pattern RecognitionLetters,2023,166.

[2]Passos LeandroA.,Papa Jo#227;o Paulo,Hussain Amir,Adeel Ahsan. Canonical cortical graph neuralnetworks and its application for speech enhancement in audio-visual hearingaids[J]. Neurocomputing,2023,527.

[3]Zhang Rui,ZhangPeng-Yun,Gao Mei-Rong,Pan Li-Hu,Bai Xiao-Lu,Zhao Na. Self-optimizingmulti-domain auxiliary fusion deep complex convolution recurrent network forspeech enhancement[J]. Digital Signal Processing,2023,134.

5. 计划与进度安排

2024年1月5日-2024年3月1日，有针对性的学习课题相关资料,学习相关学科的基础知识，学习实验所需软硬件的相关知识。

2024年3月2日-2024年3月20日，设定实验方案，采集实验数据。

2024年3月21日-2024年4月25日，进一步理论分析，进行实验，开发相关软硬件系统。