一种融合端侧ASR与TTS深度模型的通航自动气象观测合成通播方法及装置

本发明涉及通用航空领域，尤其涉及一种融合端侧asr(自动语音识别)与tts(语音合成)深度模型的通航自动气象观测合成通播方法及装置。

背景技术：

1、准确且实时的气象情报信息对于飞行员的安全驾驶至关重要，通常在机场的跑道周围都会部署气象观测装置，实时采集机场周边的温度、湿度、气压、能见度、跑道视程等信息，并将所采集的数据自动上报至管制员服务站，管制员将当前时间节点的气象信息汇聚后，融入机场的进离场信息、跑道信息，生成自动化终端情报通播语音及数字化通播报文，并通过甚高频发信机将通播信息在相应的频段定时更新并进行广播，飞行员在对应频段上通过收信机接收到管制员广播的通播信息，及时调整驾驶策略与飞行参数，确保飞机平稳起飞或降落。近年来随着我国通航产业规模的不断扩大，对于自动气象观测合成通播装置的需求日渐提升，传统的气象观测装置智能化水平有待提升，需要管制人员的较多干预，同时气象观测装置与通播合成装置独立部署，不便于远程监控与无人值守，另外数字化通播报文需要依靠acars(飞机通信寻址与报告系统)地空通信专用网络进行传输，通讯范围受地形限制较大且成本较高。

技术实现思路

1、为解决现有技术中的问题，本发明提供了一种融合端侧asr(自动语音识别)与tts(语音合成)深度模型的通航自动气象观测合成通播装置，包括：

2、传感器模块，将外部环境气象信息转化为气象数据信息；

3、气象采集模块，与传感器模块通信，实时地采集气象数据信息并对气象数据信息序列化编组后存至存储模块中；

4、存储模块，存储预先训练完成的asr深度模型与tts深度模型；所述存储模块还保存气象采集模块发送来的序列化编组后的气象数据信息；

5、甚高频收发信模块，接收飞机发射的甚高频无线电信号并进行解调；对tts处理模块生成的通播语音信号进行调制，并将调制后的结果向接受频段在天线频点范围内的飞机进行通播；所述甚高频收发信模块包括甚高频收信模块、甚高频天线模块和甚高频发信模块；

6、asr处理模块，接收甚高频收发信模块解调得到的甚高频有效信号，输出经asr处理模块识别后的报文，并将所述识别后的报文发送至主处理模块；所述asr处理模块通过主处理模块将训练完成的asr深度模型读入再对甚高频有效信号处理；

7、tts处理模块，接收主处理模块生成的数字化情报通播报文生成语音通播语音信号，并将通播语音信号传输至甚高频发信模块；所述tts处理模块通过主处理模块将训练完成的tts深度模型读入再对数字化情报通播报文进行处理；

8、4g/5g模块，与所述主处理器模块相连，实现主处理器模块与地面管控中心站的无线通讯；定时上传气象采集模块采集的气象信息及所述装置内设备的运行状态信息至地面管控中心；

9、主处理模块，实现各个模块之间的信息传递、任务调度、异常处理和维护升级；所述主处理模块中预置报文指令列表，所述报文指令列表中包含全国机场名称代号和请求起飞、请求降落、请求气象的管制语音指令集；所述主处理模块还生成数字化情报通播报文；

10、电源及时钟模块，为各个模块正常工作提供时钟驱动信号及动力来源。

11、进一步地，所述传感器模块包含温湿度传感器、风向风速传感器、气压传感器、能见度传感器和雨量感应器；所述传感器模块包含的传感器进行一体化部署或多点分布式部署。

12、进一步地，所述存储模块还记录预先配置的机场信息、跑道信息、进离场频率以及进近方式信息。

13、进一步地，所述甚高频收发信模块包含低频噪声放大器、功率放大器、滤波器、上变频器、下变频器、射频开关、ad转换器、da转换器、fpga处理单元；低频噪声放大器、下变频器、滤波器、ad转换器和fpga处理单元顺次串连，所述甚高频天线模块接收飞机发射的甚高频无线电信号，fpga处理单元对飞机发射的甚高频无线电信号进行解调得到甚高频有效信号，并将甚高频有效信号发送至asr处理模块；fpga处理单元、da转换器、上变频器、功率放大器和滤波器顺次串连，fpga处理单元接收tts处理模块生成的通播语音信号并进行调制，再将调制后的结果通过所述甚高频天线模块向接受频段在天线频点范围内的飞机进行通播；射频开关与fpga处理单元相连接，fpga处理单元控制射频开关的打开或关闭。

14、进一步地，所述asr处理模块内置ai异构处理器，ai异构处理器采用gpu、npu或fpga对输入信号进行处理；所述训练完成的asr深度模型采用deepspeech2模型。

15、进一步地，所述tts处理模块内置ai异构处理器，ai异构处理器采用gpu、npu或fpga对输入报文进行前端处理；所述训练完成的tts深度模型采用fastspeech2模型。

16、进一步地，所述主处理模块还生成数字化情报通播报文，具体为：所述主处理模块读取当前时刻气象采集模块内的序列化编组后的气象数据信息，并结合存储模块内预先配置的信息和气象采集模块保存在存储模块内的历史的序列化编组后的气象数据信息生成数字化情报通播报文。

17、本发明还提供一种根据所述融合端侧asr与tts深度模型的通航自动气象观测合成通播装置的通播方法，步骤如下：

18、1)对机场跑道信息、进离场频率信息、进近方式进行预先配置，并保存至存储模块中；

19、2)当飞行员需要获取机场管制区域相关信息时，飞行员通过飞机的甚高频发信模块将发出的语音指令转化为甚高频无线电信号发送至所述装置内的甚高频收发信模块；

20、3)所述装置内的甚高频收发信模块对接收到的所述甚高频无线电信号进行解调，得到甚高频有效信号；

21、4)将解调后的甚高频有效信号输入至asr处理模块，asr处理模块通过主处理模块将asr深度模型读入再对解调后的甚高频有效信号进行处理，所述asr处理模块输出经asr处理模块识别后的报文，将经asr深度模型识别后的报文传输至主处理模块，主处理模块提取所述识别后的报文中关键字并判断是否为飞行员请求气象情报信号；若为是，则继续进行步骤5)；若为否，则将经asr处理模块识别后的报文通过4g/5g模块转送至地面管控中心站；

22、5)气象采集模块实时采集机场跑道周边的气象数据信息并对气象数据信息序列化编组后定时存至存储模块中，所述主处理模块读取当前时刻气象采集模块内的序列化编组后的气象数据信息，并结合步骤1)中预配置信息和气象采集模块保存在存储模块内的历史的序列化编组后的气象数据信息生成数字化通播报文；

23、6)数字化通播报文输入至tts处理模块，tts处理模块通过主处理模块将tts深度模型读入再对数字化通播报文进行处理，所述tts处理模块输出通播语音信号，所述装置内的甚高频收发信模块对tts处理模块生成的通播语音信号进行调制，并将调制后的结果通过甚高频天线模块向接受频段在天线频点范围内的飞机进行通播。

24、进一步地，所述步骤4)中，主处理模块接收到经asr处理模块识别后的报文后，将所述识别后的报文与主处理模块预置的报文指令列表对比，若所述识别后的报文中同时包含预置列表中的机场代号及”请求气象情报”指令，则判断为是；反之，则判断为否。

25、进一步地，所述asr处理模块输出经asr处理模块识别后的报文，具体为：asr处理模块先对解调后的甚高频有效信号进行处理，得到fbank特征；asr深度模型接收fbank特征，输出经asr处理模块识别后的报文；所述tts处理模块输出通播语音信号，具体为：tts处理模块先对数字化情报通播报文进行前端处理，得到数字化情报通播报文映射的id；tts深度模型接收数字化情报通播报文映射的id，输出通播语音信号。

26、与现有技术相比，本发明的有益效果是：

27、1)本发明装置融合深度语音模型，可自主识别飞行员气象情报请求指令，并自动合成气象情报通播语音，相比传统语音识别率及语音合成效果将有极大提升；

28、2)本发明装置集成气象观测及通播合成功能于一体，提升装置的便携式集成化部署及远程无人值守性能，改善了飞行员获取气象情报的应答率及地面管控中心的管控效率。