超声心动图分析方法、系统、终端及计算机可读存储介质

本发明涉及图像处理，尤其涉及一种超声心动图分析方法、系统、终端及计算机可读存储介质。

背景技术：

1、超声心动图(echocardiography)，是一种心脏超声波检查，使用脉冲或者连续超声波对任意位置的血液和心肌组织速度做出准确的测量，并且使用标准的超声技术或多普勒超声显示心脏的二维图像。超声心动图检查是检测心脏最主要的手段。超声心动图对幼儿无副作用，仪器价格相对便宜，且便于大规模筛查和数据采集。

2、然而，现有的超声心动图现需要专业的人员进行处理和分析，在专业人员数量不足，以及待处理的图像数据日益增多的背景下，专业人员为完成工作不得不提高工作强度和延长工时，分析超声心动图出现错误是难以避免的；而现有的自动化辅助分析工具中，由于没有考虑到使用不同的频率特征来表达特定的信息，导致超声心动图的分析结果不够准确。

3、因此，现有技术还有待于改进和发展。

技术实现思路

1、本发明的主要目的在于提供一种超声心动图分析方法、系统、终端及计算机可读存储介质，旨在解决现有技术中对超声心动图的分析依赖专业的人员，效率过低、错误难以避免，且现有的自动化辅助分析超声心动图的工具得到的分析结果不够准确的问题。

2、为实现上述目的，本发明提供一种超声心动图分析方法，所述一种超声心动图分析方法包括如下步骤：

3、获取目标超声心动图，根据所述目标超声心动图得到目标灰阶图像和目标多普勒图像；

4、构建超声心动图分析模型，对所述超声心动图分析模型进行训练和测试，得到目标模型，其中，所述目标模型包括：频率分解模块、交叉transformer融合模块和交叉卷积融合模块；

5、将所述目标灰阶图像和所述目标多普勒图像输入到所述频率分解模块进行混合滤波操作，得到灰阶高频特征、灰阶低频特征、彩色高频特征和彩色低频特征；

6、将所述灰阶低频特征和所述彩色低频特征输入到所述交叉transformer融合模块进行融合，得到融合后的低频信息，将所述灰阶高频特征和所述彩色高频特征输入到所述交叉卷积融合模块进行特征提取和融合，得到融合后的高频信息；

7、将所述低频信息与所述高频信息输入到分类器中得到所述目标超声心动图的分类结果。

8、可选地，所述的超声心动图分析方法，其中，所述对所述超声心动图分析模型进行训练和测试，得到目标模型，具体包括：

9、获取历史视频序列，将所述历史视频序列进行转换得到图像数据，将所述图像数据进行预处理，得到样本数据，将所述样本数据按照预设比例划分为训练集和测试集；

10、根据所述训练集，通过adam进行预设次数的交叉验证对所述超声心动图分析模型进行训练，并计算损失函数，当所述损失函数达到预设的收敛条件，得到训练后的超声心动图分析模型；

11、使用所述测试集对训练后的超声心动图分析模型进行性能评估，得到满足预设要求的所述目标模型。

12、可选地，所述的超声心动图分析方法，其中，所述频率分解模块包括傅里叶正变换单元，混合滤波器单元以及傅里叶逆变换单元；

13、所述交叉transformer融合模块包括：群组融合单元、特征降维单元、选择注意力单元、norm单元和mlp单元。

14、可选地，所述的超声心动图分析方法，其中，所述将所述目标灰阶图像和所述目标多普勒图像输入到所述频率分解模块进行傅里叶变换和混合滤波操作，得到灰阶高频特征、灰阶低频特征、彩色高频特征和彩色低频特征，具体包括：

15、将所述目标灰阶图像g和所述目标多普勒图像d输入到所述傅里叶正变换单元进行傅里叶变换，得到灰阶图像的第一频谱图gs和灰阶图像的第一相位图gp以及多普勒图像的第二频谱图ds和多普勒图像的第二相位图dp；

16、分别将所述第一频谱图gs和所述第二频谱图ds输入到混合滤波器单元进行混合滤波操作，得到第一低频滤波器gfilterlow和第二低频滤波器dfilterlow以及第一高频滤波器gfilterhigh和第二高频滤波器dfilterhigh；

17、将所述第一低频滤波器gfilterlow中的低频特征以及第一高频滤波器gfilterhigh中的高频特征与所述第一相位图gp输入到所述傅里叶逆变换单元，得到灰阶高频特征gh、灰阶低频特征gl；

18、将所述第二低频滤波器dfilterlow中的低频特征以及第二高频滤波器dfilterhigh中的高频特征与所述第二相位图dp输入到所述傅里叶逆变换单元，得到彩色高频特征dh、彩色低频特征dl。

19、可选地，所述的超声心动图分析方法，其中，所述将所述灰阶低频特征和所述彩色低频特征输入到所述交叉transformer融合模块进行融合，得到融合后的低频信息，具体包括：

20、将所述灰阶低频特征gl和所述彩色低频特征dl分别输入到所述群组融合单元进行通道维度的分割，得到四个特征向量，使用三种不同大小的卷积核算子对四个所述特征向量进行通道维度的卷积，得到灰阶低频特征gl对应的第一查询特征gq和所述彩色低频特征dl对应的第二查询特征dq；

21、将所述灰阶低频特征gl和所述彩色低频特征dl进行分别输入到所述特征降维单元降维操作，得到所述灰阶低频特征gl对应的第一关键特征gk和第一值特征gv以及所述彩色低频特征dl对应的第二关键特征dk，和第二值特征dv；

22、分别将所述灰阶低频特征gl以及所述彩色低频特征dl各自对应的查询特征、关键特征和值特征输入到所述选择注意力单元进行特征提取，得到第一输出特征tg和第二输出特征td；

23、将所述第一输出特征tg和所述第二输出特征td分别输入到所述norm单元和所述mlp单元进行计算，得到第一计算结果和第二计算结果；

24、将所述第一计算结果与所述第一输出特征tg进行融合，得到第一融合特征，将所述第二计算结果与所述第二输出特征td进行融合，得到第二融合特征；

25、将所述第一融合特征与所述第二融合特征进行融合，得到融合后的低频信息t。

26、可选地，所述的超声心动图分析方法，其中，所述分别将所述灰阶低频特征gl以及所述彩色低频特征dl各自对应的查询特征、关键特征和值特征输入到所述选择注意力单元进行特征提取，得到第一输出特征tg和第二输出特征td，具体包括：

27、分别将所述第一查询特征gq、所述第一关键特征gk，和所述第一值特征gv进行划分，得到第一查询向量q1、第一关键向量k1和第一值向量v1，其中，r表示图像的数值，p表示划分区域的个数，h、w、c分别表示特征的高度、宽度和通道数；

28、将所述第一查询向量q1和所述第一关键向量k1进行归一化，得到归一化后的q1′和k1′，根据归一化结果计算所述第一查询向量q1和所述第一关键向量k1之间的第一关系矩阵a1：

29、

30、其中，m表示矩阵的转置；

31、选取所述第一关系矩阵a1中预设数量的令牌，根据所述令牌将所述第一关键向量k1和第一值向量v1进行转化，得到转化后的第一关键向量k1″和转化后的第一值向量

32、将所述第一查询向量q1、转化后的第一关键向量k1″和转化后的第一值向量v1′分别作为所述选择注意力单元的查询项、关键项和值，计算第一注意力sa1：

33、

34、其中，sa(.)表示注意力函数，d表示特征嵌入维度，softmax(.)表示归一化函数；

35、计算所述第一计算注意力sa1与所述第一查询特征gq的和，得到所述第一输出特征tg：tg＝sa1+gq；

36、分别将所述第二查询特征dq、所述第二关键特征dk，和所述第二值特征dv进行划分，得到第二查询向量q2、第二关键向量k2和第二值向量v2，其中，

37、将所述第二查询向量q2和所述第二关键向量k2进行归一化，得到归一化后的q2′和根据归一化结果计算所述第二查询向量q2和所述第二关键向量k2之间的第二关系矩阵a2：

38、

39、选取所述第二关系矩阵a2中预设数量的令牌，根据所述令牌将所述第二关键向量k2和第二值向量v2进行转化，得到转化后的第二关键向量k2″和转化后的第二值向量

40、将所述第二查询向量q2、转化后的第二关键向量k2″和转化后的第二值向量v2′分别作为所述选择注意力单元的查询项、关键项和值，计算第二注意力sa2：

41、

42、计算所述第二计算注意力sa2与所述第二查询特征dq的和，得到所述第二输出特征td：td＝sa2+dq。

43、可选地，所述的超声心动图分析方法，其中，所述将所述灰阶高频特征和所述彩色高频特征输入到所述交叉卷积融合模块进行特征提取和融合，得到融合后的高频信息，具体包括：

44、将灰阶高频特征gh输入到所述交叉卷积融合模块中卷积残差块得到第一计算结果，将所述第一计算结果与所述彩色高频特征dh加和，得到彩色高频特征d′h；

45、将所述多模态高频特征d′h输入到所述交叉卷积融合模块中卷积残差块得到第二计算结果，将所述第二计算结果与所述灰阶高频特征gh相乘，得到灰阶高频特征g′h；

46、将所述彩色高频特征d′h和所述灰阶高频特征g′h通过cat运算进行连接，得到融合后的多模态高频信息。

47、此外，为实现上述目的，本发明还提供一种超声心动图分析系统，其中，所述超声心动图分析系统包括：

48、目标图像获取模块，用于获取目标超声心动图，根据所述目标超声心动图得到目标灰阶图像和目标多普勒图像；

49、模型构建和训练模块，用于构建超声心动图分析模型，对所述超声心动图分析模型进行训练和测试，得到目标模型，其中，所述目标模型包括：频率分解模块、交叉transformer融合模块和交叉卷积融合模块；

50、高低频分解模块，用于将所述目标灰阶图像和所述目标多普勒图像输入到所述频率分解模块进行傅里叶变换和混合滤波操作，得到灰阶高频特征、灰阶低频特征、彩色高频特征和彩色低频特征；

51、特征融合模块，用于将所述灰阶低频特征和所述彩色低频特征输入到所述交叉transformer融合模块进行融合，得到融合后的低频信息，将所述灰阶高频特征和所述彩色高频特征输入到所述交叉卷积融合模块进行特征提取和融合，得到融合后的高频信息；

52、分类结果获取模块，用于将所述低频信息与所述高频信息输入到分类器中得到所述目标超声心动图的分类结果。

53、此外，为实现上述目的，本发明还提供一种终端，其中，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的超声心动图分析程序，所述超声心动图分析程序被所述处理器执行时实现如上所述的超声心动图分析方法的步骤。

54、此外，为实现上述目的，本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有超声心动图分析程序，所述超声心动图分析程序被处理器执行时实现如上所述的超声心动图分析方法的步骤。

55、本发明中，获取目标灰阶图像和目标多普勒图像；构建目标模型，目标模型包括：频率分解模块、交叉transformer融合模块和交叉卷积融合模块；根据目标灰阶图像和目标多普勒图像得到灰阶高频特征、灰阶低频特征、彩色高频特征和彩色低频特征；将灰阶低频特征和彩色低频特征输入到交叉transformer融合模块进行融合，得到融合后的低频信息，将灰阶高频特征和彩色高频特征输入到交叉卷积融合模块进行特征提取和融合，得到融合后的高频信息；将低频信息与高频信息输入到分类器中得到目标超声心动图的分类结果。本发明克服了人工分析效率慢、易出错的缺陷，能高效且准确地对超声心动图进行分析。