一种融合图像识别和扩散式生成模型的超声报告生成方法与流程

本发明涉及医学图像分析领域及自然语言领域，尤其涉及一种融合图像识别和扩散式生成模型的超声报告生成方法。

背景技术：

1、基于超声图像智能分析的扫描报告自动生成技术可以作为超声扫描检查的辅助工具，降低医生文案工作的时间，提高检查效率，提升单位时间内超声检查的患者数量，从而缓解基层医院超声科医生短缺的问题。为了契合数字医疗和病历电子化，医生通过键盘或语音输入的方式生成超声检查报告，这种方法节省了一定的时间，但仍然完全依赖医生的专业知识和个人经验。进一步的，通过以lstm为代表的图像描述处理模型主要集中在自然图像领域，其生成的超声影像报告在准确度上有所欠缺。

2、基于商业语言大模型的医学图像描述正确率低，理论上对语言大模型进行本地部署，进一步通过检索增强生成的方式将超声图像文字报告数据库作为语料进行增强训练才能生成具有医学价值的超声报告。然而语言大模型的部署与训练需要大量的计算资源，且通过检索增强的图像语义生成存在大模型幻觉这类难以完全解决的技术性难题，在没有大量高质量标注数据和算力的前提下不适用于超声医疗报告的生成。

技术实现思路

1、针对现有技术的不足，本发明提供了一种融合图像识别和扩散式生成模型的超声报告生成方法，该方法研究开发了一种空间信息适配器算法模型结构，嵌入图像大模型框架中提供高准确率的分割和分类结果；其中的肿瘤分割区域作为模拟医生诊断时的感兴趣区域，替代faster-rcnn方法为扩散生成式模型确定重点图像描述区域；最后通过交叉熵损失函数和adam优化器的训练方法对扩散生成式算法模型进行训练。

2、本发明是通过以下技术方案来实现的：

3、一种融合图像识别和扩散式生成模型的超声报告生成方法，包括以下步骤：

4、（1）建立超声图像与文字报告数据库，分别对两种不同模态的数据做数据增强；

5、（2）针对超声图像设计空间适配器和特征融合模块，将其嵌入图像分割大模型的图像编码器中，以准确对肿瘤图像分割和分类；

6、（3）对超声图像的训练数据做数据增强，包括旋转、翻转、位移、放大和缩小操作，增强图像训练数据的泛化性，同时对每张图片所对应的文字报告进行处理，将诊断关键词进行语义对齐，以表格的形式列出；

7、（4）建立扩散式文字生成算法模型，该模型包括文本语义编码器、肿瘤区域图像编码器和混合解码器，其输出结果为输入超声肿瘤图像的文字描述；

8、（5）使用adam优化器对扩散式文字生成算法模型完成网络训练，需自主选择初始学习率，并在训练中根据梯度变化持续变更学习率，最后生成基于肿瘤区域超声图像的文本描述和辅助诊断报告。

9、具体地，所述步骤（2）中的空间适配器由卷积核大小不同的卷积层和最大池化层组成，特征融合模块由交叉注意力层、线性变换层和激活函数组成；所述图像编码器中每个transformer模块和空间适配器的输出由特征融合模块融合后作为下一个transformer模块的输入，嵌入的空间适配器和特征融合模块数量能够根据不同数据进行调整。

10、具体地，所述步骤（3）中的超声图像的训练数据和文字报告为一一对应的关系。

11、具体地，所述步骤（4）中的文本语义编码器的输入从步骤（1）中的文字报告数据库中提取，与图像输入存在一一对应关系，通过embedding的方式将句子文本转化成向量，输入语义编码器，其编码器架构与肿瘤图像编码器相同。

12、具体地，所述步骤（4）中的肿瘤区域图像编码器是以步骤（2）中分割的结果作为感兴趣区域输入，根据超声图像可知感兴趣区域为一个或者多个，其结构为transformer架构的编码器，其由多头自注意力机制层和正向传播层组成。

13、具体地，所述步骤（4）中混合解码器的结构由一个多头自注意力机制层、一个多头交叉注意力机制层和一个正向传播层组成；肿瘤图像编码器的输出特征需要依次通过自注意力和交叉注意力层，语义编码器的输出特征直接输入交叉注意力层，与图像特征在交叉注意力层进行计算，最后通过正向传播层和线性层输出文本结果。

14、具体地，所述步骤（4）中的扩散式文字生成算法模型使用交叉熵损失函数crossentropy进行计算，衡量训练数据中真实文本和生成文本之间的差异；同时，在算力充足时该模型能够通过叠加多个扩散式模块提高文本生成的准确度。

15、具体地，所述扩散式文字生成算法模型支持不同部位的超声肿瘤图像报告生成，即包括盆腔、乳房以及甲状腺部位。

16、具体地，所述超声图像的肿瘤区域视为医生诊断的感兴趣区域，通过分割算法完成提取，更好的替代原模型中faster-rcnn的作用，同一张超声图像能够有一个或多个肿瘤区域。

17、具体地，所述超声报告生成在文字生成任务中属于20个字以内的文字生成，需选用单一自回归的训练方法刻画肿瘤图像与对应文字，以及每一个文字与其他文字之间的条件概率，然后基于最大似然估计mle来训练扩散式文字生成算法模型。

18、本发明的有益效果是：本发明通过对图像分割大模型中编码器结构的改动，大幅提高了针对超声图像肿瘤区域分割和分类任务的准确度，同时模拟医生诊断思维，使用肿瘤区域作为超声报告生成的感兴趣区域，进一步使用扩散式文字生成模型对肿瘤区域进行医学诊断描述，自动完成超声检查报告的生成。该发明可以减少医生撰写报告的文案工作时间，提升检查效率，同时在基层医院可以起到部分替代专家医生检查的效果，缓解基层超声科医生人才缺乏的问题。其中空间适配器针对超声肿瘤图像的特点，通过可变感受野卷积运算的图像特征提取方法，保留更多肿瘤区域的图像空间结构特征，进一步使用特征融合模块对一般图像特征和空间特征进行融合，达到信息特征进行补全的作用；使用具有诊断价值的肿瘤区域和类型信息替代传统文字生成模型使用faster-rcnn输出的多重感兴趣区域作为训练输入，以transformer为基础架构设计编码、解码器结构的自回归模型，该模型在保证文字生成准确率的同时减少了生成时间。

技术特征：

1.一种融合图像识别和扩散式生成模型的超声报告生成方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种融合图像识别和扩散式生成模型的超声报告生成方法，其特征在于，所述步骤（2）中的空间适配器由卷积核大小不同的卷积层和最大池化层组成，特征融合模块由交叉注意力层、线性变换层和激活函数组成；所述图像编码器中每个transformer模块和空间适配器的输出由特征融合模块融合后作为下一个transformer模块的输入，嵌入的空间适配器和特征融合模块数量能够根据不同数据进行调整。

3.根据权利要求1所述的一种融合图像识别和扩散式生成模型的超声报告生成方法，其特征在于，所述步骤（3）中的超声图像的训练数据和文字报告为一一对应的关系。

4.根据权利要求1所述的一种融合图像识别和扩散式生成模型的超声报告生成方法，其特征在于，所述步骤（4）中的文本语义编码器的输入从步骤（1）中的文字报告数据库中提取，与图像输入存在一一对应关系，通过embedding的方式将句子文本转化成向量，输入语义编码器，其编码器架构与肿瘤图像编码器相同。

5.根据权利要求1所述的一种融合图像识别和扩散式生成模型的超声报告生成方法，其特征在于，所述步骤（4）中的肿瘤区域图像编码器是以步骤（2）中分割的结果作为感兴趣区域输入，根据超声图像可知感兴趣区域为一个或者多个，其结构为transformer架构的编码器，其由多头自注意力机制层和正向传播层组成。

6.根据权利要求1所述的一种融合图像识别和扩散式生成模型的超声报告生成方法，其特征在于，所述步骤（4）中混合解码器的结构由一个多头自注意力机制层、一个多头交叉注意力机制层和一个正向传播层组成；肿瘤图像编码器的输出特征需要依次通过自注意力和交叉注意力层，语义编码器的输出特征直接输入交叉注意力层，与图像特征在交叉注意力层进行计算，最后通过正向传播层和线性层输出文本结果。

7.根据权利要求1所述的一种融合图像识别和扩散式生成模型的超声报告生成方法，其特征在于，所述步骤（4）中的扩散式文字生成算法模型使用交叉熵损失函数crossentropy进行计算，衡量训练数据中真实文本和生成文本之间的差异；同时，在算力充足时该模型能够通过叠加多个扩散式模块提高文本生成的准确度。

8.根据权利要求1所述的一种融合图像识别和扩散式生成模型的超声报告生成方法，其特征在于，所述扩散式文字生成算法模型支持不同部位的超声肿瘤图像报告生成，即包括盆腔、乳房以及甲状腺部位。

9.根据权利要求1所述的一种融合图像识别和扩散式生成模型的超声报告生成方法，其特征在于，所述超声图像的肿瘤区域视为医生诊断的感兴趣区域，通过分割算法完成提取，更好的替代原模型中faster-rcnn的作用，同一张超声图像能够有一个或多个肿瘤区域。

10.根据权利要求1所述的一种融合图像识别和扩散式生成模型的超声报告生成方法，其特征在于，所述超声报告生成在文字生成任务中属于20个字以内的文字生成，需选用单一自回归的训练方法刻画肿瘤图像与对应文字，以及每一个文字与其他文字之间的条件概率，然后基于最大似然估计mle来训练扩散式文字生成算法模型。

技术总结本发明公开了一种融合图像识别和扩散式生成模型的超声报告生成方法。该方法首先在传统图像分割大模型的图像编码器中加入空间适配器，对超声扫描图像进行高精度的肿瘤区域分割；同时通过图像分类模型对超声图像中的肿瘤进行分类，分类和分割模型使用相同的图像空间编码器结构；进一步将诊断区域的肿瘤类型、区域和病理报告进行语义提取和对齐，作为超声报告生成的训练数据；最后使用扩散式超声图像描述生成模型完成对单张扫描图像的超声报告生成。本发明适用于大规模体检的超声报告生成，通过对分割大模型的网络结构优化，生成精准的肿瘤分割区域作为的诊断区域，提高了超声科医生的检查和诊断效率。技术研发人员：徐阳迪,胡佩君,田雨,周天舒,李劲松受保护的技术使用者：之江实验室技术研发日：技术公布日：2024/9/29