一种AI医疗-胸部医学影像报告自动生成方法

本发明涉及医学与信息技术交叉，具体涉及一种ai医疗-胸部医学影像报告自动生成方法。

背景技术：

1、患者拍摄胸部x光后所得的影像通常由专业医师对医学影像进行审阅，这需要投入大量的人力和时间，而且容易受到主观因素的影响，导致报告的一致性和准确性有所欠缺。医学报告自动生成的关键在于数据提取和结构化、信息处理、影像与文字报告的跨模型对齐和长报告的自动生成。通过使用医学报告自动生成系统可以有效地减少医生的工作量，同时能够提高医院的就诊效率以及能够在一定程度上减少患病的风险。

2、借助人工智能(ai)技术来实现自动分析和解释医学影像数据，提取关键特征和病变信息。医学影像处理技术可以用于对影像数据进行增强、分割和配准等处理，以提取更准确的特征信息。自然语言处理(nlp)技术则可以将从影像数据中提取的信息转化为结构化和语义准确的报告文本。

3、常用的医学报告生成模型主要有基于模板的方法、基于检索的方法和基于字幕的生成模型或深度神经网络。而其中基于字幕的生成模型或深度神经网络又包括基于编解码器的模型和基于编码器-解码器的注意力模型。而最先的技术为合并模型，其中cnn用于提取视觉特征，bert等用于学习文本特征。

4、然而，目前仍存在一些挑战。首先，胸部影像数据存在多类疾病，其质量和影像描述可能对应不准确。其次，由于医学报告的复杂性和多样性，对于不同类型和领域的报告，需要设计相应的模型和算法来适应不同的情况。此外，语义理解和逻辑推理等问题也需要进一步研究和改进，以提高自动生成报告的准确性和可理解性。

5、因此，当前的研究重点是改进医学影像分析和处理技术，提高自动报告生成的准确性和效率，以及进一步探索深度学习、自然语言生成和知识图谱等技术在医学报告自动生成领域的应用。为此，提出一种ai医疗-胸部医学影像报告自动生成方法。

技术实现思路

1、本发明所要解决的技术问题在于：如何解决现有报告生成模型准确度低、语义逻辑混乱、标注数据规模小，提供了一种ai医疗-胸部医学影像报告自动生成方法。

2、本发明是通过以下技术方案解决上述技术问题的，本发明包括以下步骤：

3、s1：胸部x光影像采集

4、利用医疗影像设备进行胸部x光影像采集，传输至服务器中；

5、s2：医学影像报告生成

6、通过服务器上部署的医学影像报告生成模型对胸部x光影像进行描述，完成医学影像报告的生成；

7、s3：医学影像报告反馈

8、当医学影像报告的生成结果中，准确率低于预设的阈值，则反馈给医师进行再次审核和描述，最终将一份合格的医学影像报告反馈给患者的移动端。

9、更进一步地，在所述步骤s2中，医学影像报告生成模型的具体处理过程如下：

10、s21：利用卷积神经网络对胸部x光影像中胸部异常区域进行特征的关注及提取，得到视觉特征i，其中视觉特征i即图像特征；

11、s22：通过使用由radgraph提供的一般知识构成的知识图，同时通过放射学报告标签器chexbert，为每个单词生成一个伪标签，以提取文本信息，根据图像特征对齐文本特征得到跨模态特征矩阵对，即跨模态特征，其次将图像-文本跨模态信息嵌入到单一模态特征中，实现跨模态细粒度特征对齐；

12、s23：将一般知识和跨模态信息通过知识增强的多头注意力机制，共同作为医学影像报告生成模型的解码器中多头注意力模块中的键特征k、值特征v；

13、s24：最后在解码器中通过记忆驱动的transformer生成医疗报告。

14、更进一步地，在所述步骤s21中，通过使用在imagenet上预训练后的resnet-101作为视觉特征提取模块，对输入的影像进行视觉特征提取。

15、更进一步地，在所述步骤s22中，使用三元组集来表示一般知识，其中ng是指三元组的数量，通过从手动构建的知识图中获取一般知识，使用了一个图嵌入模型rotate来获得实体嵌入和关系嵌入：

16、{ee,er}＝rotate(gg)

17、其中，ee表示实体嵌入，和er表示关系嵌入；

18、图嵌入模型rotate将每个关系定义为复向量空间中从源实体ei到目标实体ej的旋转。

19、更进一步地，在所述步骤s22中，放射学报告标签器chexbert的具体过程如下：

20、s2201：将与图像相关联的报告表示如下：

21、

22、其中，wi是报告中的第i个单词，nr是报告中的单词数；

23、s2202：伪标签的标记过程表示如下：

24、

25、其中，yi∈{0,1}是第i个类别的预测结果，nl是类别的数量，并且fal(·)表示放射学报告标签器chexbert。

26、更进一步地，在所述步骤s22中，跨模态细粒度特征对齐的具体过程如下：

27、s2211：使用预训练的resnet-101和bert来提取全局视觉和文本表示，分别为和其中c1和c2分别是视觉和文本表示提取的通道数，并提取翻转图像特征

28、s2212：通过对所有训练样本重复步骤s2211的过程，为每个类别获得一组特征集：

29、

30、其中，和是类别k的视觉和文本特征集，i(f)表示原始图像i或翻转图像并且yu,k表示样本u的类别中k的标签；

31、s2213：将视觉和文本表示连接起来，形成跨模态特征其中d＝c1+c2；

32、s2214：采用k-means将每个特征集聚类为np个聚类，每个聚类中特征的平均值被用作pm的初始跨模态原型，具体过程表示如下：

33、

34、其中，ou和rk是样本u的级联跨模态表示和类别k的跨模态特征集，是由k-means算法fkm返回的第k个类别的第i个分组聚类，是第k个类别的第i个聚类中的样本数，pm(k,i)则表示第k个类别的跨模态原型集中的第i个向量。

35、更进一步地，在所述步骤s23中，知识增强的多头注意力机制的具体处理过程如下：

36、s231：获得实体嵌入ee和关系嵌入er后，将实体嵌入ee和关系嵌入er与视觉特征i相结合；

37、s232：将实体嵌入ee、关系嵌入er视和觉特征i相结合，并计算它们之间的语义相关性，在知识图谱的相关节点上聚合边缘特征，并将聚合所有邻居的边缘特征与建模后的知识图谱中的节点特征相结合；

38、s233：将最短路径的边缘特征编码为感应偏置。

39、更进一步地，在所述步骤s231～s233中，结合获得实体嵌入ee和关系嵌入er，实现多头注意，具体处理过程如下：

40、s2311：先从一般知识出发，构造聚合关系嵌入其中每个元素表示源实体ei和目标实体ej之间的关系，使用关系嵌入的平均值作为rij：

41、

42、其中，avgpool(·)是指平均池化函数，并且ralations(ei,ej)是指实体ei和实体ej之间的所有关系来构成关系嵌入

43、s2312：设定关系偏差如下：

44、φ(r)＝avgpool(rwr)

45、其中，wr是尺寸为400×1的线性投影的可学习参数，rwr的尺寸为ne×ne；

46、s2313：通过将多头注意力应用于kg-att函数，得到知识增强的多头注意力机制，定义如下：

47、kemha(q,k,v,r)＝[head1,...,headh]wo

48、

49、其中，表示第i个头部的关系偏差，和wo是线性投影的可学习参数；

50、s2314：得到一般知识cg表示如下：

51、cg＝kemha(i,ee,er,r)。

52、更进一步地，在所述步骤s2313中，kg-att函数如下：

53、

54、其中，q、k和v表示查询、键和值特征，dk表示嵌入的维数。

55、更进一步地，在所述步骤s24中，在解码器中通过记忆驱动的transformer生成医疗报告的具体过程如下：

56、s241：利用来自前一时间的输出进行更新整合；

57、s242：在时间步t，将来自先前时间步的矩阵mt-1作为查询，并且它和之前的输出的拼接作为key和value传入多头注意力模块，多头注意力模块的处理函数如下：

58、

59、其中，dk是k的维数，z是多头注意力模块的输出；

60、在relational memory模块的transformer中，给定h个头，通过q＝mt-1·wq、k＝[mt-1；yt-1]·wk和v＝[mt-1；yt-1]·wv获得单独的query、key与value，最终组合成h组向量，其中yt-1是最后一个输出的嵌入；[mt-1；yt-1]是mt-1和yt-1的按行级联，wq、wk和wv分别是查询、键和值的线性变换的可训练权重；

61、s243：引入剩余连接和门机制：

62、

63、其中，fmlp表示mlp，遗忘门和输入门分别用于平衡来自mt-1和yt-1的输入；为了确保yt-1能够用于mt-1的计算，其通过被复制到多行以扩展其为矩阵yt-1，得到矩阵yt-1；

64、s244：将遗忘门和输入门形式化为：

65、

66、其中，wf和wi是每个门中yt-1的可训练权重；类似地，uf和ui是每个门中mt-1的可训练权重；

67、s245：门机制的最终输出形式化为：

68、

69、其中，⊙是指hadamard乘积，σ是指sigmoid函数，mt是时间步t处整个关系存储器模块的输出；

70、s246：对每个transformer解码器中，利用三个mclns，其中第一个mcln的输出是作为query，将来自transformer编码器中知识增强的多头注意力机制的隐藏状态作为键和值一起提供给后续的多头注意模块，为了馈送每个mcln，在时间步t，通过将来自mt的所有行连接起来，关系存储器模块的输出mt被扩展为向量mt，使用mlp从mt预测γt上的变化δγt；通过以下方式执行δβt：

71、δγt＝fmlp(mt)

72、

73、βt＝fmlp(mt)

74、

75、其中，和被用于平均来自前一个生成的结果的多头注意力模块的平均值和方差；

76、mcln的处理结果fmcln(r)如下：

77、

78、其中，r是指上一个多头注意力模块和输入残差处理之后的结果；μ和v分别是r的平均值和标准差，来自mcln的结果fmcln(r)然后被馈送到下一个mcln或者用作生成的最终输出。

79、本发明相比现有技术具有以下优点：该ai医疗-胸部医学影像报告自动生成方法，利用人工智能和医学影像技术，预先收集医院胸部x光医学影像及相应文本数据，建立相关数据库，对患者所拍摄的胸部x光医学影像通过医学报告生成模型进行报告的自动生成，集收集、传输、服务器处理、生成结果和输出于一体，提高了报告的准确度以及可理解性。