期相识别模型的生成方法和图像的识别方法与流程

本技术涉及人工智能，具体而言，涉及一种期相识别模型的生成方法和图像的识别方法。

背景技术：

1、医学图像分析的深度学习算法在各种临床任务中取得了显著的成功，如筛查和诊断。通常需要大规模的成像数据来训练此类算法，以实现鲁棒性性能。然而，来自不同来源的成像数据从各种扫描仪中获得，扫描协议在不同的医院和检查部分有所不同。要结构化这些异构数据，数据管理是一个关键的步骤，这是费时费力的。

2、对比增强计算机断层扫描（multi-phase contrast-enhanced computedtomography， ct）是临床诊断的典型成像方式，静脉注射后，造影剂通过循环系统增强特定的器官、血管或组织。其中，ct数据清洗中比较重要的就是期相的区分，现有技术中往往是通过医护人员在书写报告时，对ct的期相进行识别和标识，这种方式的缺点是无法大批量自动的实现期相的区分，且可能存在人为失误导致标记错误等。

3、针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

1、本技术实施例提供了一种期相识别模型的生成方法和图像的识别方法，以至少解决相关技术中通过人工的方式对ct的期相进行识别，导致对ct的期相识别的效率比较低的技术问题。

2、根据本技术实施例的一个方面，提供了一种期相识别模型的生成方法，包括：获取多个样本ct图像组，其中，所述样本ct图像组中的样本ct图像对应的期相相同，所述多个样本ct图像组之间对应的期相不相同；获取所述多个样本ct图像组中的样本ct图像组对应的第一目标关键点的第一位置信息和所述多个样本ct图像组中的样本ct图像组对应的第一嵌入特征信息，其中，所述第一目标关键点为与所述期相相关的关键点；依据所述多个样本ct图像组、所述第一位置信息、所述第一嵌入特征信息和所述多个样本ct图像组中的样本ct图像组对应的真实期相对初始期相识别模型进行训练，生成目标期相识别模型，其中，所述目标期相识别模型用于识别ct图像对应的期相。

3、进一步地，获取所述多个样本ct图像组中的样本ct图像组对应的第一目标关键点的第一位置信息和所述多个样本ct图像组中的样本ct图像组对应的第一嵌入特征信息包括：获取多个关键点的模板嵌入特征信息；通过特征提取模型对所述多个样本ct图像组中的样本ct图像组的像素点进行特征提取，得到所述第一嵌入特征信息；依据所述模板嵌入特征信息和所述第一嵌入特征信息，确定所述第一位置信息。

4、进一步地，获取多个关键点的模板嵌入特征信息包括：对第一目标ct图像组中的关键点进行标注，得到第二目标ct图像组；通过所述特征提取模型对所述第二目标ct图像组中的关键点进行全局嵌入特征提取，得到全局嵌入特征；通过所述特征提取模型对所述第二目标ct图像组中的关键点进行本地嵌入特征提取，得到本地嵌入特征；通过所述特征提取模型对所述第二目标ct图像组中的关键点进行语义嵌入特征进行提取，得到语义嵌入特征；依据所述全局嵌入特征，所述本地嵌入特征和所述语义嵌入特征，得到所述模板嵌入特征信息。

5、进一步地，依据所述模板嵌入特征信息和所述第一嵌入特征信息，确定所述第一位置信息包括：对所述模板嵌入特征信息和所述第一嵌入特征信息进行相似度计算，得到目标相似度；依据所述目标相似度，对所述多个样本ct图像组中的样本ct图像组的像素点进行筛选，得到第一像素点；依据预设的相似度阈值对所述第一像素点进行筛选，得到第二像素点；依据所述第二像素点，确定所述第一位置信息。

6、进一步地，对所述模板嵌入特征信息和所述第一嵌入特征信息进行相似度计算，得到目标相似度包括：对所述模板嵌入特征信息中的全局嵌入特征和所述第一嵌入特征信息中的全局嵌入特征进行相似度计算，得到第一相似度；对所述模板嵌入特征信息中的本地嵌入特征和所述第一嵌入特征信息中的本地嵌入特征进行相似度计算，得到第二相似度；对所述模板嵌入特征信息中的语义嵌入特征和所述第一嵌入特征信息中的语义嵌入特征进行相似度计算，得到第三相似度；依据所述第一相似度，所述第二相似度和所述第三相似度，得到所述目标相似度。

7、进一步地，依据所述多个样本ct图像组、所述第一位置信息、所述第一嵌入特征信息和所述多个样本ct图像组中的样本ct图像组对应的真实期相对初始期相识别模型进行训练，得到目标期相识别模型包括：通过所述初始期相识别模型对所述多个样本ct图像组中的样本ct图像组、所述第一位置信息和所述第一嵌入特征信息进行特征提取，得到第一目标特征向量；通过所述初始期相识别模型基于第一目标特征向量进行分类预测，得到预测期相；依据所述预测期相，所述真实期相和所述第一目标特征向量，确定目标损失函数；依据所述目标损失函数对所述初始期相识别模型进行训练，得到所述目标期相识别模型。

8、进一步地，通过所述初始期相识别模型对所述多个样本ct图像组中的样本ct图像组、所述第一位置信息和所述第一嵌入特征信息进行特征提取，得到第一目标特征向量包括：对于所述多个样本ct图像组中的目标样本ct图像组，通过所述初始期相识别模型中的自注意力机制对所述目标样本ct图像组、所述第一位置信息和所述第一嵌入特征信息进行特征提取，得到所述目标样本ct图像组对应的第一特征信息，其中，所述目标样本ct图像组为所述多个样本ct图像组的任意一组样本ct图像组；获取所述多个样本ct图像组中的样本ct图像组对应的第一特征信息；通过所述初始期相识别模型中的跨注意力层对所述目标样本ct图像组对应的第一特征信息和所述多个样本ct图像组中的样本ct图像组对应的第一特征信息进行特征提取，得到所述目标样本ct图像组对应的第二特征信息；通过所述初始期相识别模型中的池化层对所述目标样本ct图像组对应的第一特征信息和所述目标样本ct图像组对应的第二特征信息进行处理，得到所述第一目标特征向量。

9、进一步地，通过所述初始期相识别模型中的自注意力机制对所述目标样本ct图像组、所述第一位置信息和所述第一嵌入特征信息进行特征提取，得到所述目标样本ct图像组对应的第一特征信息包括：对所述第一位置信息进行随机采样和遮挡处理，得到第二位置信息；对于所述第二位置信息中的目标位置信息，以所述目标位置信息为中心从所述目标样本ct图像组中得到所述目标位置信息对应的平均hu值，其中，所述目标位置信息为所述第二位置信息中的任意一个位置信息；对所述平均hu值和所述第一嵌入特征信息进行特征提取，得到所述目标样本ct图像组对应的第一特征信息。

10、进一步地，依据所述预测期相，所述真实期相和所述第一目标特征向量，确定目标损失函数包括：依据所述预测期相和所述真实期相进行计算，得到分类损失函数；对于所述多个样本ct图像组中的目标样本ct图像组，获取所述目标样本ct图像组在所述多个样本ct图像组中的次序信息，其中，目标样本ct图像组为所述多个样本ct图像组的任意一组样本ct图像组；依据所述次序信息和所述第一目标特征向量进行计算，得到对比损失函数；依据所述分类损失函数和所述对比损失函数，确定所述目标损失函数。

11、进一步地，依据所述次序信息和所述第一目标特征向量进行计算，得到对比损失函数包括：获取所述多个样本ct图像组中的样本ct图像组的初始顺序向量；依据所述次序信息和所述初始顺序向量进行计算，得到所述目标样本ct图像组的目标顺序向量；对所述目标顺序向量进行编码处理，得到编码顺序向量；依据所述编码顺序向量和所述第一目标特征向量进行计算，得到所述对比损失函数。

12、根据本技术实施例的另一方面，还提供了一种图像的识别方法，包括：获取待识别的ct图像组；获取所述ct图像组对应的第二目标关键点的第三位置信息和所述ct图像组对应的第二嵌入特征信息；通过上述任意一项所述的目标期相识别模型基于所述ct图像组，所述第三位置信息和所述第二嵌入特征信息进行识别，得到所述ct图像组对应的目标期相。

13、进一步地，通过目标期相识别模型基于所述ct图像组，所述第三位置信息和所述第二嵌入特征信息进行识别，得到所述ct图像组对应的目标期相包括：通过所述目标期相识别模型对所述ct图像组，所述第三位置信息和所述第二嵌入特征信息进行特征提取，得到第三特征向量；通过所述目标期相识别模型中的池化层对所述ct图像组对应的第三特征信息进行处理，得到第二目标特征向量；通过所述目标期相识别模型中的输出层基于所述第二目标特征向量进行识别，得到所述目标期相。

14、根据本技术实施例的另一方面，还提供了一种图像的识别方法，该方法包括：通过所述目标期相识别模型对所述ct图像组，所述第三位置信息和所述第二嵌入特征信息进行特征提取，得到第三特征向量；通过所述目标期相识别模型中的池化层对所述ct图像组对应的第三特征信息进行处理，得到第二目标特征向量；通过所述目标期相识别模型中的输出层基于所述第二目标特征向量进行识别，得到所述目标期相；在云端服务器中获取所述ct图像组对应的第二目标关键点的第三位置信息和所述ct图像组对应的第二嵌入特征信息；通过目标期相识别模型基于所述ct图像组，所述第三位置信息和所述第二嵌入特征信息进行识别，得到所述ct图像组对应的目标期相；将所述ct图像组对应的目标期相返回至所述客户端。

15、根据本发明实施例的另一方面，还提供了一种ct图像识别系统，包括图像采集模块，用于获取待识别的ct图像组；特征提取模块，用于获取所述ct图像组对应的第二目标关键点的第三位置信息和所述ct图像组对应的第二嵌入特征信息，目标期相识别模型，用于基于所述ct图像组，所述第三位置信息和所述第二嵌入特征信息进行识别，得到所述ct图像组对应的目标期相；结果输出模块，用于展示所述ct图像组对应的目标期相。

16、根据本技术实施例的另一方面，还提供了一种期相识别模型的生成装置，包括：第一获取单元，用于获取多个样本ct图像组，其中，所述样本ct图像组中的样本ct图像对应的期相相同，所述多个样本ct图像组之间对应的期相不相同；第二获取单元，用于获取所述多个样本ct图像组中的样本ct图像组对应的第一目标关键点的第一位置信息和所述多个样本ct图像组中的样本ct图像组对应的第一嵌入特征信息，其中，所述第一目标关键点为与所述期相相关的关键点；生成单元，用于依据所述多个样本ct图像组、所述第一位置信息、所述第一嵌入特征信息和所述多个样本ct图像组中的样本ct图像组对应的真实期相对初始期相识别模型进行训练，生成目标期相识别模型，其中，所述目标期相识别模型用于识别ct图像对应的期相。

17、进一步地，第二获取单元包括：获取子单元，用于获取多个关键点的模板嵌入特征信息；第一提取子单元，用于通过特征提取模型对所述多个样本ct图像组中的样本ct图像组的像素点进行特征提取，得到所述第一嵌入特征信息；第一确定子单元，用于依据所述模板嵌入特征信息和所述第一嵌入特征信息，确定所述第一位置信息。

18、进一步地，获取子单元包括：标注模块，用于对第一目标ct图像组中的关键点进行标注，得到第二目标ct图像组；第一提取模块，用于通过所述特征提取模型对所述第二目标ct图像组中的关键点进行全局嵌入特征提取，得到全局嵌入特征；第二提取模块，用于通过所述特征提取模型对所述第二目标ct图像组中的关键点进行本地嵌入特征提取，得到本地嵌入特征；第三提取模块，用于通过所述特征提取模型对所述第二目标ct图像组中的关键点进行语义嵌入特征进行提取，得到语义嵌入特征；第一确定模块，用于依据所述全局嵌入特征，所述本地嵌入特征和所述语义嵌入特征，得到所述模板嵌入特征信息。

19、进一步地，确定子单元包括：第一计算模块，用于对所述模板嵌入特征信息和所述第一嵌入特征信息进行相似度计算，得到目标相似度；第一筛选模块，用于依据所述目标相似度，对所述多个样本ct图像组中的样本ct图像组的像素点进行筛选，得到第一像素点；第二筛选模块，用于依据预设的相似度阈值对所述第一像素点进行筛选，得到第二像素点；第二确定模块，用于依据所述第二像素点，确定所述第一位置信息。

20、进一步地，计算模块包括：第一计算子模块，用于对所述模板嵌入特征信息中的全局嵌入特征和所述第一嵌入特征信息中的全局嵌入特征进行相似度计算，得到第一相似度；第二计算子模块，用于对所述模板嵌入特征信息中的本地嵌入特征和所述第一嵌入特征信息中的本地嵌入特征进行相似度计算，得到第二相似度；第三计算子模块，用于对所述模板嵌入特征信息中的语义嵌入特征和所述第一嵌入特征信息中的语义嵌入特征进行相似度计算，得到第三相似度；第一确定子模块，用于依据所述第一相似度，所述第二相似度和所述第三相似度，得到所述目标相似度。

21、进一步地，生成单元包括：第二提取子单元，用于通过所述初始期相识别模型对所述多个样本ct图像组中的样本ct图像组、所述第一位置信息和所述第一嵌入特征信息进行特征提取，得到第一目标特征向量；预测子单元，用于通过所述初始期相识别模型基于第一目标特征向量进行分类预测，得到预测期相；第二确定子单元，用于依据所述预测期相，所述真实期相和所述第一目标特征向量，确定目标损失函数；训练子单元，用于依据所述目标损失函数对所述初始期相识别模型进行训练，得到所述目标期相识别模型。

22、进一步地，第二提取子单元包括：第四提取模块，用于对于所述多个样本ct图像组中的目标样本ct图像组，通过所述初始期相识别模型中的自注意力机制对所述目标样本ct图像组、所述第一位置信息和所述第一嵌入特征信息进行特征提取，得到所述目标样本ct图像组对应的第一特征信息，其中，所述目标样本ct图像组为所述多个样本ct图像组的任意一组样本ct图像组；第一获取模块，用于获取所述多个样本ct图像组中的样本ct图像组对应的第一特征信息；第五提取模块，用于通过所述初始期相识别模型中的跨注意力层对所述目标样本ct图像组对应的第一特征信息和所述多个样本ct图像组中的样本ct图像组对应的第一特征信息进行特征提取，得到所述目标样本ct图像组对应的第二特征信息；处理模块，用于通过所述初始期相识别模型中的池化层对所述目标样本ct图像组对应的第一特征信息和所述目标样本ct图像组对应的第二特征信息进行处理，得到所述第一目标特征向量。

23、进一步地，第四提取模块包括：处理子模块，用于对所述第一位置信息进行随机采样和遮挡处理，得到第二位置信息；第二确定子模块，用于对于所述第二位置信息中的目标位置信息，以所述目标位置信息为中心从所述目标样本ct图像组中得到所述目标位置信息对应的平均hu值，其中，所述目标位置信息为所述第二位置信息中的任意一个位置信息；提取子模块，用于对所述平均hu值和所述第一嵌入特征信息进行特征提取，得到所述目标样本ct图像组对应的第一特征信息。

24、进一步地，第二确定子单元包括：第二计算模块，用于依据所述预测期相和所述真实期相进行计算，得到分类损失函数；第二获取模块，用于对于所述多个样本ct图像组中的目标样本ct图像组，获取所述目标样本ct图像组在所述多个样本ct图像组中的次序信息，其中，目标样本ct图像组为所述多个样本ct图像组的任意一组样本ct图像组；第三计算模块，用于依据所述次序信息和所述第一目标特征向量进行计算，得到对比损失函数；第三确定模块，用于依据所述分类损失函数和所述对比损失函数，确定所述目标损失函数。

25、进一步地，第三计算模块包括：获取子模块，用于获取所述多个样本ct图像组中的样本ct图像组的初始顺序向量；第四计算子模块，用于依据所述次序信息和所述初始顺序向量进行计算，得到所述目标样本ct图像组的目标顺序向量；编码子模块，用于对所述目标顺序向量进行编码处理，得到编码顺序向量；第五计算子模块，用于依据所述编码顺序向量和所述第一目标特征向量进行计算，得到所述对比损失函数。

26、根据本技术实施例的另一方面，还提供了一种图像的识别装置，包括：第三获取单元，用于获取待识别的ct图像组；第四获取单元，用于获取所述ct图像组对应的第二目标关键点的第三位置信息和所述ct图像组对应的第二嵌入特征信息；识别单元，用于通过上述任意一项所述的目标期相识别模型基于所述ct图像组，所述第三位置信息和所述第二嵌入特征信息进行识别，得到所述ct图像组对应的目标期相。

27、进一步地，识别单元包括：第三提取子单元，用于通过所述目标期相识别模型对所述ct图像组，所述第三位置信息和所述第二嵌入特征信息进行特征提取，得到第三特征向量；处理子单元，用于通过所述目标期相识别模型中的池化层对所述ct图像组对应的第三特征信息进行处理，得到第二目标特征向量；识别子单元，用于通过所述目标期相识别模型中的输出层基于所述第二目标特征向量进行识别，得到所述目标期相。

28、根据本发明实施例的另一方面，还提供了一种电子设备，包括存储器，存储有可执行程序；处理器，用于运行所述程序，其中，所述程序运行时执行上述任意一项所述的期相识别模型的生成方法，或图像的识别方法。

29、根据本发明实施例的另一方面，还提供了计算机程序产品，所述计算机程序产品包括存储的计算机程序，在所述计算机程序由处理器运行时，实现上述任意一项中任意一项所述的期相识别模型的生成方法，或图像的识别方法。

30、在本技术实施例中，采用以下步骤：获取多个样本ct图像组，其中，样本ct图像组中的样本ct图像对应的期相相同，多个样本ct图像组之间对应的期相不相同；获取多个样本ct图像组中的样本ct图像组对应的第一目标关键点的第一位置信息和多个样本ct图像组中的样本ct图像组对应的第一嵌入特征信息，其中，第一目标关键点为与期相相关的关键点；依据多个样本ct图像组、第一位置信息、第一嵌入特征信息和多个样本ct图像组中的样本ct图像组对应的真实期相对初始期相识别模型进行训练，生成目标期相识别模型，其中，目标期相识别模型用于识别ct图像对应的期相，解决了相关技术中通过人工的方式对ct的期相进行识别，导致对ct的期相识别的效率比较低的技术问题。

31、在本方案中，获取由多个期相的样本ct图像组成的样本ct图像组，并获取样本ct图像对应的第一目标关键点的第一位置信息以及第一嵌入特征信息，然后，通过多个样本ct图像组、第一位置信息、第一嵌入特征信息和多个样本ct图像组中的样本ct图像组对应的真实期相对初始期相识别模型进行训练，生成目标期相识别模型，通过第一目标关键点的位置信息能够使目标期相识别模型能够快速关注和学习到与期相相关的信息，使得目标期相识别模型能够对ct图像的期相进行准确识别，避免采用人工的方式来实现期相识别，进而达到提高对ct图像的期相识别的准确性和识别效率的效果。