基于特征提取的手骨影像分析方法及相关设备

1.本技术涉及神经网络技术领域，尤其涉及一种基于特征提取的手骨影像分析方法及相关设备。


背景技术：

2.大骨节病是一种地方性、变形性的关节骨病，在国内又叫矮人病、算盘珠病等。在国内分布范围大，多发于黑、吉、辽、晋、陕等省份，同时常见于山区和半山区，平原少见。患者多为儿童与青少年，患者伴有关节疼痛、变形、侏儒、运动障碍等临床特征。
3.不同情况(患者发病年龄、部位、病变程度不同)的大骨节病的x线影像通常存在不同表现，其中，早期患者病情往往能从手部x线影像反映，因此可以通过在易发病区大规模检查手部x线影像对患者进行筛查，尽早发现患者，及时提供治疗。
4.对于大规模筛查大骨节病患者，人工识别影像特征速度相对较慢，需要一种能够高效率满足大规模筛查需求的大骨节病诊断方法。


技术实现要素：

5.有鉴于此，本技术的目的在于提出一种基于特征提取的手骨影像分析方法及相关设备。
6.基于上述目的，本技术提供了一种基于特征提取的手骨影像分析方法，包括：患者的初始手骨影像经过预处理，得到手骨影像；主神经网络提取并得到所述手骨影像的全局特征，并生成所述手骨影像的全局特征向量，所述主神经网络对所述全局特征向量进行全局诊断，得到全局诊断结果，其中，所述主神经网络是初始主神经网络利用采集的数据集进行训练得到的；区域框选神经网络对所述手骨影像的多个关键区域进行框选，得到多个关键区域影像，其中，所述区域框选神经网络是初始区域框选神经网络利用采集的所述数据集进行训练得到的；所述主神经网络提取多个所述关键区域影像的特征，得到多个所述手骨影像的关键区域特征，并生成多个所述手骨影像的关键区域特征向量，所述主神经网络对多个所述关键区域特征向量进行关键区域诊断，得到多个关键区域诊断结果；所述主神经网络对所述全局特征向量与所述关键区域特征向量进行拼接，得到拼接向量，所述主神经网络对所述拼接向量进行拼接诊断，得到拼接诊断结果；所述主神经网络根据所述全局诊断结果、所述关键区域诊断结果以及所述拼接诊断结果，对所述手骨影像进行综合诊断，得到所述患者是否患大骨节病的最终诊断结果。
7.可选地，所述方法还包括：构建所述初始主神经网络和所述初始区域框选神经网络；获取所述数据集，所述数据集包括多个初始样本手骨影像、对多个初始样本手骨影像手动进行综合诊断的诊断结果、以及对多个所述初始样本手骨影像手动框选的关键区域的坐标；所述初始主神经网络基于所述数据集进行训练，得到所述主神经网络；所述初始区域框选神经网络基于所述数据集进行训练，得到所述区域框选神经网络。
8.可选地，所述初始主神经网络基于所述数据集进行训练，得到所述主神经网络，包
括：从所述数据集中获取所述初始样本手骨影像，对所述初始样本手骨影像经过进行预处理，得到样本手骨影像；所述初始主神经网络对所述样本手骨影像进行全局诊断处理得到样本全局诊断结果，并利用所述样本全局诊断结果计算得到全局损失lg；所述初始主神经网络对所述样本手骨影像进行关键区域诊断处理得到多个样本关键区域诊断结果，并利用多个所述样本关键区域诊断结果计算得到关键区域损失l
p
；所述初始主神经网络对所述样本手骨影像进行拼接诊断处理得到多个样本拼接诊断结果，并利用多个所述样本拼接诊断结果计算得到拼接损失l
*
；所述初始主神经网络利用所述全局损失lg、所述关键区域损失l
p
以及所述拼接损失l
*
计算整体网络损失l
total
；基于整体网络损失l
total
调整所述初始主神经网络的参数，完成对所述初始主神经网络的一次训练；响应于确定所述整体网络损失l
total
小于等于预设阈值或所述初始主神经网络的所有所述数据集完成训练，将训练完成后的所述初始主神经网络作为所述主神经网络。
9.可选地，所述方法还包括：所述初始主神经网络对所述样本手骨影像进行全局诊断处理得到样本全局诊断结果，包括：所述初始主神经网络提取并得到所述样本手骨影像的样本全局特征，并生成所述样本手骨影像的样本全局特征向量，所述初始主神经网络对所述样本全局特征向量进行全局诊断，得到所述样本全局诊断结果；所述初始主神经网络对所述样本手骨影像进行关键区域诊断处理得到多个样本关键区域诊断结果，包括：所述初始区域框选神经网络对所述样本手骨影像的多个关键区域进行框选，得到多个样本关键区域影像；所述初始主神经网络提取多个所述样本关键区域影像的特征，得到多个所述样本手骨影像的样本关键区域特征，并生成多个所述样本手骨影像的样本关键区域特征向量，所述初始主神经网络对多个所述样本关键区域特征向量进行关键区域诊断，得到多个所述样本关键区域诊断结果；所述初始主神经网络对所述样本手骨影像进行拼接诊断处理得到多个样本拼接诊断结果，包括：所述初始主神经网络对所述样本全局特征向量与所述样本关键区域特征向量进行拼接，得到样本拼接向量，所述初始主神经网络对所述样本拼接向量进行拼接诊断，得到所述样本拼接诊断结果。
10.可选地，所述初始主神经网络利用所述全局损失lg、所述关键区域损失l
p
以及所述拼接损失l
*
计算整体网络损失l
total
，包括：
11.所述初始主神经网络利用如下公式计算整体网络损失l
total
：
12.l
total
＝l
*
λlg βl
p
13.其中参数λ与β为所述全局损失lg与所述关键区域损失l
p
的权重。
14.可选地，所述主神经网络根据所述全局诊断结果、所述关键区域诊断结果以及所述拼接诊断结果，对所述手骨影像进行综合诊断，得到所述患者是否患大骨节病的最终诊断结果，包括：所述主神经网络为所述全局诊断结果、所述关键区域诊断结果以及所述拼接诊断结果赋予不同权重，经过计算得到结果数值；所述主神经网络通过对比所述结果数值与预设的诊断阈值得到所述最终诊断结果。
15.可选地，所述全局特征包括所述手骨影像中手骨的分布情况以及骨骼的纹理；所述关键区域包括无名指、中指、食指的中节与基节骨骺，大拇指末节骨骺，以及第三掌骨近端；所述关键区域特征包括骨干骺端凹陷、硬化、凹凸不平。
16.基于上述目的，本技术还提供了一种基于特征提取的手骨影像分析装置，包括：预处理模块，被配置为患者的初始手骨影像经过预处理，得到手骨影像；全局诊断模块，被配
置为主神经网络提取并得到所述手骨影像的全局特征，并生成所述手骨影像的全局特征向量，所述主神经网络对所述全局特征向量进行全局诊断，得到全局诊断结果；关键区域框选模块，被配置为区域框选神经网络对所述手骨影像的多个关键区域进行框选，得到多个关键区域影像；关键区域诊断模块，被配置为所述主神经网络提取多个所述关键区域影像的特征，得到多个所述手骨影像的关键区域特征，并生成多个所述手骨影像的关键区域特征向量，所述主神经网络对多个所述关键区域特征向量进行关键区域诊断，得到多个关键区域诊断结果；拼接诊断模块，被配置为所述主神经网络对所述全局特征向量与所述关键区域特征向量进行拼接，得到拼接向量，所述主神经网络对所述拼接向量进行拼接诊断，得到拼接诊断结果；最终结果诊断模块，被配置为所述主神经网络根据所述全局诊断结果、所述关键区域诊断结果以及所述拼接诊断结果，对所述手骨影像进行综合诊断，得到所述患者是否患大骨节病的最终诊断结果。
17.基于上述目的，本技术还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行任意一种所述基于特征提取的手骨影像分析方法。
18.基于上述目的，本技术还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，其特征在于，所述计算机指令用于使计算机执行任意一种所述基于特征提取的手骨影像分析方法。
19.从上面所述可以看出，本技术提供的一种基于特征提取的手骨影像分析方法及相关设备，首先，训练好的主神经网络提取患者的手骨影像的全局特征得到全局特征向量，再通过框选关键区域提取关键区域特征得到关键区域特征向量，然后拼接全局特征向量与关键区域特征向量得到拼接向量；训练好的主神经网络分别对全局特征向量、关键区域特征向量以及拼接向量进行诊断，得到全局诊断结果、关键区域诊断结果以及拼接诊断结果，再根据上述三个诊断结果对手骨影像进行综合诊断，判断患者是否患大骨节病。本技术提供的方法保证了大骨节病诊断的效率与准确率，满足了大规模筛查大骨节病患者的需求，解决了相关技术中大规模筛查时人工判断影像是否患病效率较低的问题。
附图说明
20.为了更清楚地说明本技术或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
21.图1为本技术实施例的一种基于特征提取的手骨影像分析方法流程框图；
22.图2为本技术实施例样本手骨影像预处理的流程框图；
23.图3为本技术实施例全局诊断的流程框图；
24.图4为本技术实施例关键区域框选与关键区域诊断的流程框图；
25.图5为本技术实施例拼接诊断的流程框图；
26.图6为本技术实施例初始主神经网络训练流程框图；
27.图7为本技术实施例的一种基于特征提取的手骨影像分析装置框图；
28.图8为本技术实施例的电子设备硬件结构示意图。
具体实施方式
29.为使本技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本技术进一步详细说明。
30.需要说明的是，除非另外定义，本技术实施例使用的技术术语或者科学术语应当为本技术所属领域内具有一般技能的人士所理解的通常意义。本技术实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
31.为了方便理解，下面对本公开实施例中涉及的名词进行解释：
32.resnet：residual network残差网络，容易优化，能够通过增加相当的深度来提高准确率；其内部的残差块使用了跳跃连接，缓解了在深度神经网络中增加深度带来的梯度消失问题；
33.resnext：残差网络结合分组卷积策略得到的网络；
34.f1指数：在信息检索和自然语言处理中根据准确率和召回率给出的一种综合评价(即二者的调和均值)。
35.如背景技术所述，对于大规模筛查大骨节病患者，人工识别影像特征速度相对较慢，需要一种能够高效率满足大规模筛查需求的大骨节病诊断方法，将神经网络应用于医疗人工智能领域，自动对影像特征进行提取，可以在相当大程度上提升诊断的效率与准确率。
36.有鉴于此，本发明提出了一种使用深度学习神经网络技术基于特征提取的手骨影像分析方法，通过神经网络自动对整体影像以及常见病变区域的特征进行分别提取，并进行特征拼接，利用拼接特征实现对影像更高覆盖度的特征表达。
37.为了方便理解，下面对本公开实施例中涉及的名词进行解释：
38.有鉴于此，本技术一个实施例提供了一种基于特征提取的手骨影像分析方法，如图1所示，包括：
39.s101，患者的初始手骨影像经过预处理，得到手骨影像。
40.s102，主神经网络提取并得到所述手骨影像的全局特征，并生成所述手骨影像的全局特征向量，所述主神经网络对所述全局特征向量进行全局诊断，得到全局诊断结果，其中，所述主神经网络是初始主神经网络利用采集的数据集进行训练得到的。
41.s103，区域框选神经网络对所述手骨影像的多个关键区域进行框选，得到多个关键区域影像，其中，所述区域框选神经网络是初始区域框选神经网络利用采集的所述数据集进行训练得到的。
42.s104，所述主神经网络提取多个所述关键区域影像的特征，得到多个所述手骨影像的关键区域特征，并生成多个所述手骨影像的关键区域特征向量，所述主神经网络对多个所述关键区域特征向量进行关键区域诊断，得到多个关键区域诊断结果。
43.s105，所述主神经网络对所述全局特征向量与所述关键区域特征向量进行拼接，
得到拼接向量，所述主神经网络对所述拼接向量进行拼接诊断，得到拼接诊断结果。
44.s106，所述主神经网络根据所述全局诊断结果、所述关键区域诊断结果以及所述拼接诊断结果，对所述手骨影像进行综合诊断，得到所述患者是否患大骨节病的最终诊断结果。
45.从上面所述可以看出，本技术提供的一种基于特征提取的手骨影像分析方法，首先，训练好的主神经网络提取患者的手骨影像的全局特征得到全局特征向量，再通过框选关键区域提取关键区域特征得到关键区域特征向量，然后拼接全局特征向量与关键区域特征向量得到拼接向量；训练好的主神经网络分别对全局特征向量、关键区域特征向量以及拼接向量进行诊断，得到全局诊断结果、关键区域诊断结果以及拼接诊断结果，再根据上述三个诊断结果对手骨影像进行综合诊断，判断患者是否患大骨节病。本技术提供的方法保证了大骨节病诊断的效率与准确率，满足了大规模筛查大骨节病患者的需求，解决了相关技术中大规模筛查时人工判断影像是否患病效率较低的问题。
46.在一些实施例中，所述预处理包括将初始手骨影像进行分割旋转，去除背景及手部其他组织，获取尺寸统一的保持正向的手骨影像。
47.在一种具体的实施例中，按照影像的灰度特征，可以借助骨骼部分与背景部分的灰度差值完成骨骼与背景的分割。由初始手骨影像的灰度直方图可以得到，灰度较低处出现一个波峰，此处附近的像素被标记为背景以及其他组织，而灰度较高处，直方图相对较平缓，此处像素为手骨骼部分，按照此逻辑完成组织的分割。
48.在一些实施例中，所述方法还包括：
49.s107，构建所述初始主神经网络和所述初始区域框选神经网络。
50.s108，获取所述数据集，所述数据集包括多个初始样本手骨影像、对多个初始样本手骨影像手动进行综合诊断的诊断结果、以及对多个所述初始样本手骨影像手动框选的关键区域的坐标。
51.s109，所述初始主神经网络基于所述数据集进行训练，得到所述主神经网络。
52.s110，所述初始区域框选神经网络基于所述数据集进行训练，得到所述区域框选神经网络。
53.本技术上述数据集中的初始样本手骨影像主要为x线影像，数据获取较为方便，成本较低，同时初始主神经网以及初始区域框选神经网络通过诊断结果和关键区域的坐标进行训练，在数据层面保证了模型的可靠性。
54.在一种具体的实施例中，所述数据集包括在大骨节病流行地区采集的青少年手部x线影像；专业医师依据大骨节病临床诊断标准对影像手动进行是否患病的标注，并将标注作为网络学习的标签；以及专业医师对部分图像的常见病变发生区域进行手动定位，并记录这些区域的中点坐标。
55.所述初始区域框选神经网络被训练提取关键区域中点坐标，保证框选更加精确，同时能够根据区域不同，对不同的框选范围进行关键区域的选定，进而进行特征提取。
56.在一种实施例中，初始主神经网络使用resnet网络进行构建，初始区域框选神经网络使用resnext网络进行构建。
57.在一种具体的实施例中，所述数据集被分别划分为两个集合，即训练集与测试集，测试集数据不参与神经网络的训练过程，同时仅在训练集中进行数据增广。神经网络经过
训练后，保存的性能最佳的网络模型在测试集上进行影像的分类，将分类结果与标签对照，统计每种情况的分类正确数，用以计算衡量模型的常见参数，如准确率、精确率、召回率，并使用f1指数中和上述指标，以直观的对模型性能进行评估。
58.在一些实施例中，s109包括：
59.s901，从所述数据集中获取所述初始样本手骨影像，对所述初始样本手骨影像经过进行预处理，得到样本手骨影像。
60.s902，所述初始主神经网络对所述样本手骨影像进行全局诊断处理得到样本全局诊断结果，并利用所述样本全局诊断结果计算得到全局损失lg。
61.s903，所述初始主神经网络对所述样本手骨影像进行关键区域诊断处理得到多个样本关键区域诊断结果，并利用多个所述样本关键区域诊断结果计算得到关键区域损失l
p
。
62.s904，所述初始主神经网络对所述样本手骨影像进行拼接诊断处理得到多个样本拼接诊断结果，并利用多个所述样本拼接诊断结果计算得到拼接损失l
*
。
63.s905，所述初始主神经网络利用所述全局损失lg、所述关键区域损失l
p
以及所述拼接损失l
*
计算整体网络损失l
total
。
64.s906，基于整体网络损失l
total
调整所述初始主神经网络的参数，完成对所述初始主神经网络的一次训练。
65.s907，响应于确定所述整体网络损失l
total
小于等于预设阈值或所述初始主神经网络的所有所述数据集完成训练，将训练完成后的所述初始主神经网络作为所述主神经网络。
66.本技术采用迁移学习的方法在数据集上进行了有效的训练，保证初始神经网络能在样本数量相对较少的情况下进行可靠的特征提取。
67.在一种具体的实施例中，对所述初始样本手骨影像经过进行预处理，得到样本手骨影像还包括：初始样本手骨影像由四名被检查者的手骨影像拼接得到，进行十字分割后得到4张方向各异的独立样本手骨影像，随后使用直线检测，找出指骨部分形成的直线，取直线方向为手骨中轴线方向，并按照图片垂直方向进行校正，保证得到直立的样本手骨影像。最后对得到的影像做尺寸归一化处理，得到在神经网络中最终用于训练的样本手骨影像。同时考虑到样本中正负样本数存在较大的差异，对样本手骨影像做了适当的图像增广与均衡，提升模型表达能力。
68.在一种具体的实施例中，全局损失用于反馈提高神经网络提取全局特征的能力，关键区域损失用于提升神经网络获取病变区域特征的能力。初始主神经网络使用带动量的梯度下降算法作为优化算法，对上述损失函数进行最小化处理，并通过误差反向传播方法对神经网络中的参数进行迭代更新，直至误差小于预设阈值，或达到预设迭代轮数后，保存训练过程中表现最好的一组参数作为主神经网络。此过程中，也会对全局损失与关键区域损失两误差进行误差最小化处理，同时利用误差反向传播方法对其对应的关键区域特征提取网络以及全局特征提取网络进行参数调整，提高对应网络的特征提取能力。
69.在一种具体的实施例中，在损失函数的具体计算中，采用交叉熵损失函数计算神经网络诊断结果与数据集的误差，交叉熵函数的计算公式为：
[0070][0071]
其中，i表示yi表示样本的分类数，在一种实施例中i为2，正例样本标签为0，负例样本标签为1，pi计为样本预测为正例的概率。
[0072]
在一些实施例中，所述方法还包括：
[0073]
s902包括：所述初始主神经网络提取并得到所述样本手骨影像的样本全局特征，并生成所述样本手骨影像的样本全局特征向量，所述初始主神经网络对所述样本全局特征向量进行全局诊断，得到所述样本全局诊断结果。
[0074]
s903包括：所述初始区域框选神经网络对所述样本手骨影像的多个关键区域进行框选，得到多个样本关键区域影像；所述初始主神经网络提取多个所述样本关键区域影像的特征，得到多个所述样本手骨影像的样本关键区域特征，并生成多个所述样本手骨影像的样本关键区域特征向量，所述初始主神经网络对多个所述样本关键区域特征向量进行关键区域诊断，得到多个所述样本关键区域诊断结果。
[0075]
s904包括：所述初始主神经网络对所述样本全局特征向量与所述样本关键区域特征向量进行拼接，得到样本拼接向量，所述初始主神经网络对所述样本拼接向量进行拼接诊断，得到所述样本拼接诊断结果。
[0076]
在一些实施例中，s905包括：所述初始主神经网络利用如下公式计算整体网络损失l
total
：
[0077]
l
total
＝l
*
λlg βl
p
[0078]
其中参数λ与β为所述全局损失lg与所述关键区域损失l
p
的权重。
[0079]
在一种具体的实施例种，所述参数λ与β预设为1。
[0080]
在一些实施例中，s106包括：
[0081]
s601，所述主神经网络为所述全局诊断结果、所述关键区域诊断结果以及所述拼接诊断结果赋予不同权重，经过计算得到结果数值。
[0082]
s602，所述主神经网络通过对比所述结果数值与预设的诊断阈值得到所述最终诊断结果。
[0083]
所述主神经网络同时使用多个尺度的特征共同进行判决，结合三个诊断结果共同得到最终诊断结果，保证了最终诊断结果的准确性。
[0084]
在一些实施例中，所述全局特征包括所述手骨影像中手骨的分布情况以及骨骼的纹理；所述关键区域包括无名指、中指、食指的中节与基节骨骺，大拇指末节骨骺，以及第三掌骨近端；所述关键区域特征包括骨干骺端凹陷、硬化、凹凸不平。
[0085]
下面针对本技术的基于特征提取的手骨影像分析方法提供一种具体的实施例a。
[0086]
步骤1：数据预处理
[0087]
发明中使用的作为初始训练集的手部x线影像由团队从西藏大骨节病流行区采集到得到，原始样本影像的标注由医生完成，为之后网络的训练提供数据，同时，每张样本影像由四位被检测者的手部x线影像拼接得到，此外，为了保证网络能集中于手部骨骼结构，对样本影像进行了预处理，获取仅包括掌指骨结构的独立的手部x线影像，数据预处理的流程如图2所示。
[0088]
步骤1.1：初始样本影像标注
[0089]
本发明使用的手部初始样本影像的标注由专业医师按照国内现行的大骨节病诊断标准对初始样本影像进行标注，并将标注作为网络学习的标签，同时规定，大骨节病阳性，即患病者的影像标签记为1，否则标签记为0。
[0090]
对初始样本影像进行是否患病的分类标注之后，随机划分部分初始样本影像作为训练样本，对这些初始样本影像进行常见病变部位的手动框选，并记录这些区域的中心坐标，用于训练区域框选神经网络，用于之后的关键区域的特征自动提取。
[0091]
步骤1.2：初始样本影像预处理
[0092]
为了去除影像的背景与手骨骼外的其他组织，需要对初始样本影像进行分割。本发明从x线影像中不同组织结构灰度不同的性质入手，按照x线影像的灰度特征，可以借助骨骼部分与背景部分的灰度差值完成骨骼与背景的分割。由初始样本影像的灰度直方图可以得到，灰度较低处出现一个波峰，此处附近的像素被标记为背景以及其他组织，而灰度较高处，直方图相对较平缓，此处像素为手骨骼部分，按照此逻辑，可以完成组织的分割。
[0093]
初始样本影像由四名被检查者的手部x线影像拼接得到，进行十字分割后得到4张方向各异的独立手部影像，随后使用直线检测，找出指骨部分形成的直线，取直线方向为手部中轴线方向，并按照图片垂直方向进行校正，保证得到直立的样本影像。
[0094]
最后对得到的样本影像做尺寸归一化处理，得到在网络中最终用于训练的样本影像数据。同时考虑到样本中正负样本数存在较大的差异，对样本影像做了适当的图像增广，对样本进行适当的均衡，提升模型表达能力。
[0095]
步骤2：图像全局特征提取
[0096]
本发明利用主神经网络提取影像的全局特征，选择使用resnet为主干网络进行整体模型的搭建，分两部分对整体影像的全局特征与关键区域的特征分别进行提取。提取手部x线影像全局特征的操作流程图如图3所示。
[0097]
提取全局特征部分的神经网络由卷积层、池化层、全连接层等结构组成，网络使用卷积层进行特征以及特征图的提取，再由池化层对特征与特征图进行压缩，提取主要特征同时对网络复杂度进行简化，最后由全连接层将输出送给全局特征提取部分网络的分类器，进行一次全局诊断。
[0098]
特征提取部分的网络输入为步骤1中得到的经过预处理的尺寸统一的手骨x线影像，输出为影像的全局特征向量，全局特征向量的大小此次为t
×
1。
[0099]
在此部分中，利用全局特征向量进行分类的网络为单层全连接神经网络，选取激活函数为relu函数，全连接层将全连接层权重矩阵转置后与输入向量相乘，添加偏置项后得到输出，此时全连接层完成了将全局特征向量向样本标记空间的映射，即得到影像的类别信息，在衡量卷积神经网络对于全局特征的提取能力的同时，这部分分类结果在之后同样会应用于网络损失函数的计算，以进一步对整体网络性能进行优化。
[0100]
步骤3：常见病变区域自动框选与特征提取
[0101]
某些骨科疾病患者其x线影像往往会在某些位置存在显著的病变，以大骨节病早期患者为例，其手部x线影像上的一个显著表现就是指骨干骺端的凹陷以及硬化等病变特征，由于特征区域大小以及样本分辨率的原因，在以整张图片尺度下的特征提取中，往往无法充分利用这部分信息，因此需要对x线影像中的关键区域进行框选，并通过卷积神经网络
进一步进行关键区域特征的提取，辅助进行诊断，同时如步骤2中提及，提取到的关键区域的特征也会经过分类网络，得到关键区域诊断结果，此部分结果会与已知标签比对，计算损失函数，并反馈给对应的特征提取网络，进行参数的修正，此外，也会在之后应用于整体网络损失函数的计算，整体流程如图4。
[0102]
步骤3.1：常见病变区域框选
[0103]
相关技术中，对于关键区域的框选是按照经验在固定区域进行框选，提取关键区域的特征，但受限于不同图像中手掌姿态以及手掌大小不固定的情况，原有方法存在可能无法正确框选关键区域，导致关键区域特征获取失败，影响最终的诊断结果。
[0104]
按照现行大骨节病诊断标准，常见检查病变的位置为包括无名指、中指、食指的中节与基节骨骺，大拇指末节骨骺，第三掌骨近端在内的关键位置，因此本技术首先对部分数据中上述区域的中点坐标进行手动标注，保存坐标数据作为训练集，对初始区域框选神经网络进行训练，以希望其能够进行关键点的定位。在此部分使用的卷积神经网络为resnext网络，将上述关键点按序号排好后，根据其对应位置的不同，选定不同的框选范围，开始进行网络训练，训练过程中对得到的模型进行评估，优化框选区域的大小，直至得到一个较为精确的模型。
[0105]
利用已训练好的模型，可以对样本图像的关键区域进行精确定位，完成关键点标注，并按照之前得到的优化过的区域大小，对关键区域进行框选，得到尺寸归一化的关键区域图像，用以进行之后的特征提取。
[0106]
步骤3.2：病变区域特征提取
[0107]
对已经选取出的r个关键区域进行特征的提取，此处r的值取8，特征提取网络与步骤2中提取全局特征的卷积神经网络结构相似，此部分网络同样由卷积层、池化层以及全连接层等结构组成，且在进行特征提取之前，会对框选区域的范围进行检查，在框选区域越界的情况下，特征提取将不会进行。网络使用卷积层分别对r个区域进行特征向量与特征图的提取，并利用池化层进行压缩，得到r个病变区域的特征向量，每个向量的大小记为t
×
1。并将得到的特征向量输入结构如步骤2中所示的分类网络，利用全连接层对特征向量进行向标记空间的映射，得到预测标签，用以之后计算损失函数，反馈调整网络参数，提升网络对特征的提取效果。
[0108]
步骤3.3：向量拼接
[0109]
将得到的全局特征向量与关键区域特征向量进行拼接，获取一维拼接向量。得到的一维向量继承了来自影像整体的全局特征，同时也整合了来自关键区域的特征，进行了更小尺度上的信息补充，使拼接特征能够从影像整体与局部两个层面进行信息的反馈，兼顾了整体性与特异性，使用拼接向量进行分类，并结合标签计算损失，修正网络参数，可以更进一步提升网络整体性能表现。
[0110]
针对拼接向量进行分类的网络同样使用了单层全连接神经网络，对拼接得到的大小为(t t
×
r)
×
1的拼接特征向量进行向样本标签空间的映射，完成分类任务。分类结果可以相对更有效的体现网络的特征提取能力，同时也参与损失函数的计算，反馈神经网络，对参数进行调整。向量拼接的流程如图5所示。
[0111]
步骤4：神经网络训练
[0112]
本发明中初始主神经网络模型的训练过程如图6所示。
[0113]
在对神经网络进行训练的过程中，考虑到数据集大小问题，本发明使用了迁移学习的方法，将初始主神经网络在大规模公开数据集上进行预训练，以此为基础对网络参数进行预置，能够显著减少训练成本，提升整体模型性能，而对于整体模型中的其他网络，采取网络参数随机初始化的方法进行设定。此外，考虑到本发明使用的数据集大小，在网络结构中添加了批标准化模块，加速网络整体的收敛速度，同时降低模型对于初始化的需求，使网络能够以更大的学习率加速收敛，同时也进一步提升了网络整体的泛化性能，尽可能的避免了因为数据集规模导致的过拟合现象。
[0114]
对于网络损失函数的计算，本发明中将损失函数定义为：
[0115]
l
total
＝l
*
λlg βl
p
[0116]
其中，l
total
为整体网络特征识别与标签间的误差，l
*
为拼接特征网络中诊断的损失，lg为全局损失，用于反馈提高网络提取全局特征的能力，l
p
为关键区域损失，用于提升网络获取病变区域特征的能力，参数λ与β用于调整损失函数计算中全局损失与关键区域损失的权重，在模型训练过程中预设为1，整体模型使用带动量的梯度下降算法作为优化算法，对上述损失函数进行最小化处理，并通过误差反向传播方法对网络参数进行迭代更新，直至误差小于预设阈值，或达到预设迭代轮数后，保存训练过程中表现最好的一组参数作为网络模型，等待在测试集上进行性能验证。此过程中，也会对l
p
、lg两误差进行误差最小化处理，同时利用误差反向传播方法对其对应的关键区域特征提取网络以及全局特征提取网络进行参数调整，提高对应网络的特征提取能力。
[0117]
在网络训练过程中，患病与否的最终诊断结果由择多判决的方式给定，为全局特征向量、关键区域特征向量以及拼接特征向量三者的诊断结果赋予不同权重，并规定三种结果各自的判决阈值，计算得到最终得分后与阈值比较，完成是否患病的诊断。
[0118]
在网络损失函数的具体计算中，本发明采用交叉熵损失函数计算网络诊断结果与标签的误差，交叉熵函数的计算公式为：
[0119][0120]
其中，i表示yi表示样本的分类数，此处i为2，正例样本标签为0，负例样本标签为1，pi计为样本预测为正例的概率。
[0121]
步骤5：网络性能验证
[0122]
所有数据集被分别划分为两个集合，即训练集与测试集，两个集合的数据都经过标注，但测试集数据不参与网络的训练过程，同时仅在训练集中进行数据增广。使用经过步骤5训练后，保存的性能最佳的网络模型在测试集上进行影像的分类，将分类结果与标签对照，统计每种情况的分类正确数，用以计算衡量模型的常见参数，如准确率、精确率、召回率，并使用f1指数中和上述指标，以直观的对模型性能进行评估。
[0123]
需要说明的是，本技术实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本技术实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。
[0124]
需要说明的是，上述对本技术的一些实施例进行了描述。其它实施例在所附权利
要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于上述实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
[0125]
基于同一个发明构思，本技术还提供了一种基于特征提取的手骨影像分析装置，如图7所示，包括：
[0126]
预处理模块10，被配置为患者的初始手骨影像经过预处理，得到手骨影像；
[0127]
全局诊断模块20，被配置为主神经网络提取并得到所述手骨影像的全局特征，并生成所述手骨影像的全局特征向量，所述主神经网络对所述全局特征向量进行全局诊断，得到全局诊断结果；
[0128]
关键区域框选模块30，被配置为区域框选神经网络对所述手骨影像的多个关键区域进行框选，得到多个关键区域影像；
[0129]
关键区域诊断模块40，被配置为所述主神经网络提取多个所述关键区域影像的特征，得到多个所述手骨影像的关键区域特征，并生成多个所述手骨影像的关键区域特征向量，所述主神经网络对多个所述关键区域特征向量进行关键区域诊断，得到多个关键区域诊断结果；
[0130]
拼接诊断模块50，被配置为所述主神经网络对所述全局特征向量与所述关键区域特征向量进行拼接，得到拼接向量，所述主神经网络对所述拼接向量进行拼接诊断，得到拼接诊断结果；
[0131]
最终结果诊断模块60，被配置为所述主神经网络根据所述全局诊断结果、所述关键区域诊断结果以及所述拼接诊断结果，对所述手骨影像进行综合诊断，得到所述患者是否患大骨节病的最终诊断结果。
[0132]
本技术提供的一种基于特征提取的手骨影像分析装置，包括预处理模块、全局诊断模块、关键区域框选模块、关键区域诊断模块、拼接诊断模块以及最终结果诊断模块，本技术提供的装置，首先，训练好的主神经网络提取患者的手骨影像的全局特征得到全局特征向量，再通过框选关键区域提取关键区域特征得到关键区域特征向量，然后拼接全局特征向量与关键区域特征向量得到拼接向量；训练好的主神经网络分别对全局特征向量、关键区域特征向量以及拼接向量进行诊断，得到全局诊断结果、关键区域诊断结果以及拼接诊断结果，再根据上述三个诊断结果对手骨影像进行综合诊断，判断患者是否患大骨节病。本技术提供的方法保证了大骨节病诊断的效率与准确率，满足了大规模筛查大骨节病患者的需求，解决了相关技术中大规模筛查时人工判断影像是否患病效率较低的问题。
[0133]
在一些实施例中，所述装置还包括：
[0134]
构建模块，被配置为构建所述初始主神经网络和所述初始区域框选神经网络。
[0135]
获取模块，被配置为获取所述数据集，所述数据集包括多个初始样本手骨影像、对多个初始样本手骨影像手动进行综合诊断的诊断结果、以及对多个所述初始样本手骨影像手动框选的关键区域的坐标。
[0136]
主神经网络训练模块，被配置为所述初始主神经网络基于所述数据集进行训练，得到所述主神经网络。
[0137]
区域框选神经网络训练模块，被配置为所述初始区域框选神经网络基于所述数据
集进行训练，得到所述区域框选神经网络。
[0138]
在一些实施例中，主神经网络训练模块包括：
[0139]
预处理子模块，被配置为从所述数据集中获取所述初始样本手骨影像，对所述初始样本手骨影像经过进行预处理，得到样本手骨影像。
[0140]
全局诊断子模块，被配置为所述初始主神经网络对所述样本手骨影像进行全局诊断处理得到样本全局诊断结果，并利用所述样本全局诊断结果计算得到全局损失lg。
[0141]
关键区域诊断子模块，被配置为所述初始主神经网络对所述样本手骨影像进行关键区域诊断处理得到多个样本关键区域诊断结果，并利用多个所述样本关键区域诊断结果计算得到关键区域损失l
p
。
[0142]
拼接诊断子模块，被配置为所述初始主神经网络对所述样本手骨影像进行拼接诊断处理得到多个样本拼接诊断结果，并利用多个所述样本拼接诊断结果计算得到拼接损失l
*
。
[0143]
第一计算子模块，被配置为所述初始主神经网络利用所述全局损失lg、所述关键区域损失l
p
以及所述拼接损失l
*
计算整体网络损失l
total
。
[0144]
训练子模块，被配置为基于整体网络损失l
total
调整所述初始主神经网络的参数，完成对所述初始主神经网络的一次训练。
[0145]
响应子模块，被配置为响应于确定所述整体网络损失l
total
小于等于预设阈值或所述初始主神经网络的所有所述数据集完成训练，将训练完成后的所述初始主神经网络作为所述主神经网络。
[0146]
在一些实施例中，所述装置还包括：
[0147]
全局诊断子模块还被配置为：所述初始主神经网络提取并得到所述样本手骨影像的样本全局特征，并生成所述样本手骨影像的样本全局特征向量，所述初始主神经网络对所述样本全局特征向量进行全局诊断，得到所述样本全局诊断结果。
[0148]
关键区域诊断子模块还被配置为：所述初始区域框选神经网络对所述样本手骨影像的多个关键区域进行框选，得到多个样本关键区域影像；所述初始主神经网络提取多个所述样本关键区域影像的特征，得到多个所述样本手骨影像的样本关键区域特征，并生成多个所述样本手骨影像的样本关键区域特征向量，所述初始主神经网络对多个所述样本关键区域特征向量进行关键区域诊断，得到多个所述样本关键区域诊断结果。
[0149]
拼接诊断子模块还被配置为：所述初始主神经网络对所述样本全局特征向量与所述样本关键区域特征向量进行拼接，得到样本拼接向量，所述初始主神经网络对所述样本拼接向量进行拼接诊断，得到所述样本拼接诊断结果。
[0150]
在一些实施例中，第一计算子模块包括：所述初始主神经网络利用如下公式计算整体网络损失l
total
：
[0151]
l
total
＝l
*
λlg βl
p
[0152]
其中参数λ与β为所述全局损失lg与所述关键区域损失l
p
的权重。
[0153]
在一些实施例中，最终结果诊断模块包括：
[0154]
第二计算子模块，被配置为所述主神经网络为所述全局诊断结果、所述关键区域诊断结果以及所述拼接诊断结果赋予不同权重，经过计算得到结果数值。
[0155]
最终结果诊断子模块，被配置为所述主神经网络通过对比所述结果数值与预设的
诊断阈值得到所述最终诊断结果。
[0156]
在一些实施例中，所述全局特征包括所述手骨影像中手骨的分布情况以及骨骼的纹理；所述关键区域包括无名指、中指、食指的中节与基节骨骺，大拇指末节骨骺，以及第三掌骨近端；所述关键区域特征包括骨干骺端凹陷、硬化、凹凸不平。
[0157]
为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本技术时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
[0158]
上述实施例的装置用于实现前述任一实施例中相应的基于特征提取的手骨影像分析方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
[0159]
基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上任意一实施例所述的基于特征提取的手骨影像分析方法。
[0160]
图8示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
[0161]
处理器1010可以采用通用的cpu(central processing unit，中央处理器)、微处理器、应用专用集成电路(application specific integrated circuit，asic)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。
[0162]
存储器1020可以采用rom(read only memory，只读存储器)、ram(random access memory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。
[0163]
输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
[0164]
通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如usb、网线等)实现通信，也可以通过无线方式(例如移动网络、wifi、蓝牙等)实现通信。
[0165]
总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。
[0166]
需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
[0167]
上述实施例的电子设备用于实现前述任一实施例中相应的基于特征提取的手骨影像分析方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
[0168]
基于同一发明构思，与上述任意实施例方法相对应的，本技术还提供了一种非暂
态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上任一实施例所述的基于特征提取的手骨影像分析方法。
[0169]
本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
[0170]
上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上任一实施例所述的基于特征提取的手骨影像分析方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
[0171]
本技术所对应的实施例主要实现了以下技术效果：
[0172]
1)本技术提供的一种基于特征提取的手骨影像分析方法，首先，训练好的主神经网络提取患者的手骨影像的全局特征得到全局特征向量，再通过框选关键区域提取关键区域特征得到关键区域特征向量，然后拼接全局特征向量与关键区域特征向量得到拼接向量；训练好的主神经网络分别对全局特征向量、关键区域特征向量以及拼接向量进行诊断，得到全局诊断结果、关键区域诊断结果以及拼接诊断结果，再根据上述三个诊断结果对手骨影像进行综合诊断，判断患者是否患大骨节病。本技术提供的方法保证了大骨节病诊断的效率与准确率，满足了大规模筛查大骨节病患者的需求，解决了相关技术中大规模筛查时人工判断影像是否患病效率较低的问题。
[0173]
2)本技术提供的一种基于特征提取的手骨影像分析装置，包括预处理模块、全局诊断模块、关键区域框选模块、关键区域诊断模块、拼接诊断模块以及最终结果诊断模块，本技术提供的装置，首先，训练好的主神经网络提取患者的手骨影像的全局特征得到全局特征向量，再通过框选关键区域提取关键区域特征得到关键区域特征向量，然后拼接全局特征向量与关键区域特征向量得到拼接向量；训练好的主神经网络分别对全局特征向量、关键区域特征向量以及拼接向量进行诊断，得到全局诊断结果、关键区域诊断结果以及拼接诊断结果，再根据上述三个诊断结果对手骨影像进行综合诊断，判断患者是否患大骨节病。本技术提供的方法保证了大骨节病诊断的效率与准确率，满足了大规模筛查大骨节病患者的需求，解决了相关技术中大规模筛查时人工判断影像是否患病效率较低的问题。
[0174]
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本技术的范围(包括权利要求)被限于这些例子；在本技术的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本技术实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。
[0175]
另外，为简化说明和讨论，并且为了不会使本技术实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路(ic)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本技术实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本技术实施例的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，
电路)以描述本技术的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本技术实施例。因此，这些描述应被认为是说明性的而不是限制性的。
[0176]
尽管已经结合了本技术的具体实施例对本技术进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态ram(dram))可以使用所讨论的实施例。
[0177]
本技术实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本技术实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本技术的保护范围之内。