一种基于多语义分割网络的侧弯检测方法及模型

本发明涉及脊柱侧弯检测领域，特别是涉及一种基于多语义分割网络的侧弯检测方法及模型。

背景技术：

1、脊柱侧弯是指脊柱的正常生理曲度发生改变的一种脊柱畸形，现已成为继肥胖、近视之后中国青少年健康的第三大隐患。尤其是随着社会经济迅猛发展，互联网时代智能手机的盛行，青少年课业负担日益繁重，长时间低头、翘二郎腿等不良的生活姿态和身体的过度负重引发过多的单侧发力，导致肌肉力量不平衡，青少年脊柱异常态势进一步加剧。在2022年开展的青少年脊柱异常调查结果显示，目前我国中小学生脊柱侧弯患病人数已经超过500万，发病率约3-5％，并且还在以每年30万的速度递增，防控形势严峻。脊柱侧弯易导致脊柱变形、肩背部不平、胸廓畸形、骨盆倾斜、长短腿、姿势不良等异常形态，同时影响活动度等功能，严重者会损伤脊髓和神经根，甚至造成瘫痪、心肺功能障碍和其他器官系统疾病，并导致缺乏自信、抑郁倾向及自杀观念等心理问题。

2、目前青少年脊柱侧弯在实际大规模筛查和日常实际临床诊断中，仍然以物理检测法为主，放射性射线检测法为辅。物理检测法通常以视、触、叩诊相互结合，观察人体不同姿势、不同视角下的脊柱形态，直接接触青少年背部以进行脊柱侧弯的信息采集，综合各视角下的脊柱信息分析脊柱所患疾病的部位、病种、性质等。目前国内外使用的物理检测方法主要包括目测法、adams身体前屈试验、脊柱测量仪测量肋骨隆凸和躯干旋转角度等。在青少年脊柱异常大规模筛查和日常临床诊断中，物理检测法具有操作简单、结果直观、简便易行的优势。在实际物理检测中常用的一些参数主要分为上背部参数，腰部参数和前屈位参数，包括双肩高度指数、肩部面积指数、骨盆前倾角和atr角度等指数。

3、尽管物理检测法适用性广泛，但是目前物理检测的诊断结果充分依赖于医疗工作者自身的医疗经验、知识储备和诊断现场的主观判断，主观性较强；而且在物理检测中经常出现对具体损伤的内在情况定位模糊的情况，想要实现高精度的诊断对医疗工作者的专业知识储备提出了更高的要求。此外，人工物理检测在面对大量且重复的筛查时，容易出现疲劳、误判、错判的现象，或因流程复杂而存在检测效率低下的问题。物理检测法虽然具有自由选择观察视角的优点，但对于不同视角下的脊柱信息与特征，仅依靠人工简单观察、记录和分析的方法，难以实现多视角特征的协同学习和优化分析，容易出现脊柱特征记录不全面明晰、多个视角的脊柱信息匹配与融合不完整、无法完全融合评估的局限，弱化了多视角检测的全面、高精确度的优势，进而影响多视角协同检测青少年脊柱异常的实现。

技术实现思路

1、基于此，本发明的目的在于，提供一种基于多语义分割网络的侧弯检测方法及模型，用于解决上述问题，该方法具体包括：

2、通过第一分割子网和第二分割子网对一待识别图像分别进行语义分割，所述待识别图像经过第一分割子网得到第一子网分割图，经过第一分割子网分割得到第二子网分割图；其中第一分割子网和第二分割子网组成形成多语义分割网络；

3、对第一子网分割图和第二子网分割图进行不确定性最小化竞争，合成一分割预测图像；

4、对所述分割预测图像进行人体关键部位的识别，裁剪出多个带有人体关键点的图像；

5、对多个带有人体关键点的图像分别进行人体关键点检测，得到多个匹配的关键点；

6、根据多个匹配的关键点计算多个指标参数，并根据指标参数输出预测结果。

7、本发明首先将待检测的图像输入到一个训练好的具有两个分割子网的多视角语义分割网络中，得到对应的第一子网分割图和第二子网分割图，根据两个子网分割图计算其对应的不确定性映射，并根据每一像素点的不确定映射的值的大小，选择二者中不确定映射值大的对应像素点来生成分割预测图像，提高人体目标分割的精准度，再对分割预测图像进行人体关键部位识别，裁剪出需要进行关键点识别的区域，减少关键点识别的运算量，降低运算损耗，然后再进行人体关键点检测，提取关键点，最终根据关键点的信息求出目标参数，根据目标参数与标准值的差异判断是否存在侧弯。通过多子网分别侧重学习分割图的图像特征，再结合不确定性最小化竞争提取二张图像的重要特征，合成一张高精度的分割预测图像，使得能够对待识别图像进行高精度分割，为后续的关键点部位识别与检测提供准确数据，实现高精度的侧弯检测。

8、进一步地，根据第一子网分割图和第二子网分割图进行不确定性最小化竞争合成一分割预测图像具体包括：

9、根据第一子网分割图和第二子网分割图计算其对应的不确定性映射u[m]，具体计算公式如下：

10、

11、其中u[m]为不确定性映射，为第一子网分割图或第二子网分割图，m＝1或2；

12、将两个不确定映射中的每一像素点进行比较，根据比较结果选取每一像素点的值合成一分割预测图像plabel，具体计算公式如下；

13、

14、其中，p是表示图像上的像素点的元组(x，y)，p表示所有可能的像素位置的集合。

15、进一步地，在根据第一子网分割图和第二子网分割图计算其对应的不确定性映射前还包括：

16、

17、锐化两个子网的输出以获得候选预测图像具体计算公式如下：

18、其中，是子网分割图像对应的候选预测图像，t为锐化参数，m＝1,2表示遵循相同模式的子网络的索引。

19、在脊柱侧弯检测中，最重要的就是对图像进行语义分割得到准确的语义分割图，为了得到一个能够准确进行语义分割的多语义分割网络，本发明还对多语义分割网络进行了训练优化，其具体包括：

20、所述多视角语义分割网络是通过如下方式训练得到的：

21、a10：将训练图像数据输入第一分割子网，得到第一子网分割图，其中训练图像数据来自于一训练数据集，所述训练数据集包括具有原图和真实分割图的标准数据以及不含真实分割图的未标记数据；

22、a11：将训练图像数据输入第二分割子网，得到第二子网分割图；

23、a20：判定所述训练图像数据是否为标准数据，若是则执行步骤a30.a：若不是则执行步骤a30.b；

24、a30.a：根据第一子网分割图和第二子网分割图进行模糊一致性约束计算得到模糊一致性权重，并从训练数据集中获取该图像数据对应的真实分割图，a30执行后，执行步骤a40.a；

25、a40.a：根据模糊一致性权重、第一子网分割图、第二子网分割图、以及该图像数据对应的真实分割图求得模糊一致性约束损失；

26、a30.b：根据第一子网分割图和第二子网分割图进行不确定性最小化竞争，合成一伪分割预测图像，a30.b执行后，执行步骤a40.b；

27、a40.b：将伪分割预测图、第一子网分割图的均方误差以及伪分割预测图、第二子网分割图的均方误差求和得到像素不确定性最小化损失；

28、a40c：获取步骤a30.a的真实分割图，或，a30.b的伪分割预测图，判断该图是否为真实分割图，若将伪分割预测图像判定为真实分割图，则表示训练完成；若伪分割预测图像仍然判定不为真实分割图，计算判别器损失和二进制交叉熵损失，并执行步骤a50；

29、a50：根据模糊一致性约束损失、判别器损失和二进制交叉熵损失以及像素不确定性最小化损失计算总损失，根据总损失更新第一分割子网和第二分割子网的参数。

30、acum-gan算法利用一组同时包含具有原图和真实分割图的标准数据以及不含真实分割图的未标记数据的训练数据集协同训练两个分割子网，并引入判别器进行评估，每个视角都可以从另一个视角的高置信预测中学习到有用的知识，在本发明中，多视角是指对两个视角的图像进行分割，即冠状面和前屈位姿态。而此次在网络中的多视角定义为分割器和判别器互相指导，即拥有一个视角的高置信预测，那么在判别器对抗训练过程中，能够指导分割器生成更精确的预测图，同时学习到有用的知识，这个提高对同一分割网络输入的另一视角也是有影响的，通过acum-gan指导训练，确保两个视角都可以进行可靠的预测。

31、进一步地，在所述多视角语义分割网络训练过程中，通过如下步骤求得模糊一致性权重：

32、

33、

34、其中，δσ为经过激活函数后两个分割图的差异值，σ是sigmoid函数，为第一子网分割图，为第二子网分割图，γ为权重修正参数。

35、进一步地，在所述多视角语义分割网络训练过程中：

36、在将获取到的图像数据输入第一分割子网之前对图像数据进行强数据增强；将获取到的图像数据输入第二分割子网之前对图像数据进行弱数据增强。

37、进一步地，所述模糊一致性约束损失的计算公式如下：

38、

39、其中，p表示单个像素点，而p表示所有像素点的集合，yi(p)为真实数据图，ε为修正系数，用于保证数值的稳定性。

40、进一步地，像素不确定性最小化损失的计算公式如下：

41、

42、其中为均方误差计算公式，为子网分割图，plabel为伪分割预测图。

43、进一步地，根据模糊一致性约束损失、判别器损失和二进制交叉熵损失以及像素不确定性最小化损失更新第一分割子网和第二分割子网的参数的计算过程如下：

44、

45、其中，α为平衡参数，为判别器损失，为二进制交叉熵损失，为模糊一致性约束损失；

46、总损失l的计算公式如下，

47、

48、其中，λ是平衡监督权重，其通过如下方式更新

49、

50、其中，t表示当前迭代次数，tmax是总训练迭代次数。

51、另一方面，本发明提供一种多语义分割模型，其包括：

52、多语义分割网络：用于通过第一分割子网和第二分割子网对一待识别图像分别进行语义分割，所述待识别图像经过第一分割子网得到第一子网分割图，经过第一分割子网分割得到第二子网分割图；其中第一分割子网和第二分割子网组成形成多语义分割网络；

53、不确定性最小化竞争单元：用于根据第一子网分割图和第二子网分割图进行不确定性最小化竞争，合成一分割预测图像；

54、人体关键部位识别单元：用于将所述分割预测图像进行人体关键部位的识别，裁剪出多个带有人体关键点的图像；

55、人体关键点匹配单元：用于对多个带有人体关键点的图像分别进行人体关键点检测，得到多个匹配的关键点；

56、结果预测单元：用于根据多个匹配的关键点计算多个指标参数，并根据指标参数输出预测结果。

57、为了更好地理解和实施，下面结合附图详细说明本发明。