基于双重对比学习的脊柱侧弯识别方法

本发明是属于深度学习与图像处理，特别涉及一种脊柱侧弯识别方法，可用于医院体检或患者对自己人体脊柱状况的初查。

背景技术：

1、青少年特发性脊柱侧凸，简称为“青少年脊柱侧弯”，是当今青少年人群中遭遇的主要脊柱疾病。正常情况下，人体脊柱从正面或背面上看都是直立的，若有向左或右两侧成“c”型或“s”型弯曲，且拍摄站立位全脊柱x光片显示脊柱有大于10度的侧方弯曲，即为脊柱侧弯。脊柱侧弯会导致脊柱变形、肩背部不平、肩胛骨不等高、骨盆倾斜、腰线不对称以及存在剃刀背等异常形态，同时影响活动度等功能。甚至会因外观异常，无法融入正常工作生活中，从而产生一些心理疾病，如性格极度内向、抑郁、自我封闭等。早发性脊柱侧弯患者的检查结果表明，其肺泡数量低于正常人，肺泡过度充气或萎缩，累积肺叶或全肺，肺动脉直径也远低于同龄人。脊柱侧弯患者胸腔容积减小，吸气和呼气时胸廓容积均低于正常对照组。脊柱侧弯影响气体交换，包括局部通气、血流、通气血流比、弥散等。易发短气、喘气等呼吸障碍，且影响血液循环，会影响心肺功能。

2、据统计，全球的患病率介于0.5％到5.2％之间。脊柱侧弯现在已经成为非常普遍的现象了，并且已经成为继肥胖症、近视之后危害儿童青少年的第三大疾病。传统的脊柱侧弯筛查方法，如目测法和x光检查，为医疗领域提供了便捷的检查方法。目测法是一个简单的基本临床检查，其由专业的治疗师进行目测，是一种筛查早期脊柱侧弯的常用检测方法。在前屈测试中，被测试者双手放松，躯干向前屈曲，医生目测被测试者的背部，任何背部的不对称都表示测试结果为阳性。前屈测试中，很容易观察到背部旋转性不对称，因此前屈测试中会存在许多的假阳性和假阴性结果。通过前屈测试，医生可以观察到被测试者存在的脊柱侧弯姿势和运动的典型变化。这一测试只能告诉医生被测试者是否可能存在脊柱侧弯，并不能精准的评估出患者的侧弯程度。因此，还需要结合x光片来测量侧弯的度数——即cobb′s角度数，如此才能完全确定是否患有脊柱侧弯。但是由于脊柱侧弯阳性预测值相对较低，从而导致了许多不必要的转诊和x光曝光，不仅增加了医疗成本，还对患者造成了不必要的心理和生理压力。

3、公开号为cn115526845a的专利文献公开了一种基于2d rgb图像的脊柱侧弯筛查方法。该方法首先获取人体背部的2d rgb图像，然后利用rvm人体分割模型分割出人体区域。接着，使用yolo v5模型检测背部图像，再使用seresnet进行关键点识别，通过这些关键点划分出四个区域，从而拟合出脊柱线，并计算拟合脊柱线与正常脊柱线之间的最大偏移距离。然后，根据两个内肩点中点与尾椎点之间的连线将每个区域分成左右两个子区域，计算两个子区域的面积差并归一化，作为左右区域之间的对比度。最后，将对比度和最大偏移距离输入鉴别器网络，由鉴别器输出背部类型。但是该专利方法由于通过对左右区域之间的对比度和最大偏移距离进行判断脊柱侧弯，不仅判断繁杂，而且识别准确率较低。

4、公开号为cn114287915a的专利文献公开了一种基于背部彩色图像的无创脊柱侧弯筛查方法及系统。该方法首先采集背面人体的rgb-d图像，并将其保存为深度图像和彩色图像。然后，使用mask-rcnn网络进行训练，以获得人体分割模型。接着，训练yolov5网络，得到背部识别模型。根据深度图像和彩色图像的对应关系，提取深度图像中的背部区域，得到人体背部的深度图，并计算最大atr角度值。最后根据atr角度值制定分类标准并标注类别标签，将背部彩色图像和类别标签输入efficientnet网络进行训练，得到脊柱分类模型。但是该方法使用rbg-d摄像机，价格昂贵，成本高，同时实现过程复杂且效率较低，识别准确率不高。

5、此外上述现有方法由于仅依赖于站立时人体背部的静态2d rgb图像，没有分析受检者的动态前屈视频，忽略了在弯曲动作状态下脊柱侧弯的细微表现。因而判断人体脊柱侧弯的信息不完整，导致可能漏检。

技术实现思路

1、本发明的目的在于针对上述现有技术的不足，提出一种基于双重对比学习的脊柱侧弯识别方法，以通过分析受检者在前屈动作的普通rgb视频中的脊柱动态信息，捕捉受检者在前屈动作中的姿态变化，提高脊柱侧弯识别的准确性，减少漏检的可能性；通过使用低成本的普通rgb摄像机，降低筛查成本，使其更易于普及和推广。

2、为实现上述目的，本发明的实现方案包括如下：

3、(1)采集不同年龄、不同性别、不同脊柱侧弯程度的前屈试验视频；

4、(2)设置视觉体格检查五步法策略，对采集的所有前屈试验视频样本进行标注标签，即分别对样本的双肩是否等高、样本的左右肩胛骨是否等高、样本的两侧腰凹是否对称、样本的左右骨盆是否等高、样本在前屈试验中是否出现剃刀背这5种状况进行标注；

5、(3)将标注后的所有前屈试验视频分为多个批次进行输入,根据现有的姿态估计算法mmpose识别骨骼关节点，对每个批次被测样本进行脊柱侧弯关键区域提取，即分别提取包含有肩部、肩胛骨、背部、腰线、骨盆区域的左右部分：

6、(3a)从前屈试验视频中提取被测人员的站立帧；

7、(3b)利用faster rcnn方法对人体进行目标检测，并对检测到的边界框使用mmpose姿态估计算法提取肩部、臀部这些骨骼关键点的坐标，截取出包含有双肩、肩胛骨、两侧腰凹、骨盆及背部的人体区域；

8、(3c)根据提取的肩部、臀部骨骼关键点计算人体的中心点，将待测的人体区域通过中心点的竖直线分成左右两边部分；

9、(3d)将这些批次的样本按照8:2的比例划分训练集和测试集；

10、(4)基于现有的swin transformer网络，构建基于双重对比学习的swintransformer孪生网络，对样本间整体特征与样本内左右部分特征即类间与类内特征进行双重对比，该孪生网络的两个支路共享同一权重；

11、(5)对基于双重对比学习的swin transformer孪生网络进行训练：

12、(5a)将训练集中同一批次样本的人体区域左右部分分别输入到swintransformer孪生网络的两个分支中，分别提取左右两部分的特征，并对其进行concatenate操作，获得该批次样本的人体整体特征；

13、(5b)使用mmpose姿态估计算法输出该批次样本人体区域中双肩、骨盆关键点的特征热力图，通过该热力图对步骤(5a)获得的左右两部分的特征及整体特征进行增强；

14、(5c)计算同一批次下每个样本增强后左右部分特征之间的类内对比学习损失值l1，并计算同一批次下单个样本增强后的整体特征与其他样本增强后的整体特征之间的类间对比学习损失值l2；

15、(5d)将步骤(5c)增强后的整体图像特征输入mlp中，再经过softmax操作，得到该批次的所有样本的预测类别结果，再将其与该批次的样本实际类别标签一起输入到交叉熵损失函数中，计算交叉熵损失l3的值；

16、(5e)对swin transformer孪生网络进行反向传播，计算损失函数l＝αl1+βl2+γl3，其中α+β+γ＝1，通过最小化l调节模型的权重参数，直到训练次数达到设定阈值或损失函数的值收敛，得到训练脊柱侧弯筛选模型；

17、(6)将测试集输入到训练好的脊柱侧弯筛选模型，用模型中的五步视觉体格检查策略得出脊柱状态：

18、若测试集中某个样本的五个测试指标都正常，则确认该样本的脊柱正常；

19、若测试集中某个样本中存在一个测试指标不正常，则确认该样本患有脊柱侧弯。

20、本发明与现有技术相比具有如下优点：

21、1.能够提供细粒度的识别结果：

22、本发明基于脊柱侧弯临床诊断的“视觉体格检查五步法”，可通过对视频数据的深入分析，获得具体的异常表现区域，从而详细描述脊柱侧弯的外在表现。这种细粒度的识别结果有助于医生准确评估患者的脊柱侧弯异常表现部位，为医生后续判断脊柱侧弯具体类别提供重要参考。

23、2.本发明通过分析受检者的动态前屈视频，判断出其在向下弯曲的过程中背部是否对称的，可为被测人员判断是否患有脊柱侧弯提供重要的依据。

24、3.本发明通过逐元素乘法来融合姿态估计输出双肩、骨盆关键点的特征热力图和swin transformer提取的图像特征，增强了模型在关键点处区域的特征，可以无缝地将姿态信息融入图像表示中，显著提升模型对关键点区域的特征提取能力。

25、4.本发明由于构造了类内对比损失和类间对比损失来约束模型的学习脊柱侧弯判断的相关信息，可通过类内对比损失对比同一样本下左右部分的对称性差异，来学习样本下的左右之间的对称性信息，通过类间对比损失对比不同类别样本的特征，学习到同一类别内样本之间的相似性及不同类别样本之间的差异性。

26、5.本发明基于普通rgb视频进行脊柱侧弯智能识别，因此其所需的硬件设备成本非常低廉，适用于青少年大规模筛查。