一种基于热度图与时序注意力先验的手腕脉诊点定位方法

本发明属于计算机图像处理，具体涉及一种手腕脉诊点定位方法。

背景技术：

1、脉诊为中医师常用的诊断病情的方法之一，中医师通过将手指按压于病患的手腕寸、关、尺位置，觉察病患的脉象，判断病情。然而，传统脉诊面临的问题包括：中医师们对病情的判断存在较多的主观臆测，对同样的病情可能有不一样的判断、手指施加的压力会造成病患本身的脉象受到影响，导致中医师判断的病情存在偏差、病患的脉象数据没有有效地储存，影响对日后的病情判断等。随着资讯时代的来临，脉诊的客观化发展成为中医领域的新兴研究方向之一，且近年人工智能的蓬勃发展，为脉诊的客观化发展开拓了崭新的方向。

2、随着硬件性能的提升与深度学习的理论优化，越来越多人工智能相关的应用出现，包括高精度的定位关键点、高精度的物件检测、高精度的图像识别等。许多研究者开发出脉诊仪模拟中医师进行脉诊，通过各式的传感器定位脉诊点并获取脉象信息。在脉诊仪模拟中医脉诊的过程中，精准地定位手腕脉诊点是个至关重要的步骤，目前精度较高的方法为基于深度学习的手腕脉诊点定位，但目前尚面临着精度不足的问题，本发明的目的在于提供一种基于热度图与时序注意力先验的手腕关键点定位方法。

技术实现思路

1、本发明的目的在于提供一种基于热度图与时序注意力先验的手腕脉诊点定位方法，实现以小规模的红外视频数据集，即能快速且精准地定位手腕脉诊点位置。

2、本发明提供的基于热度图与时序注意力先验的手腕脉诊点定位方法，基本步骤为：首先，基于红外视频数据集，标注“寸、关、尺”关键点的二维坐标，作为深度学习模型的监督信息；

3、其次，构建深度学习模型，其以u-net作为基线架构，结合时序注意力先验。u-net主要包括编码器、解码器、跳跃连接、最大池化层、转置卷积层。编码器负责提取输入数据以及经过下采样的数据的特征，解码器负责生成热度图，每次上采样后生成的热度图与对应层级特征进行融合，恢复到原分辨率后得到关键点热度图；时序注意力先验通过跳跃连接与编码器的低级语义特征和解码器的高级语义特征进行特征融合，使模型更好地利用红外视频的时序信息，输出更精确的关键点热度图。最大池化层用于降低数据维度；转置卷积层增加特征图尺寸，进行特征图重建；最后将待测的手腕视频数据作为已训练完成的深度学习模型的输入，预测得到手腕脉诊点的热度图，通过关键点拟合得到手腕脉诊点坐标。

4、本发明提出的基于热度图与时序注意力先验的手腕脉诊点定位方法，具体步骤如下：

5、(1)基于红外视频数据集，构建“寸、关、尺”关键点的二维坐标作为监督信息；

6、(2)构建深度学习网络；

7、所述深度学习模型以u-net作为基线架构，结合了时序注意力先验模块。

8、时序注意力先验模块中，首先计算视频中每个空间位置的灰度平均值，然后将视频图像集合中每帧图像减去灰度平均值并取绝对值代表灰度值的变化程度(即差值)，然后将每个空间位置的差值加起来得到空间注意力图，最后设置阈值抑制变动不大的空间位置，得到其时序注意力先验。

9、u-net分为收缩路径和扩张路径，由多个编码器、解码器、跳跃连接、最大池化层、转置卷积层组成。编码器负责提取输入数据的特征；解码器负责生成热度图；跳跃连接使得网络能够将高分辨率的细节信息与上采样的粗糙信息结合起来，有助于解决深度学习模型的梯度消失问题；最大池化层减小特征图尺寸，保留重要特征，减低计算量，减少过拟合的发生；转置卷积层增加特征图尺寸，进行特征图重建。每个编码器或解码器由两个3×3卷积层组成，且在每个卷积层后加入relu激活层和批归一化层组成。其中，卷积层用于提取输入数据的特征；批归一化层用于加快模型收敛的速度；relu激活函数层用于让模型具有非线性拟合能力，解决复杂的数据拟合问题。此外，在u-net跳跃连接的基础上，结合了时序注意力先验，将时序注意力先验与编码器的低级语义特征和解码器的高级语义特征进行融合，使模型更好地利用红外视频的时序信息，输出更精准的关键点热度图。具体来说，会采用在解码器经卷积后拼接的方式进行特征融合。

10、(3)训练深度学习网络；

11、将采集的红外视频数据集划分为训练集、验证集、测试集；训练集用来训练深度学习模型，使其拟合数据分布；验证集用于对训练过程中的深度学习模型的泛化性做验证，记录泛化性最好的模型；测试集用于对已训练完成的深度学习模型做性能测试，以此衡量深度学习模型的性能；

12、(4)利用训练完成的深度学习模型，得到关键点“寸、关、尺”的热度图；

13、(5)对每个通道的关键点热度图采用圆心区域均值法进行关键点拟合，得到手腕脉诊点坐标。

14、进一步地，步骤(1)中所述基于红外视频数据集，构建“寸、关、尺”关键点的二维坐标作为监督信息，具体为：通过中医师对红外视频中的“寸、关、尺”进行标注，以此作为深度学习模型的监督信息。

15、进一步地，步骤(3)中所述的红外视频数据集划分为训练集、验证集、测试集，具体为：

16、对于步骤(1)中所述的红外视频数据集进行划分，其中70％作为训练集；20％作为验证集；10％作为测试集。

17、进一步地，步骤(3)所述训练深度学习模型，包括：

18、首先设置模型超参数：

19、批大小(batch size)：批次较大能使模型收敛地较快，但是需考虑显存大小；

20、学习率(learning rate)：学习率会影响模型参数更新的速度，较大的学习率可能会使模型无法收敛至极值，较小的学习率可能会使得模型收敛的速度较慢；

21、迭代次数(epoch)：对整个训练集完整训练的次数；

22、然后对模型进行训练，采用均方误差(mse)损失函数作为模型性能的衡量标准：

23、

24、其中h表示真实的热度图，表示模型生成的热度图。该损失函数的物理意义为每个像素点的预测值与真实值之间的差的平方的平均值。模型通过反向传播的梯度，以优化器根据梯度进行参数更新，使模型预测的坐标更接近真实坐标。训练过程中，包含训练损失与验证损失，如两者以相同的趋势减小，说明模型的预测能力正逐渐提升，当两者不再减小，说明模型已经收敛，训练结束。

25、进一步地，步骤(4)所述利用已训练完成的深度学习模型，输出关键点热度图；具体为：

26、(1)首先通过红外摄像机对手腕进行视频拍摄；

27、(2)将手腕视频作为模型输入，生成关键点热度图；

28、进一步地，步骤(5)所述对每个通道的关键点热度图采用圆心区域均值法进行关键点拟合，得到手腕脉诊点坐标；具体来说，以概率值最大点为圆心，取单位圆内的概率期望值作为最终坐标。

29、与现有的基于深度学习方法的手腕脉诊点定位相比，本发明的有益效果为：

30、以小规模的红外视频数据集，就能快速且精准地定位“寸、关、尺“手腕脉诊点位置。

技术特征：

1.一种基于热度图与时序注意力先验的手腕脉诊点定位方法，其特征在于，具体步骤如下：

2.根据权利要求1所述的手腕脉诊点定位方法，其特征在于，步骤(1)中所述基于红外视频数据集，构建“寸、关、尺”关键点的二维坐标作为监督信息，具体是由中医师对红外视频中的“寸、关、尺”关键点进行标注，以此作为深度学习模型的监督信息。

3.根据权利要求1所述的手腕脉诊点定位方法，其特征在于，步骤(3)中所述的红外视频数据集划分为训练集、验证集、测试集，具体为：对于步骤(1)中所述的红外视频数据集进行划分，其中70％作为训练集；20％作为验证集；10％作为测试集。

4.根据权利要求1所述的手腕脉诊点定位方法，其特征在于，步骤(3)所述训练深度学习模型，包括：

5.根据权利要求1所述的手腕脉诊点定位方法，其特征在于，步骤(4)所述利用已训练完成的深度学习模型，输出关键点热度图；具体为：

6.根据权利要求1所述的手腕脉诊点定位方法，其特征在于，步骤(5)所述对每个通道的关键点热度图采用圆心区域均值法进行关键点拟合，得到手腕脉诊点坐标；具体地，以概率值最大点为圆心，取单位圆内的概率期望值作为最终坐标。

技术总结本发明属于计算机图像处理技术领域，具体为基于热度图与时序注意力先验的手腕脉诊点定位方法。本发明包括：根据红外视频数据集构建寸、关、尺关键点的二维坐标作为监督信息；构建深度学习模型，具体以U‑Net为基线架构，结合时序注意力先验模块；U‑Net编码器提取输入数据的特征，解码器生成热度图，每次上采样后生成的热度图与对应层级特征进行融合，恢复到原分辨率后得到关键点热度图，最后经过关键点拟合得到关键点坐标。时序注意力先验通过跳跃连接与编码器的低级语义特征和解码器的高级语义特征进行特征融合，使模型更好地利用红外视频的时序信息，输出更精确的关键点热度图。最后预测得到手腕脉诊点的热度图，经过关键点拟合得到脉诊点坐标信息。技术研发人员：路红,罗静静,韩恩博,黄冠豪,祝兴,戴柯迪受保护的技术使用者：复旦大学技术研发日：技术公布日：2024/10/10