一种基于深度学习的便携式手持烧伤识别装置及系统

本发明属于医疗辅助器械领域，具体涉及一种基于深度学习的便携式手持烧伤识别装置及系统。

背景技术：

1、烧伤是一种常见的外伤疾病，烧伤治疗过程复杂、容错率低，所以烧伤类型的诊断至关重要，但目前烧伤深度的判断仍然是依赖于主观指标的非精确经验科学。ⅰ、ⅲ度烧伤临床诊断相对比较容易，准确率相对较高，所需采取的医学处理方法也比较明确。深度介于ⅰ度和ⅲ度之间的烧伤创面在临床中较为普遍，但临床经验难以对该类烧伤创面严重程度做出准确判断，其临床判断准确率通常在50％～65％。检测结果会直接影响患者的恢复，所以制造一种设备，代替人以科学而非经验的手段准确检测烧伤的类型十分重要。并且，当前烧伤类型的临床检测方法以组织病理学观察为主，该方法需要对患者的烧伤皮肤取样，可能造成二次伤害，用于实现烧伤检测的设备如激光成像、超声谐波成像、显微成像等操作复杂、费用高昂，无法大范围应用。再者，目前有经验有能力的烧伤专科医生较少，医疗资源紧缺，尤其是在例如火灾现场等有大量烧伤患者集中又不在医院这种有充足医疗资源的场景，患者的治疗有可能被延误，如何快速准确又便捷地在可能出现大量烧伤患者的场景，进行第一时间精准的病情诊断是亟待解决的问题。

技术实现思路

1、为解决现有技术的不足，实现提高识别效率、提升识别精度的目的，本发明采用如下的技术方案：

2、一种基于深度学习的烧伤识别装置，包括图像预处理模块、图像分割模块和图像识别模块；

3、所述图像预处理模块，对获取的图像进行增强；

4、所述图像分割模块，构建基于编码器和解码器的架构，通过获取增强后的图像得到1维与原图像大小相同的图像，将得到的图像的像素值作为该像素点是否为前景的概率，生成每个像素点的掩码，基于掩码和原图像，得到分割后判定为烧伤部分的图像；

5、所述图像识别模块，对烧伤部分的图像，利用至少两个深度学习网络提取特征，再融入融合网络，得到分类预测结果。

6、进一步地，所述图像预处理模块，首先经过高斯模糊对采集图像进行降噪处理，增强模型的鲁棒性，再运用灰度共生矩阵提取纹理特征，灰度共生矩阵可以反映图像灰度的幅度、方向和间隔的信息，最后对图像进行luv色彩空间转换，luv色彩空间变化可以更好的反应像素点所需的色彩特点，

7、进一步地，所述灰度共生矩阵，将图像像素点的灰度进行离散化处理后，设置不同的窗口大小、移动方向和移动步长，提取在各个方向上两个像素点对出现的概率，从而构建共生矩阵，基于共生矩阵计算出图像统计属性的纹理特征。

8、进一步地，所述色彩空间转换采用luv色彩空间转换，将获取的rgb色彩空间转换至三色刺激值xyz的色彩空间：

9、

10、然后，将xyz色彩空间转换至luv色彩空间：

11、

12、

13、

14、其中，luv色彩空间中l*表示物体亮度，u*和v*表示色度。

15、进一步地，所述编码器采用htnet神经网络，通过并行多个分辨率的分支，并不断进行不同分支之间的信息交互，同时达到增强语义信息和精准位置信息的目的，这种一直保持编码过程中高分辨率的办法对于对位置敏感的任务，通过hrnet最后得到多个不同分辨率的特征图。

16、进一步地，所述解码器采用fpn神经网络，包含自下而上网络、自上而下网络、横向连接与卷积融合，自下而上网络为不同的卷积组，卷积组包含多个结构，组内的特征图大小相同，组间大小递减；自上而下网络对顶层特征进行上采样，再与底层特征进行融合，每层独立预测；fpn神经网络结合横向连接与卷积融合，在不同尺度的特征图上进行预测，可以有效地处理不同大小的目标，最终生成与原始图像大小相同的预测图像。

17、进一步地，所述深度学习网络包括vgg16神经网络和resnet-50神经网络，其中vgg16神经网络基于alexnet神经我哪里过，采用连续的多个3x3的卷积核代替alexnet中的大卷积核，由多个小卷积核的卷积层、多个最大池化层与多个全连接层组成，激活函数为relu，只将vgg-16神经网络用于特征提取；resnet-50神经网络采用残差块结构解决网络的退化问题，并只用于特征提取。

18、进一步地，由于手持式烧伤检测终端内存与算力有限，所述融合网络，采用小卷积核的卷积层代替全连接层，减少了网络的参数量，包括卷积层、最大池化层和卷积层，最后使用归一化函数得到概率向量，取概率向量最大值作为预测结果。

19、进一步地，由于在烧伤分类数据集中出现烧伤深度样本分类不平衡的情况，所述融合网络的损失函数采用改进的交叉熵损失函数进行烧伤创面分类任务，改进的损失函数lossce如下：

20、

21、其中，n表示训练中每批次的烧伤图像数量，c表示分类的类别总数，表示第j个样本对第i类的真实标签值，表示第j个样本被预测为第i类的概率值，在损失函数计算时，将标签值转化为one-hot编码方式，w表示类的权重系数，计算公式如下：

22、

23、其中，numssamples表示全部样本数量，numsi表示第i类的样本数量，通过增加项来增加对网络预测偏差时的惩罚，当与的值越相近，损失的值增加越小，反之越大。

24、一种基于深度学习的便携式手持烧伤识别系统，包括便携式手持终端和云端数据库，所述便携式手持终端包括图像采集模块、烧伤识别装置和人机交互模块，烧伤识别装置采用权利要求1所述的训练好的一种基于深度学习的烧伤识别装置。

25、本发明的优势和有益效果在于：

26、本发明基于深度学习，提供了一种通过神经网络智能判断烧伤伤口受伤情况，通过便携式仪器采集画面与医生交互，来辅助医生进行医疗诊断的方法及系统。由树莓派作为主机，控制摄像头采集图像画面，经过神经网络分析后得出有效信息，保存至mysql数据库。该系统针对烧伤出现的场景集中且不固定的问题，采用便携式手持仪器使设备方便携带，便于转移，且分析速度足够快，得以针对不同程度的烧伤及时采取医疗手段。

技术特征：

1.一种基于深度学习的烧伤识别装置，包括图像预处理模块、图像分割模块和图像识别模块，其特征在于：

2.根据权利要求1所述的一种基于深度学习的烧伤识别装置，其特征在于：所述图像预处理模块，首先经过高斯模糊对采集图像进行降噪处理，再运用灰度共生矩阵提取纹理特征，最后对图像进行色彩空间转换。

3.根据权利要求1所述的一种基于深度学习的烧伤识别装置，其特征在于：所述灰度共生矩阵，将图像像素点的灰度进行离散化处理后，设置不同的窗口大小、移动方向和移动步长，提取在各个方向上两个像素点对出现的概率，从而构建共生矩阵，基于共生矩阵计算出图像统计属性的纹理特征。

4.根据权利要求1所述的一种基于深度学习的烧伤识别装置，其特征在于：所述色彩空间转换采用luv色彩空间转换，将获取的rgb色彩空间转换至三色刺激值xyz的色彩空间：

5.根据权利要求1所述的一种基于深度学习的烧伤识别装置，其特征在于：所述编码器采用htnet神经网络，通过并行多个分辨率的分支，并不断进行不同分支之间的信息交互，一直保持编码过程中高分辨率的办法对于对位置敏感的任务，最后得到多个不同分辨率的特征图。

6.根据权利要求1所述的一种基于深度学习的烧伤识别装置，其特征在于：所述解码器采用fpn神经网络，包含自下而上网络、自上而下网络、横向连接与卷积融合，自下而上网络为不同的卷积组，卷积组包含多个结构，组内的特征图大小相同，组间大小递减；自上而下网络对顶层特征进行上采样，再与底层特征进行融合，每层独立预测；fpn神经网络结合横向连接与卷积融合，在不同尺度的特征图上进行预测，生成与原始图像大小相同的预测图像。

7.根据权利要求1所述的一种基于深度学习的烧伤识别装置，其特征在于：所述深度学习网络包括vgg16神经网络和resnet-50神经网络，其中vgg16神经网络基于alexnet神经我哪里过，采用连续的多个3x3的卷积核代替alexnet中的大卷积核，由多个小卷积核的卷积层、多个最大池化层与多个全连接层组成，只将vgg-16神经网络用于特征提取；resnet-50神经网络采用残差块结构，并只用于特征提取。

8.根据权利要求1所述的一种基于深度学习的烧伤识别装置，其特征在于：所述融合网络，采用小卷积核的卷积层代替全连接层，包括卷积层、最大池化层和卷积层，最后使用归一化函数得到概率向量，取概率向量最大值作为预测结果。

9.根据权利要求1所述的一种基于深度学习的烧伤识别装置，其特征在于：所述融合网络的损失函数采用改进的交叉熵损失函数进行烧伤创面分类任务，改进的损失函数lossce如下：

10.一种基于深度学习的便携式手持烧伤识别系统，包括便携式手持终端和云端数据库，其特征在于：所述便携式手持终端包括图像采集模块、烧伤识别装置和人机交互模块，烧伤识别装置采用权利要求1所述的训练好的一种基于深度学习的烧伤识别装置。

技术总结本发明公开了一种基于深度学习的便携式手持烧伤识别系统，包括便携式手持终端和云端数据库，便携式手持终端包括图像采集模块、烧伤识别装置和人机交互模块，烧伤识别装置包括图像预处理模块、图像分割模块和图像识别模块，其中，图像预处理模块对获取的图像进行增强；图像分割模块用于构建基于编码器和解码器的架构，通过获取增强后的图像得到1维与原图像大小相同的图像，将得到的图像的像素值作为该像素点是否为前景的概率，生成每个像素点的掩码，基于掩码和原图像，得到分割后判定为烧伤部分的图像；图像识别模块对烧伤部分的图像，利用至少两个深度学习网络提取特征，再融入融合网络，得到分类预测结果。技术研发人员：毛月田,岳克强,张承扬,张宇轩,钱俊彦,唐笠雄受保护的技术使用者：杭州电子科技大学技术研发日：技术公布日：2024/7/29