试剂盒标线区域检测损失评估方法、装置、介质及设备与流程

1.本发明涉及图像处理技术领域，特别涉及一种试剂盒标线区域检测损失评估方法、装置、介质及设备。


背景技术：

2.新冠病毒抗原检测试剂盒是一种简单快速的自助检测方法，非医疗专业人士也可以通过试剂盒上标线对检测结果进行判读。通常，各级卫生部门会要求上传检测结果的照片图片，对检测结果进行核实和统计，但是人工判读海量检测结果是一个工作量巨大的重复性工作。因此，使用基于深度学习模型的方法对抗原检测试剂盒结果进行判读成为缓解人工判读压力的替代方法。在使用深度学习模型进行试剂盒的位置检测前，需要对模型进行训练。因此，如何构建训练数据集，对模型的检测能力和效果具有不可忽视的影响。通常情况下，为提高数据集的泛化能力，需要采集真实环境下各类可能场景下的图片作为训练数据集。
3.此外，还需要对数据集图片进行标注，以使得训练后的模型可以检测到试剂盒标线区域的位置。现有技术中例如公布号为cn109902680a(公布日期为2019年6月18日)的中国专利申请公开了一种基于卷积神经网络的图片旋转角度检测与校正方法，包括以下步骤：a.构造网络的训练的数据集； b.构建网络结构及训练参数设置；c.模型训练及训练后的模型参数保存；d. 角度检测及校正；e.旋转角计算及图片旋转校正。本发明采用结合图像处理和卷积神经网络的方法，通过深度学习技术手段来提升角度检测的高效性和精确性，利用本方法对图片做角度检测并做旋转校正，可完美解决大角度图片文本检测效果较差的问题，有效提升文本ocr识别率。现有技术中虽然较多应用到某一对象的旋转角度等信息，但是并未给出一种高效的旋转角度的信息的表示方法。
4.数据标注需要将试剂盒标线区域的位置进行标注。因为在数据集图片生成时，对试剂盒进行了旋转，因此在标注时，也需要将旋转角度信息进行标注。传统的方法是在位置坐标信息之外，单独对角度信息进行标注。
5.综上，现有技术中对于区域直接进行角度信息的标注会导致后续损失函数设计的复杂化，本发明的目的在于提供一种新的训练数据集的检测区域标注方式以及训练模型的设计以解决上述问题。


技术实现要素：

6.为解决上述现有技术中的不足，本发明提供一种试剂盒标线区域检测损失评估方法，包括以下步骤：
7.s10：获取训练数据图片，所述训练数据图片中包含显示标线区域的试剂盒图片；
8.s20：设定矩形标注框，使得所述标线区域位于所述矩形标注框内；
9.s30：获取所述矩形标注框上的第一点和第二点的绝对坐标数据，所述第一点和所述第二点在所述矩形标注框上为相互对角位置关系，且所述第一点和所述第二点相对所述
试剂盒图片的第一参考系具有特定关系；
10.s40：将所述第一点和所述第二点各自的绝对坐标数据进行归一化处理后按顺序存储为所述训练数据图片的标注信息；
11.s50：将所述训练数据图片及其对应的所述标注信息输入检测训练模型，所述检测训练模型包括激活函数，所述激活函数包括sigmoid激活函数以输出归一化的预测标注信息；
12.s60：将所述预测标注信息和所述标注信息输入损失函数进行损失计算，其中所述损失计算包括通过归一化的所述预测标注信息和归一化的所述标注信息进行iou损失函数计算。
13.在一些实施例中，所述第一参考系相对所述试剂盒图片的摆放方向固定，所述第一参考系的纵轴指向所述试剂盒图中的字母“t”到“c”的方向。
14.在一些实施例中，所述特定关系包括：对于不同的训练数据图片中的所述标注框，由所述第一点a和所述第二点b在所述第一参考系构成的向量为特定象限的向量。
15.在一些实施例中，所述特定象限包括第四象限。
16.在一些实施例中，步骤s40中包括：
17.s41：获取所述训练数据图片的宽度width和高度height；
18.s41：根据所述训练数据图片的宽度和高度对所述第一点a的绝对坐标数据(xa,ya)以及所述第二点b的绝对坐标数据(xb,yb)进行归一化处理；
19.所述归一化处理包括通过以下公式计算出浮点数xa2、ya2、xb2以及yb2，将所述浮点数列(xa2、ya2、xb2、yb2)存储入对应的训练数据图片的信息中；其中，
20.xa2＝xa/width；
21.ya2＝ya/height；
22.xb2＝xb/width；
23.yb2＝yb/height。
24.在一些实施例中，定义归一化的所述标注信息为数列y_true[n]，其中 n＝0,1,2,3；
[0025]
定义归一化的所述预测标注信息为数列y_pred[n]，其中n＝0,1,2,3；
[0026]
所述iou损失函数的计算包括以下过程，记：
[0027]
w1＝abs(y_true[2]-y_true[0])；
[0028]
w2＝abs(y_pred[2]-y_pred[0])；
[0029]
h1＝abs(y_true[3]-y_true[1])；
[0030]
h2＝abs(y_pred[3]-y_pred[1])；
[0031]
dw1＝abs(y_true[0]-y_pred[0])；
[0032]
dw2＝abs(y_true[2]-y_pred[2])；
[0033]
dh1＝abs(y_true[1]-y_pred[1])；
[0034]
dh2＝abs(y_true[3]-y_pred[3])；
[0035]
w3＝(w1 w2-dw1-dw2)/2；
[0036]
h3＝(h1 h2-dh1-dh2)/2；
[0037]
计算所述标注信息和所述预测标注信息的相交面积intersection，
[0038]
intersection＝max(w3,0)*max(h3,0)；
[0039]
abs(*)返回*的绝对值，max(*1，*2)返回*1和*2之中的最大值；
[0040]
计算所述标注信息和所述预测标注信息的合并面积union，union＝w1* h1 w2*h2
–
intersection；
[0041]
则iou＝intersection/union。
[0042]
在一些实施例中，记所述损失函数为box_loss，所述损失函数box_loss 包括iou损失函数和mse均方差损失；
[0043]
box_loss＝(1-iou) mse(y_true,y_pred)，其中mse()为均方差损失函数。
[0044]
本发明还提供一种试剂盒标线区域检测损失评估装置，包括：
[0045]
图片获取模块，用于获取训练数据图片，所述训练数据图片中包含显示标线区域的试剂盒图片；
[0046]
标注框设定模块，用于设定矩形标注框，使得所述标线区域位于所述矩形标注框内；
[0047]
特征点锚定模块，用于获取所述矩形标注框上的第一点和第二点的绝对坐标数据，所述第一点和所述第二点在所述矩形标注框上为相互对角位置关系，且所述第一点和所述第二点相对所述试剂盒图片的第一参考系具有特定关系；
[0048]
存储模块，用于将所述第一点和所述第二点各自的绝对坐标数据进行归一化处理后按顺序存储为所述训练数据图片的标注信息；
[0049]
检测训练模块，用于将所述训练数据图片及其对应的所述标注信息输入检测训练模型，所述检测训练模型包括激活函数，所述激活函数包括sigmoid 激活函数以输出归一化的所述标注信息；
[0050]
损失计算模块，用于将所述预测标注信息和所述标注信息输入损失函数进行损失计算，其中所述损失计算包括通过归一化的所述预测标注信息和归一化的所述标注信息进行iou损失函数计算。
[0051]
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机被处理器执行时实现如上任一项所述的一种试剂盒标线区域检测损失评估方法。
[0052]
本发明还提供一种计算机设备，包括至少一个处理器、及与所述处理器通信连接的存储器，其中所述存储器存储可被至少一个处理器执行的指令，所述指令被至少一个处理器执行，以使所述处理器执行如上任一项所述的一种试剂盒标线区域检测损失评估方法。
[0053]
基于上述，与现有技术相比，本发明提供的一种试剂盒标线区域检测损失评估方法，通过设定矩形标注框，使得所述标线区域位于所述矩形标注框内，获取所述矩形标注框上的第一点和第二点的绝对坐标数据，所述第一点和所述第二点在所述矩形标注框上为相互对角位置关系，且所述第一点和所述第二点相对所述试剂盒图片的第一参考系具有特定关系；然后将第一点和第二点的绝对坐标数据按顺序存储为标注信息，所述使得标线区域的旋转角度信息隐藏于标注信息之中，在对标注信息的进行简化的同时，可以进一步简化后续损失函数的设计。
[0054]
本发明的其它特征和有益效果将在随后的说明书中阐述，并且，部分地从说明书
中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他有益效果可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
[0055]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图；在下面描述中附图所述的位置关系，若无特别指明，皆是图示中组件绘示的方向为基准。
[0056]
图1为本发明提供的试剂盒标线区域检测损失评估方法流程示意图；
[0057]
图2为实施例标注框示意图；
[0058]
图3为实施例第一点和第二点选取示意图；
[0059]
图4为实施例检测训练模型示意图；
[0060]
图5为本发明实施例试剂盒标线区域数据集标注装置示意图；
[0061]
图6为本发明实施例计算机设备示意图。
具体实施方式
[0062]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例；下面所描述的本发明不同实施方式中所设计的技术特征只要彼此之间未构成冲突就可以相互结合；基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0063]
在本发明的描述中，需要说明的是，本发明所使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域的普通技术人员通常所理解的含义相同的含义，不能理解为对本发明的限制；应进一步理解，本发明所使用的术语应被理解为具有与这些术语在本说明书的上下文和相关领域中的含义一致的含义，并且不应以理想化或过于正式的意义来理解，除本发明中明确如此定义之外。
[0064]
以下通过具体实施例进行说明。
[0065]
为达所述优点至少其中之一或其他优点，本发明提供一种试剂盒标线区域检测损失评估方法，如图1所示，包括以下步骤：
[0066]
s10：获取训练数据图片，所述训练数据图片中包含显示标线区域的试剂盒图片；
[0067]
s20：设定矩形标注框，使得所述标线区域位于所述矩形标注框内；
[0068]
s30：获取所述矩形标注框上的第一点和第二点的绝对坐标数据，所述第一点和所述第二点在所述矩形标注框上为相互对角位置关系，且所述第一点和所述第二点相对所述试剂盒图片的第一参考系具有特定关系；如图2为一实施例中的训练数据图片及其标注框。
[0069]
s40：将所述第一点和所述第二点各自的绝对坐标数据进行归一化处理后按顺序存储为所述训练数据图片的标注信息；
[0070]
s50：将所述训练数据图片及其对应的所述标注信息输入检测训练模型，所述检测
训练模型包括激活函数，所述激活函数包括sigmoid激活函数以输出归一化的所述标注信息；
[0071]
s60：将所述预测标注信息和所述标注信息输入损失函数进行损失计算，其中所述损失计算包括通过归一化的所述预测标注信息和归一化的所述标注信息进行iou损失函数计算。。
[0072]
在一些实施例中，所述第一参考系相对所述试剂盒图片的摆放方向固定，所述第一参考系的纵轴指向所述试剂盒图中的字母“t”到“c”的方向。
[0073]
在一些实施例中，所述特定关系包括：对于不同的训练数据图片中的所述标注框，由所述第一点a和所述第二点b在所述第一参考系构成的向量为特定象限的向量。
[0074]
如图3所示，对第一参考系的定位是为了说明第一点和第二点相对试剂盒图片的关系，第一参考系相对于试剂盒图片固定，指的是即使试剂盒图片发生旋转，则第一参考系也会发生旋转，因此对于第一点a和第二点b的位置选取是跟随试剂盒图片的放置方向发生改变的。例如对于某第一试剂盒图片，该第一试剂盒图片的摆放方向是字母“t”在上，字母“c”在下，此时，假设所述特定象限是第四象限，则所选取的第一点a是标注框的左上顶点，而第二点b是标注框的右下顶点，二者符合预设在第一参考系中的特定关系；而对于某第二试剂盒图片，该第二试剂盒图片的摆放方向相对第一试剂盒图片的摆放方向旋转了180度，是一个倒置的角度，则根据预设的特定关系，第一点a应当是标注框的右下顶点，而第二点b是标注框的左上顶点。
[0075]
在一些实施例中，所述特定象限包括第四象限。
[0076]
在一些实施例中，步骤s40中包括：
[0077]
s41：获取所述训练数据图片的宽度width和高度height；
[0078]
s41：根据所述训练数据图片的宽度和高度对所述第一点a的绝对坐标数据(xa,ya)以及所述第二点b的绝对坐标数据(xb,yb)进行归一化处理。
[0079]
在一些实施例中，所述归一化处理包括通过以下公式计算出浮点数xa2、 ya2、xb2以及yb2，将所述浮点数列(xa2、ya2、xb2、yb2)存储入对应的训练数据图片的信息中；其中，
[0080]
xa2＝xa/width；
[0081]
ya2＝ya/height；
[0082]
xb2＝xb/width；
[0083]
yb2＝yb/height。
[0084]
在一些实施例中，可根据上述实施例的标注信息推测试剂盒图片的旋转角度，推测过程包括如下步骤：
[0085]
1、获取图片标注信息为(xa2,ya2,xb2,yb2)
[0086]
2、如果xa2《xb2，跳转到步骤3；否则跳转到步骤4；
[0087]
3、如果ya2《yb2，则旋转角度rotate_angle＝0；否则rotate_angle＝90，并跳转到步骤5；
[0088]
4、如果ya2《yb2，则旋转角度rotate_angle＝270；否则rotate_angle＝180；
[0089]
5、此时rotate_angle即为试剂盒逆时针旋转的角度。
[0090]
在一些实施例中，所述训练数据图片包括通过对不同厂商的试剂盒拍摄获得或者合成获得的。
[0091]
在一些实施例中，如图4所示，所述检测训练模型还包括骨干网络、颈部网络和头部网络；
[0092]
所述骨干网络包括vggnet、resnet、densenet、mobilenet中的一种或多种的组合，所述骨干网络用于接收所述训练数据图片和所述标注信息；
[0093]
所述颈部网络包括fpn网络，所述颈部网络接收所述骨干网络的输出；
[0094]
所述头部网络包括全连接网络，所述头部网络接收所述骨干网络的输出或者接收所述颈部网络的输出，所述头部网络的输出被输入所述激活函数。
[0095]
在传统的目标检测网络中，需要返回坐标、角度、类别等多种数据，数据的激活方式不同，其中数值回归一般使用relu激活函数作为输出。在前述训练集的数据标注中，因为进行了数据归一化处理，因此头部网络的最后一层需要使用sigmoid激活函数进行输出，保证输出的数据在[0,1]范围内，而且只需要输出4个数据，简化了头部网络的设计。我们实际使用的网络模型骨干网络使用resnet50，颈部网络使用fpn，头部网络使用若干层全连接层，最后一层输出4个使用sigmoid激活的数据。即可得到前述a、b两点的归一化的坐标。
[0096]
损失函数(loss function)是用来估量模型的预测值与真实值的不一致程度，对模型训练时能否正常收敛起到关键作用。结合试剂盒标线区域检测的目标和坐标数值回归的目标，针对上述模型设计的损失函数(box_loss) 由两部分组成：iou损失和mse均方差损失。其中，iou为预测区域和真实区域的相交面积与合并面积的比值，mse均方差为预测值和真实值之间距离的平方。由前述数据集中标注信息的定义，a、b两点的坐标是随着试剂盒一同旋转的。因此，相较于通常的iou计算，不能假设a、b两点相对位置是固定的，即iou的计算不能依赖a、b点的相对位置。具体通过以下方式实现。
[0097]
在一些实施例中，定义归一化的所述标注信息为数列y_true[n]，其中n＝0,1,2,3；
[0098]
定义归一化的所述预测标注信息为数列y_pred[n]，其中n＝0,1,2,3；
[0099]
所述iou损失函数的计算包括以下过程，记：
[0100]
w1＝abs(y_true[2]-y_true[0])；
[0101]
w2＝abs(y_pred[2]-y_pred[0])；
[0102]
h1＝abs(y_true[3]-y_true[1])；
[0103]
h2＝abs(y_pred[3]-y_pred[1])；
[0104]
dw1＝abs(y_true[0]-y_pred[0])；
[0105]
dw2＝abs(y_true[2]-y_pred[2])；
[0106]
dh1＝abs(y_true[1]-y_pred[1])；
[0107]
dh2＝abs(y_true[3]-y_pred[3])；
[0108]
w3＝(w1 w2-dw1-dw2)/2；
[0109]
h3＝(h1 h2-dh1-dh2)/2；
[0110]
计算所述标注信息和所述预测标注信息的相交面积intersection， intersection＝max(w3,0)*max(h3,0)；
[0111]
abs(*)返回*的绝对值，max(*1，*2)返回*1和*2之中的最大值；
[0112]
计算所述标注信息和所述预测标注信息的合并面积union，union＝w1* h1 w2*h2
–
intersection；
[0113]
则iou＝intersection/union。
[0114]
在一些实施例中，记所述损失函数为box_loss，所述损失函数box_loss 包括iou损失函数和mse均方差损失；
[0115]
box_loss＝(1-iou) mse(y_true,y_pred)，其中mse()为均方差损失函数。
[0116]
本发明还提供一种试剂盒标线区域检测损失评估装置，如图5所示，包括：
[0117]
图片获取模块，用于获取训练数据图片，所述训练数据图片中包含显示标线区域的试剂盒图片；
[0118]
标注框设定模块，用于设定矩形标注框，使得所述标线区域位于所述矩形标注框内；
[0119]
特征点锚定模块，用于获取所述矩形标注框上的第一点和第二点的绝对坐标数据，所述第一点和所述第二点在所述矩形标注框上为相互对角位置关系，且所述第一点和所述第二点相对所述试剂盒图片的第一参考系具有特定关系；
[0120]
存储模块，用于将所述第一点和所述第二点各自的绝对坐标数据进行归一化处理后按顺序存储为所述训练数据图片的标注信息；
[0121]
检测训练模块，用于将所述训练数据图片及其对应的所述标注信息输入检测训练模型，所述检测训练模型包括激活函数，所述激活函数包括sigmoid 激活函数以输出归一化的所述标注信息；
[0122]
损失计算模块，用于将所述预测标注信息和所述标注信息输入损失函数进行损失计算，其中所述损失计算包括通过归一化的所述预测标注信息和归一化的所述标注信息进行iou损失函数计算。
[0123]
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机被处理器执行时实现如上任一项所述的一种试剂盒标线区域检测损失评估方法。
[0124]
具体实施时，计算机可读存储介质为磁碟、光盘、只读存储记忆体 (read-onlymemory，rom)、随机存储记忆体(random access memory，ram)、快闪存储器(flash memory)、硬盘(hard disk drive，缩写：hdd)或固态硬盘(solid-state drive，ssd)等；计算机可读存储介质还可以包括上述种类的存储器的组合。
[0125]
本发明还提供一种计算机设备，如图6所示，包括至少一个处理器、及与所述处理器通信连接的存储器，其中所述存储器存储可被至少一个处理器执行的指令，所述指令被至少一个处理器执行，以使所述处理器执行上任一项所述的一种试剂盒标线区域检测损失评估方法。
[0126]
具体实施时，处理器的数量可以是一个或多个，处理器可以为中央处理器，(central processing unit，cpu)。处理器还可以为其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路 (application specific integrated circuit，asic)、现场可编程门阵列 (field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0127]
存储器与处理器可以通过总线或其他方式通信连接，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使处理器执行如上任一项的试剂盒标
线区域检测损失评估方法。
[0128]
基于上述，与现有技术相比，本发明提供的一种试剂盒标线区域检测损失评估方法，通过设定矩形标注框，使得所述标线区域位于所述矩形标注框内，获取所述矩形标注框上的第一点和第二点的绝对坐标数据，所述第一点和所述第二点在所述矩形标注框上为相互对角位置关系，且所述第一点和所述第二点相对所述试剂盒图片的第一参考系具有特定关系；然后将第一点和第二点的绝对坐标数据按顺序存储为标注信息，所述使得标线区域的旋转角度信息隐藏于标注信息之中，在对标注信息的进行简化的同时，可以进一步简化后续损失函数的设计。
[0129]
另外，本领域技术人员应当理解，尽管现有技术中存在许多问题，但是，本发明的每个实施例或技术方案可以仅在一个或几个方面进行改进，而不必同时解决现有技术中或者背景技术中列出的全部技术问题。本领域技术人员应当理解，对于一个权利要求中没有提到的内容不应当作为对于该权利要求的限制。
[0130]
尽管本文中较多的使用了诸如训练数据图片、标线区域、试剂盒图片、矩形标注框等术语，但并不排除使用其它术语的可能性。使用这些术语仅仅是为了更方便地描述和解释本发明的本质；把它们解释成任何一种附加的限制都是与本发明精神相违背的；本发明实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”、等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
[0131]
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。