一种模型训练方法、装置、存储介质及电子设备与流程

1.本技术涉及机器学习技术领域，尤其涉及一种模型训练方法、装置、存储介质及电子设备。


背景技术：

2.随着计算机视觉的发展，目标检测技术也得到了广泛的应用。如，用于提取道路中的路面元素以构建高精地图，用于提取文本中的符号元素以进行文本修复等。
3.以提取路面元素中的路面导向箭头为例进行说明，现有技术在对路面导向箭头进行矢量化提取时，具体的，可先将采集到的各道路图像输入预先训练的语义分割模型中，得到各道路图像中路面导向箭头的掩膜(mask)信息。之后，针对每个道路图像，根据该道路图像中路面导向箭头的mask信息，以及预设的路面导向箭头的标准模板，进行模板匹配，确定该道路图像中路面导向箭头的矢量化结果。其中，路面导向箭头的标准模板是基于国家标准的路面导向箭头缩放、旋转生成的。
4.但是，由于采集到的道路图像中路面导向箭头的大小角度各异，因此为了得到精准的矢量化表达结果，往往需要生成大量不同大小、不同旋转方向的标准模板，以便进行匹配。而待匹配的标准模板的数量增多，也导致模板匹配的时间延长，路面导向箭头的矢量化标注效率降低。


技术实现要素：

5.本说明书实施例提供一种模型训练方法、装置、存储介质及电子设备，用于部分解决现有技术中的问题。
6.本说明书实施例采用下述技术方案：
7.本说明书提供的一种模型训练方法，包括：
8.获取历史上采集的若干目标图像，作为训练样本，并根据各目标图像中目标元素预设的关键点数量以及各关键点的位置信息，对各训练样本进行标注；
9.针对每个训练样本，将该训练样本输入待训练的实例分割模型的第一网络层，确定该训练样本的样本特征图；
10.将该训练样本的样本特征图输入所述待训练的实例分割模型的第二网络层，确定该训练样本中目标元素的预测中心点；
11.将该训练样本的样本特征图输入所述待训练的实例分割模型的第三网络层，确定以所述样本特征图中每个像素点为所述目标元素的中心点时，所述中心点与各关键点之间的相对位置；
12.根据该训练样本中目标元素的预测中心点，以及各像素点与各关键点之间的相对位置，确定该训练样本中目标元素的若干预测关键点；
13.根据各训练样本中目标元素的各预测关键点以及各训练样本的标注，确定损失函数，并以最小化所述损失函数为目标，调整所述待训练的实例分割模型中各网络层的模型
参数；
14.其中，所述实例分割模型用于检测目标图像中目标元素的关键点，并通过连接各关键点，得到所述目标元素的实例分割结果。
15.可选地，所述各训练样本的标注还包括各目标图像中目标元素的元素类型；
16.将该训练样本的样本特征图输入所述待训练的实例分割模型的第二网络层，确定该训练样本中目标元素的预测中心点，具体包括：
17.将该训练样本的样本特征图输入所述待训练的实例分割模型的第二网络层，确定该训练样本中目标元素的预测元素类型以及预测中心点；
18.根据各训练样本中目标元素的各预测关键点以及各训练样本的标注，确定损失函数，具体包括：
19.根据各训练样本中目标元素的各预测关键点、各训练样本中目标元素的预测元素类型以及各训练样本的标注，确定损失函数。
20.可选地，所述方法还包括：
21.根据该训练样本中目标元素的预测元素类型，以及预设的各元素类型与关键点数量的对应关系，确定所述目标元素的关键点数量；
22.根据各训练样本中目标元素的各预测关键点、各训练样本中目标元素的预测元素类型以及各训练样本的标注，确定损失函数，具体包括：
23.针对每个训练样本，根据该训练样本中目标元素的关键点数量，从该训练样本中目标元素的若干预测关键点中，确定所述目标元素的有效关键点；
24.根据各训练样本中目标元素的各有效关键点、各训练样本中目标元素的预测元素类型以及各训练样本的标注，确定损失函数。
25.可选地，根据该训练样本中目标元素的预测中心点，以及各像素点与各关键点之间的相对位置，确定该训练样本中目标元素的若干预测关键点，具体包括：
26.确定所述预测中心点对应在所述样本特征图中的像素点，作为目标像素点；
27.根据所述目标像素点的位置、所述目标像素点与各关键点之间的相对位置，确定该训练样本中目标元素的若干预测关键点。
28.可选地，所述关键点信息还包括关键点数量，所述待训练的实例分割模型还包括第四网络层；
29.所述方法还包括：
30.将该训练样本的样本特征图输入所述待训练的实例分割模型的第四网络层，确定该训练样本中目标元素的预测关键点数量；
31.根据各训练样本中目标元素的各预测关键点以及各训练样本的标注，确定损失函数，具体包括：
32.针对每个训练样本，根据该训练样本中目标元素的预测关键点数量，从该训练样本中目标元素的若干预测关键点中，确定所述目标元素的各有效关键点；
33.根据各训练样本中目标元素的各有效关键点以及各训练样本的标注，确定损失函数。
34.可选地，根据各训练样本中目标元素的各预测关键点以及各训练样本的标注，确定损失函数，具体包括：
35.根据各训练样本中标注的各关键点的位置信息，确定各训练样本的中心点，作为标注中心点；
36.根据各训练样本中目标元素的各预测关键点和各标注的关键点，以及各训练样本中目标元素的预测中心点和标注中心点，确定损失函数。
37.可选地，根据各训练样本中目标元素的各预测关键点以及各训练样本的标注，确定损失函数，具体包括：
38.针对每个训练样本，根据该训练样本标注的各关键点的位置信息，确定标注的各关键点连接的标准掩膜；
39.根据该训练样本中目标元素的若干预测关键点，确定各预测关键点连接的预测掩膜；
40.根据各训练样本中目标元素的各预测关键点和各训练样本的标注、各训练样本中目标元素的标准掩膜与预测掩膜的交并比，确定损失函数。
41.可选地，根据各目标图像中目标元素预设的关键点数量以及各关键点的位置信息，对各训练样本进行标注；
42.根据各目标图像中目标元素预设的关键点数量、关键点连接顺序以及各关键点的位置信息，对各训练样本进行标注。
43.可选地，将该训练样本的样本特征图输入所述待训练的实例分割模型的第二网络层，确定该训练样本中目标元素的预测中心点，具体包括：
44.将该训练样本的样本特征图输入所述待训练的实例分割模型的第二网络层，确定以所述样本特征图中各像素点为中心点的概率；
45.筛选概率大于预设阈值的若干像素点，作为预测中心点。
46.可选地，根据该训练样本中目标元素的预测中心点，以及各像素点与各关键点之间的相对位置，确定该训练样本中目标元素的若干预测关键点，具体包括：
47.针对每个预测中心点，确定该预测中心点对应在所述样本特征图中的像素点；
48.根据该预测中心点对应在所述样本特征图中的像素点，以及各像素点与各关键点之间的相对位置，确定该预测中心点对应的若干预测关键点；
49.将该预测中心点对应的若干预测关键点进行顺序连接，确定该预测中心点对应的检测框；
50.从各预测中心点对应的检测框中，确定目标检测框，并将连接所述目标检测框的各预测关键点，作为该训练样本中目标元素的若干预测关键点。
51.可选地，当所述实例分割模型训练完成后，所述方法还包括：
52.获取待构建区域的若干道路图像；
53.针对获取到的每个道路图像，将该道路图像输入预先训练的实例分割模型的第一网络层，确定该道路图像的特征图；
54.将该道路图像的特征图输入预先训练的实例分割模型的第二网络层，确定该道路图像中道路元素的中心点；
55.将该道路图像的特征图输入预先训练的实例分割模型的第三网络层，确定以所述特征图中每个像素点为所述道路元素的中心点时，所述中心点与各关键点之间的相对位置；
56.根据该道路图像中道路元素的中心点，以及各像素点与各关键点之间的相对位置，确定该道路图像中道路元素的若干关键点；
57.对所述道路元素的各关键点进行顺序连接，确定所述道路元素的实例分割结果，并将所述实例分割结果作为所述道路元素的矢量化结果，进行地图构建。
58.本说明书提供一种模型训练装置，包括：
59.样本标注模块，配置为获取历史上采集的若干目标图像，作为训练样本，并根据各目标图像中目标元素预设的关键点数量以及各关键点的位置信息，对各训练样本进行标注；
60.特征提取模块，配置为针对每个训练样本，将该训练样本输入待训练的实例分割模型的第一网络层，确定该训练样本的样本特征图；
61.中心点预测模块，配置为将该训练样本的样本特征图输入所述待训练的实例分割模型的第二网络层，确定该训练样本中目标元素的预测中心点；
62.偏差预测模块，配置为将该训练样本的样本特征图输入所述待训练的实例分割模型的第三网络层，确定以所述样本特征图中每个像素点为所述目标元素的中心点时，所述中心点与各关键点之间的相对位置；
63.关键点预测模块，配置为根据该训练样本中目标元素的预测中心点，以及各像素点与各关键点之间的相对位置，确定该训练样本中目标元素的若干预测关键点；
64.训练模块，配置为根据各训练样本中目标元素的各预测关键点以及各训练样本的标注，确定损失函数，并以最小化所述损失函数为目标，调整所述待训练的实例分割模型中各网络层的模型参数，其中，所述实例分割模型用于检测目标图像中目标元素的关键点，并通过连接各关键点，得到所述目标元素的实例分割结果。
65.本说明书提供的一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述模型训练方法。
66.本说明书提供的一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述模型训练方法。
67.本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：
68.在本说明书中，将历史采集的目标图像作为训练样本，并基于各目标图像中目标元素预设的关键点数量以及各关键点的位置信息对训练样本进行标注。之后，通过待训练的实例分割模型的第一网络层对各训练样本进行特征提取，确定各训练样本的样本特征图。并分别将各训练样本的样本特征图输入第二网络层，得到各训练样本中目标元素的预测中心点，以及输入第三网络层，得到以各像素点为中心点时，各像素点与各关键点之间的相对位置。最后，根据预测中心点以及各像素点与各关键点之间的相对位置，确定各训练样本中目标元素的若干预测关键点。并以最小化训练样本的各预测关键点与标注之间的差异为目标，对该实例分割模型中的模型参数进行调整。通过训练实例分割模型对目标图像中目标元素进行关键点预测，使目标元素的矢量化提取更准确，提高了目标元素的矢量化提取效率。
69.并且，通过先定位各目标元素的预测中心点，进而定位各目标元素的关键点的方式，减小了关键点预测的误差，使得关键点的位置定位更加准确。
附图说明
70.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
71.图1为本说明书实施例提供的一种模型训练方法的流程示意图；
72.图2为本说明书实施例提供的不同类型路面导向箭头的关键点的示意图；
73.图3为本说明书实施例提供的一种实例分割模型的网络结构示意图；
74.图4为本说明书实施例提供的一种实例分割模型的网络结构示意图；
75.图5为本说明书实施例提供的一种模型训练装置的结构示意图；
76.图6为本说明书实施例提供的实现模型训练方法方法的电子设备示意图。
具体实施方式
77.为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本技术技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
78.本说明书提供一种模型训练方法，以下结合附图，详细说明本技术各实施例提供的技术方案。
79.图1为本说明书实施例提供的一种模型训练方法的流程示意图，具体可包括以下步骤：
80.s100：获取历史上采集的若干目标图像，作为训练样本，并根据各目标图像中目标元素预设的关键点数量以及各关键点的位置信息，对各训练样本进行标注。
81.本说明书所述的模型训练方法，用于训练实例分割模型，该实例分割模型可从目标图像中对目标元素进行矢量化提取。其中，该目标元素可以是规则化元素，如道路元素(路面导向箭头、车道线、交通指示牌)、商标标识等，则对应的目标图像为道路图像、文本图像。
82.为方便描述，在本说明书中后续以从道路图像中提取路面导向箭头为例进行说明。
83.具体的，在进行模型训练时，可先获取历史上采集的大量包含路面导向箭头的道路图像，作为训练样本。之后，针对每个训练样本，根据该训练样本中路面导向箭头预设的关键点数量以及各关键点的位置信息，对该训练样本进行标注。其中，路面导向箭头的关键点指的是路面导向箭头外轮廓上的若干位置点，通过连接各关键点可形成路面导向箭头的矢量化表达。
84.进一步的，在基于关键点信息对训练样本进行标注时，可对各道路图像中的路面导向箭头，从相同位置点开始，按照顺时针或逆时针的顺序，依次进行标注，以使该实例分割模型能够学习到路面导向箭头的结构化信息，当后续输入的道路图像中的路面导向箭头存在缺损时，可通过该实例分割模型进行补全。因此，在训练样本中的路面导向箭头存在缺损时，还需进行人为的补全，并对补全后的路面导向箭头进行关键点标注。
85.并且，由于不同类型的路面导向箭头的外轮廓不同，因此不同类型的路面导向箭头对应的关键点数量也不同，如图2所示，直行箭头有7个关键点，以左上顶点为起点，按照
顺时针顺序依次为a1～a7。掉头箭头有17个关键点，以左上顶点为起点，按照顺时针顺序依次为b1～b17。直行加左转箭头有14个关键点，以左上顶点为起点，按照顺时针顺序依次为c1～c14。
86.另外，由于通过实例分割模型预测的关键点数量是固定的，于是在对不同类型的路面导向箭头进行标注时，可按照最大的关键点数量进行标注。例如，对于上述的直行箭头、掉头箭头以及直行加左转箭头，最大的关键点数量为17个，可将直行箭头与直行加左转箭头都标注为17个。其中，直行箭头的a8～a17可标注与直行箭头的最后一个关键点a7重合，直行加左转箭头的c15～c17可标注与自身的最后一个关键点c14重合。
87.当然，路面导向箭头还包含向左/向右合流箭头、左/右转箭头、左/右转加掉头等不同类型，关键点数量可根据箭头类型的需要设置，本说明书在此不再一一列举。
88.更进一步的，为了保障模型的训练效果，使模型学习到准确的路面导向箭头的特征，在筛选训练样本时，还需删除路面导向箭头磨损严重的道路图像。以及保障各种路面导向箭头的训练样本的数量均衡，避免对训练样本数量较少的路面导向箭头的类型学习效果不佳。
89.需要说明的是，该模型训练方法的执行主体可以是执行模型训练任务的服务器，该服务器可以是单个服务器，也可以是多个服务器组成的系统，如分布式服务器系统等，也可以是物理服务器设备，也可以是云服务器，本说明书对此不做限制，可根据需要设置。
90.s102：针对每个训练样本，将该训练样本输入待训练的实例分割模型的第一网络层，确定该训练样本的样本特征图。
91.在获取到模型训练所需的训练样本后，可分别对训练样本的各道路图像进行特征提取，以基于提取到的特征图对道路图像中的路面导向箭头进行关键点的预测。
92.具体的，针对每个训练样本，将该训练样本输入待训练的实例分割模型的第一网络层，确定该训练样本的样本特征图，即道路图像中路面导向箭头的特征。其中，该第一网络层包含主干网络backbone和连接网络neck，backbone网络可以采用卷积神经网络(convolutional neural networks，cnn)，如，残差网络(residual networks-50，resnet50)、darknet53(yolo网络的主干网络)等，用于进行特征提取，得到特征图(feature map)。neck网络可对提取到的特征图进一步处理，如，当neck网络采用特征金字塔网络(feature pyramid networks，fpn)时，可将提取到的特征图的深层特征与浅层特征进行融合，并将融合后的多尺度特征，作为训练样本的样本特征图。
93.s104：将该训练样本的样本特征图输入所述待训练的实例分割模型的第二网络层，确定该训练样本中目标元素的预测中心点。
94.s106：将该训练样本的样本特征图输入所述待训练的实例分割模型的第三网络层，确定以所述样本特征图中每个像素点为所述目标元素的中心点时，所述中心点与各关键点之间的相对位置。
95.在提取到该训练样本的样本特征图后，便可基于该样本特征图，预测该道路图像中路面导向箭头元素的关键点。但由于从道路图像中直接预测路面导向箭头的关键点的位置往往偏差较大，于是可先定位路面导向箭头的位置，即路面导向箭头的中心点，进而基于各关键点与中心点的相对位置关系，定位环绕该中心点的若干关键点。
96.其中，该道路图像中可以存在单个道路元素，也可同时存在多种道路元素，为方便
描述，后续以道路图像中存在单个路面导向箭头为例进行说明。
97.具体的，该服务器可将该训练样本的样本特征图输入该待训练的实例分割模型的第二网络层中，确定该训练样本中路面导向箭头的中心点位置的概率图，其中，该概率图中每个像素点的信息表征以该像素点为中心点的概率。之后，基于该路面导向箭头的中心点位置的概率图，确定该路面导向箭头的预测中心点。
98.在本说明书一种实施方式中，可从该路面导向箭头的中心点位置的概率图中，确定为中心点的概率最高的像素点，作为该路面导向箭头的预测中心点。其中，该概率图可以采用热力图(heat map)的方式表示。
99.并且，该服务器可将该训练样本的样本特征图输入该待训练的实例分割模型的第三网络层中，确定以该样本特征图中每个像素点为路面导向箭头的中心点时，该中心点与路面导向箭头的各关键点之间的相对位置。
100.需要说明的是，在该实例分割模型中该第二网络层与第三网络层为并列结构。因此步骤s104与步骤s106可以并行执行，没有先后顺序的限制，可提高模型训练效率。
101.s108：根据该训练样本中目标元素的预测中心点，以及各像素点与各关键点之间的相对位置，确定该训练样本中目标元素的若干预测关键点。
102.当通过第二网络层从样本特征图的各像素点中预测出路面导向箭头的中心点，并通过第三网络层预测出样本特征图的各像素点与各关键点之间的相对位置后，便可基于两个网络层的输出结果，确定路面导向箭头的预测关键点。
103.具体的，该服务器可确定该预测中心点对应在该样本特征图中的像素点，作为目标像素点，并从第三网络层输出的各像素点与各关键点之间的相对位置中，确定该目标像素点与各关键点的相对位置。之后，根据该目标像素点的位置，该目标像素点与各关键点之间的相对位置，确定以该目标像素点为中心点的各关键点的位置，并将以该目标像素点为中心点的各关键点，作为该路面导向箭头的若干预测关键点。
104.s110：根据各训练样本中目标元素的各预测关键点以及各训练样本的标注，确定损失函数，并以最小化所述损失函数为目标，调整所述待训练的实例分割模型中各网络层的模型参数。
105.在得到待训练的实例分割模型对路面导向箭头的预测关键点后，该服务器便可基于各训练样本中路面导向箭头的预测关键点的位置坐标，以及各训练样本中路面导向箭头的若干标注的关键点的位置坐标，确定损失函数。并以最小化该损失函数为目标，即，最小化实例分割模型输出的预测关键点与标注的关键点的偏差，调整该待训练的实例分割模型中各网络层的模型参数。
106.进一步的，在确定损失函数时，还可基于各训练样本中路面导向箭头标注的各关键点的位置信息，从中确定该路面导向箭头的最左侧的关键点、最右侧的关键点、最上侧的关键点、最下侧的关键点，并根据四个方位的关键点的位置坐标，确定该路面导向箭头的中心点，作为标注中心点。之后，根据各训练样本中路面导向箭头的预测中心点和标注中心点、路面导向箭头的各预测关键点和各标注的关键点，确定损失函数。以最小化路面导向箭头的预测中心点与标注中心点之间的偏差，以及各预测关键点与各标注的关键点之间的偏差为目标，对待训练的实例分割模型中的模型参数进行调整。
107.在本说明书中，通过上述方法训练出的实例分割模型，可用于检测道路图像中道
路元素的关键点，并通过连接各关键点，得到道路元素的实例分割结果，将实例分割结果作为道路元素的矢量化结果，进行高精地图的构建。
108.图3为本说明书实施例提供的一种实例分割模型的网络架构示意图，可先将训练样本输入该实例分割模型的第一网络层，得到该训练样本的样本特征图。之后，分别将该训练样本的样本特征图输入第二网络层以及第三网络层，通过该第二网络层输出该训练样本中道路元素的预测中心点，通过该第三网络层输出以各像素点为中心点时，该中心点与各关键点之间的相对位置。最后，基于第二网络层与第三网络层的输出结果，确定训练样本中道路元素的各预测关键点。
109.基于图1所示的模型训练方法，将历史采集的目标图像作为训练样本，并基于各目标图像中目标元素预设的关键点数量以及各关键点的位置信息对训练样本进行标注。之后，通过待训练的实例分割模型的第一网络层对各训练样本进行特征提取，确定各训练样本的样本特征图。并分别将各训练样本的样本特征图输入第二网络层，得到各训练样本中目标元素的预测中心点，以及输入第三网络层，得到以各像素点为中心点时，各像素点与各关键点之间的相对位置。最后，根据预测中心点以及各像素点与各关键点之间的相对位置，确定各训练样本中目标元素的若干预测关键点。并以最小化训练样本的各预测关键点与标注之间的差异为目标，对该实例分割模型中的模型参数进行调整。通过训练实例分割模型对目标图像中目标元素进行关键点预测，使目标元素的矢量化提取更准确，提高了目标元素的矢量化提取效率。
110.并且，通过先定位各目标元素的预测中心点，进而定位各目标元素的关键点的方式，减小了关键点预测的误差，使得关键点的位置定位更加准确。
111.在本说明书一种实施例中，在将该训练样本的样本特征图输入该待训练的实例分割模型的第二网络层中后，可通过该第二网络层输出的对道路图像中路面导向箭头的预测元素类型以及预测中心点。
112.于是，在对训练样本进行标注时，还需标注各道路图像中路面导向箭头的元素类型，如，直行箭头、掉头箭头等。并且，在确定损失函数时，可根据各训练样本中路面导向箭头的各预测关键点、各训练样本中路面导向箭头的预测元素类型以及各训练样本标注的关键点以及标注的元素类型，确定损失函数，以最小化各训练样本中路面导向箭头的预测元素类型与标注的元素类型、各预测关键点与各标注的关键点之间的偏差为目标，对模型参数进行调整。
113.进一步的，由于不同类型的路面导向箭头的关键点数量不同，于是在通过第二网络层确定出路面导向箭头的预测元素类型后，还可基于该路面导向箭头的预测元素类型，以及预设的各元素类型与关键点数量的对应关系，确定该路面导向箭头的关键点数量。并且，在确定损失函数时，可针对每个训练样本，根据该训练样本中路面导向箭头的关键点数量，从该训练样本中路面导向箭头的若干预测关键点中，确定该路面导向箭头的有效关键点。并根据各训练样本中路面导向箭头的各有效关键点、各训练样本中路面导向箭头的预测元素类型以及各训练样本的标注，确定损失函数，以最小化各训练样本中路面导向箭头的预测元素类型与标注的元素类型、各有效关键点与各实际关键点之间的偏差为目标，对模型参数进行调整。
114.其中，由于训练样本在进行关键点标注时是按顺序标注，因此确定出的关键点也
是按照顺序的，可基于各预测关键点的顺序，从中确定该关键点数量的预测关键点，作为有效关键点。
115.在本说明书另一种实施例中，同一类型的道路元素也可能由于形状不同，而对应不同数量的关键点，如，交通指示灯。于是为了提高道路元素的关键点数量的鲁棒性以及通用性，还可单独对各训练样本中道路元素的关键点数量进行预测。
116.具体的，在该待训练的实例分割模型中还设置有第四网络层，该第四网络层与第二网络层和第三网络层为并列结构。该服务器可针对每个训练样本，将该训练样本的样本特征图输入第四网络层，确定该训练样本中道路元素的预测关键点数量。
117.于是，在确定损失函数时，可针对每个训练样本，根据该训练样本中道路元素的关键点数量，从该训练样本中道路元素的若干预测关键点中，确定该道路元素的有效关键点。并根据各训练样本中道路元素的各有效关键点以及各训练样本的标注，确定损失函数，以最小化各训练样本中道路元素的各有效关键点与各标注的关键点之间的偏差为目标，对模型参数进行调整。
118.图4为本说明书实施例提供的一种实例分割模型的网络架构示意图，可先将训练样本输入该实例分割模型的第一网络层，得到该训练样本的样本特征图。之后，分别将该训练样本的样本特征图输入第二网络层、第三网络层以及第四网络层，通过该第二网络层输出该训练样本中道路元素的预测中心点以及预测元素类型，通过该第三网络层输出以各像素点为中心点时，该中心点与各关键点之间的相对位置，通过该第四网络层输出道路元素的预测关键点数量。最后，基于第二网络层与第三网络层的输出结果，确定训练样本中道路元素的各预测关键点，并根据道路元素的预测关键点数量，从各预测关键点中确定有效关键点以进行连接。
119.在本说明书一种实施例中，当道路图像中同时包含多种道路元素时，则可通过第二网络层分别确定出该道路图像中各道路元素的预测元素类型，以及各道路元素的预测中心点。并通过该第三网络层预测以各像素点为中心点时，道路图像中各道路元素的关键点与该中心点之间的相对位置。之后，根据第二网络层预测的各道路元素的预测中心点，以及第三网络层输出的各像素点与各道路元素的关键点之间的相对位置，确定各道路元素的若干预测关键点。并且，还可通过第四网络层分别预测该道路图像中各道路元素的关键点数量。
120.在本说明书一种实施例中，在确定损失函数时，还可针对每个训练样本，根据该训练样本中路面导向箭头标注的各关键点的位置信息，确定标注的各关键点连接的标准掩膜(mask)。以及根据该训练样本中路面导向箭头的若干预测关键点，确定各预测关键点连接的预测mask。之后，根据各标注关键点连接的标准mask以及各预测关键点连接的预测mask，确定两者的交并比(intersection over union，iou)。最后，根据各训练样本中路面导向箭头的各预测关键点和各训练样本的标注、各训练样本中路面导向箭头的标准mask与预测mask的iou，确定损失函数。以最小化各训练样本中路面导向箭头的各预测关键点与标注的各关键点之间的偏差，以及使各训练样本中路面导向箭头的标准mask与预测mask的iou最接近于1为目标，对模型参数进行调整。
121.为了提高模型输出结果的准确度，在本说明书步骤s104中，在将该训练样本的样本特征图输入待训练的实例分割模型的第二网络层，确定出该训练样本中路面导向箭头的
中心点位置的概率图后，可基于该概率图中以各像素点为中心点的概率，从各像素点中筛选概率大于预设阈值的若干像素点，作为预测中心点。也即，预测中心点的数量为多个。其中，预设阈值可根据需要进行设置，本说明书对此不做限制。
122.之后，在步骤s108中，针对每个预测中心点，可确定该预测中心点对应在该样本特征图中的像素点。并根据该预测中心点对应在该样本特征图的像素点，以及各像素点与各关键点之间的相对位置，确定该预测中心点对应的若干预测关键点。之后，将该预测中心点对应的若干预测关键点进行顺序连接，确定该预测中心点对应的检测框。最后，采用非极大值抑制(non-maximum suppression，nms)的方法，从各预测中心点对应的检测框中，确定出目标检测框，并将连接该目标检测框的各预测关键点，作为该训练样本中路面导向箭头的若干预测关键点。
123.进一步的，由于不同类型的路面导向箭头的关键点数量不同，于是在对关键点进行顺序连接时，可先基于该训练样本的关键点数量，从该预测中心点对应的若干预测关键点中，确定出该预测中心点对应的各有效关键点。之后对该预测中心点对应的各有效关键点进行顺序连接。其中，确定关键点数量的方法可采用上述的元素类型匹配的方法，也可通过该实例分割模型的第四网络层直接预测得到，本说明书对此不做限制，可根据需要设置。
124.更进一步的，通过各有效关键点连接的目标检测框，即为路面导向箭头的实例分割结果。于是该实例分割模型还可直接输出各有效关键点连接的路面导向箭头的实例分割结果。
125.在本说明书中采用上述模型训练方法训练出实例分割模型后，可利用训练完成的实例分割模型，从各道路图像中检测出道路元素的关键点，并通过连接各关键点得到各道路元素的矢量化表达，进而构建高精地图。
126.具体的，在进行地图构建时，可先获取待构建地图区域的大量道路图像，针对每个道路图像，可将该道路图像输入预先训练的实例分割模型的第一网络层，得到该第一网络层输出的该道路图像的特征图。
127.之后，将该道路图像的特征图分别输入该实例分割模型的第二网络层以及第三网络层，通过该第二网络层确定该道路图像中道路元素的中心点，以及通过该第三网络层确定以该特征图中每个像素点为中心点时，该中心点与各关键点之间的相对位置。其中，该第二网络层以及第三网络层为实例分割模型中的并列结构。
128.然后，服务器可确定该道路元素的中心点对应在该特征图中的像素点，作为目标像素点，并从第三网络层输出的各像素点与各关键点之间的相对位置中，确定该目标像素点与各关键点的相对位置。根据该目标像素点的位置，该目标像素点与各关键点之间的相对位置，确定以该目标像素点为中心点的各关键点的位置，并将以该目标像素点为中心点的各关键点，作为该道路元素的若干关键点。
129.最后，由于在进行模型训练时是对关键点按顺序标注的，因此通过该实例分割模型输出的各关键点也具有相同的顺序。于是可对该道路元素的各关键点进行顺序连接，得到该道路元素的实例分割结果，并将实例分割结果作为该道路元素的矢量化结果，制作高精地图。
130.并且，由于本说明书中的实例分割模型在训练时对训练样本进行了补全，因此该实例分割模型具有对道路元素进行补全的能力，若道路图像中的道路元素缺损，在对该道
路元素的关键点进行预测时，可预测补全后的该道路元素的各关键点。
131.而通过现有技术中模板匹配的方法对道路元素进行矢量化提取，若道路图像中的道路元素缺损，则直接导致该道路图像中的路面导向箭头的中心点计算出错，进而在将该路面导向箭头的中心点与模板的中心点对齐进行匹配时，导致匹配的准确度较低。
132.另外，现有技术中路面导向箭头的标准模板，都是基于国家标准进行缩放得到的，而实际道路绘制时，道路元素的各连线之间的角度与国标并不完全一致，导致匹配效果较差。
133.在本说明书中将该道路图像的特征图输入预先训练的实例分割模型的第二网络层后，可通过该第二网络层确定该道路图像中道路元素的元素类型以及中心点，以根据各道路图像中道路元素的元素类型，进行地图构建。
134.进一步的，由于不同类型的道路元素的关键点数量存在差异，因此在确定出该道路图像中道路元素的元素类型后，可根据该道路元素的元素类型以及预设的各元素类型与关键点数量的对应关系，确定该道路元素的关键点数量。之后，根据该道路元素对应的关键点数量，从该道路元素的各关键点中，确定该道路元素的有效关键点。最后，对该道路元素的各有效关键点进行顺序连接。
135.在本说明书一种实施例中，还可通过将该道路图像的特征图输入预先训练的实例分割模型的第四网络层，确定该道路图像中道路元素的关键点数量。之后，根据该道路元素对应的关键点数量，从该道路元素的各关键点中，确定该道路元素的有效关键点。最后，对该道路元素的各有效关键点进行顺序连接。
136.另外，在本说明书其它实施例中，采用上述模型训练方法训练的实例分割模型也可用于进行文本修复。以修复文本中的商标为例，商标可由若干规则化图形组成，如圆形、三角形等。
137.于是在确定模型的训练样本时，可获取大量包含商标的文本图像，即为目标图像，待修复的目标元素为文本中商标。
138.在训练实例分割模型时，可将大量包含商标的文本图像作为训练样本，并根据文本图像中商标图形的各端点和转折点，对文本图像进行关键点标注，通过连接各关键点可形成商标。其中，在进行关键点标注时，还可从相同位置点开始，按照顺时针或逆时针的顺序，依次进行标注。
139.并且，由于不同商标的形状大小不一，可按照各商标中最多的关键点数量进行标注。其中，关键点数量不足的各商品可以末位补0。
140.之后，针对每个训练样本，将该训练样本输入待训练的实例分割模型的第一网络层，确定该训练样本的样本特征图。并分别将该训练样本的样本特征图输入第二网络层以及第三网络层中，分别得到该训练样本中商标的预测中心点，以及以样本特征图中各像素点为中心点时，各像素点与各关键点之间的相对位置。
141.最后，根据预测中心点在样本特征图中的位置，确定该预测中心点与各关键点之间的相对位置，并根据预测中心点及其与各关键点之间的相对位置，确定各训练样本中商标的预测关键点。以最小化各训练样本中商标的预测关键点与标注之间的差异为目标，调整模型参数。
142.在上述模型训练完成后，便可采用训练完成的实例分割模型用于文本修复，通过
将待修复的文本图像输入至训练完成的实例分割模型中，可得到文本图像中的商标的若干关键点，按照输出顺序依次连接各关键点，便可复原文本中的商标。
143.基于图1所示的一种模型训练方法，本说明书实施例还对应提供一种模型训练装置的结构示意图，如图5所示。
144.图5为本说明书实施例提供的一种模型训练装置的结构示意图，包括：
145.样本标注模块300，配置为获取历史上采集的若干目标图像，作为训练样本，并根据各目标图像中目标元素预设的关键点数量以及各关键点的位置信息，对各训练样本进行标注；
146.特征提取模块302，配置为针对每个训练样本，将该训练样本输入待训练的实例分割模型的第一网络层，确定该训练样本的样本特征图；
147.中心点预测模块304，配置为将该训练样本的样本特征图输入所述待训练的实例分割模型的第二网络层，确定该训练样本中目标元素的预测中心点；
148.偏差预测模块306，配置为将该训练样本的样本特征图输入所述待训练的实例分割模型的第三网络层，确定以所述样本特征图中每个像素点为所述目标元素的中心点时，所述中心点与各关键点之间的相对位置；
149.关键点预测模块308，配置为根据该训练样本中目标元素的预测中心点，以及各像素点与各关键点之间的相对位置，确定该训练样本中目标元素的若干预测关键点；
150.训练模块310，配置为根据各训练样本中目标元素的各预测关键点以及各训练样本的标注，确定损失函数，并以最小化所述损失函数为目标，调整所述待训练的实例分割模型中各网络层的模型参数，其中，所述实例分割模型用于检测目标图像中目标元素的关键点，并通过连接各关键点，得到所述目标元素的实例分割结果。
151.可选地，所述各训练样本的标注还包括各目标图像中目标元素的元素类型，所述中心点预测模块304具体用于，将该训练样本的样本特征图输入所述待训练的实例分割模型的第二网络层，确定该训练样本中目标元素的预测元素类型以及预测中心点，所述训练模块310具体用于，根据各训练样本中目标元素的各预测关键点、各训练样本中目标元素的预测元素类型以及各训练样本的标注，确定损失函数。
152.可选地，所述中心点预测模块304还用于，根据该训练样本中目标元素的预测元素类型，以及预设的各元素类型与关键点数量的对应关系，确定所述目标元素的关键点数量，所述训练模块310具体用于，针对每个训练样本，根据该训练样本中目标元素的关键点数量，从该训练样本中目标元素的若干预测关键点中，确定所述目标元素的有效关键点，根据各训练样本中目标元素的各有效关键点、各训练样本中目标元素的预测元素类型以及各训练样本的标注，确定损失函数。
153.可选地，所述关键点预测模块308具体用于，确定所述预测中心点对应在所述样本特征图中的像素点，作为目标像素点，根据所述目标像素点的位置、所述目标像素点与各关键点之间的相对位置，确定该训练样本中目标元素的若干预测关键点。
154.可选地，所述关键点信息还包括关键点数量，所述待训练的实例分割模型还包括第四网络层，所述模型训练装置还包括点数预测模块312，所述点数预测模块312具体用于，将该训练样本的样本特征图输入所述待训练的实例分割模型的第四网络层，确定该训练样本中目标元素的预测关键点数量，所述训练模块310具体用于，针对每个训练样本，根据该
训练样本中目标元素的预测关键点数量，从该训练样本中目标元素的若干预测关键点中，确定所述目标元素的各有效关键点，根据各训练样本中目标元素的各有效关键点以及各训练样本的标注，确定损失函数。
155.可选地，所述训练模块310具体用于，根据各训练样本中标注的各关键点的位置信息，确定各训练样本的中心点，作为标注中心点。根据各训练样本中目标元素的各预测关键点和各标注的关键点，以及各训练样本中目标元素的预测中心点和标注中心点，确定损失函数。
156.可选地，所述训练模块310具体用于，针对每个训练样本，根据该训练样本标注的各关键点的位置信息，确定标注的各关键点连接的标准掩膜，根据该训练样本中目标元素的若干预测关键点，确定各预测关键点连接的预测掩膜，根据各训练样本中目标元素的各预测关键点和各训练样本的标注、各训练样本中目标元素的标准掩膜与预测掩膜的交并比，确定损失函数。
157.可选地，所述样本标注模块300具体用于，根据各目标图像中目标元素预设的关键点数量、关键点连接顺序以及各关键点的位置信息，对各训练样本进行标注。
158.可选地，所述中心点预测模块304具体用于，将该训练样本的样本特征图输入所述待训练的实例分割模型的第二网络层，确定以所述样本特征图中各像素点为中心点的概率，筛选概率大于预设阈值的若干像素点，作为预测中心点。
159.可选地，所述关键点预测模块308具体用于，针对每个预测中心点，确定该预测中心点对应在所述样本特征图中的像素点，根据该预测中心点对应在所述样本特征图中的像素点，以及各像素点与各关键点之间的相对位置，确定该预测中心点对应的若干预测关键点，将该预测中心点对应的若干预测关键点进行顺序连接，确定该预测中心点对应的检测框，从各预测中心点对应的检测框中，确定目标检测框，并将连接所述目标检测框的各预测关键点，作为该训练样本中目标元素的若干预测关键点。
160.可选地，所述模型训练装置还包括模型应用模块314，所述模型应用模块314具体用于，获取待构建区域的若干道路图像，针对获取到的每个道路图像，将该道路图像输入预先训练的实例分割模型的第一网络层，确定该道路图像的特征图，将该道路图像的特征图输入预先训练的实例分割模型的第二网络层，确定该道路图像中道路元素的中心点，将该道路图像的特征图输入预先训练的实例分割模型的第三网络层，确定以所述特征图中每个像素点为所述道路元素的中心点时，所述中心点与各关键点之间的相对位置，根据该道路图像中道路元素的中心点，以及各像素点与各关键点之间的相对位置，确定该道路图像中道路元素的若干关键点，对所述道路元素的各关键点进行顺序连接，确定所述道路元素的实例分割结果，并将所述实例分割结果作为所述道路元素的矢量化结果，进行地图构建。
161.本说明书实施例还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述图1提供的模型训练方法。
162.根据图1所示的一种模型训练方法，本说明书实施例还提出了图6所示的电子设备的示意结构图。如图6，在硬件层面，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述图1所示的模型训练方法。
163.当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑
或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
164.在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(programmable logic device,pld)(例如现场可编程门阵列(field programmable gate array，fpga))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片pld上，而不需要请芯片制造厂商来设计和生成专用的集成电路芯片。而且，如今，取代手工地生成集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(hardware description language，hdl)，而hdl也并非仅有一种，而是有许多种，如abel(advanced boolean expression language)、ahdl(altera hardware description language)、confluence、cupl(cornell university programming language)、hdcal、jhdl(java hardware description language)、lava、lola、myhdl、palasm、rhdl(ruby hardware description language)等，目前最普遍使用的是vhdl(very-high-speed integrated circuit hardware description language)与verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
165.控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(application specific integrated circuit，asic)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：arc 625d、atmel at91sam、microchip pic18f26k20以及silicone labs c8051f320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
166.上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
167.为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
168.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
169.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
170.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
171.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
172.在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
173.内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
174.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
175.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
176.本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施
例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
177.本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
178.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
179.以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。