流程图转换方法、装置、设备和存储介质与流程

1.本发明属于目标检测与工业自动化控制的技术领域，尤其涉及一种流程图转换方法、装置、设备和存储介质。


背景技术：

2.工业决定着一个国民经济现代化的速度、规模和水平，在当代世界各国国民经济中起着主导作用。工业还是国家财政收入的主要源泉，是国家经济自主、政治独立、国防现代化的根本保证。而工业控制系统充当工业大脑的角色，起着举足轻重的作用。在工业自动化领域的dcs控制系统中，因业务的扩大或者控制系统的寿命等原因，会一直有新项目或者更新改造项目的出现。在更新改造项目中，因为控制系统的更改或者应用最新版本的控制系统。其中占用工程人员很多时间的是流程图的绘制工作，既按照之前控制系统的流程图，通过新的控制系统的流程图软件，通过人工绘制成新的控制系统的流程界面。这部分工作具有机械性、重复性、会占用工程人员较多的时间，因此，急需一种自动生成流程图的方法来优化改良这一部分工作，提高工作效率。


技术实现要素：

3.本发明的目的是提供一种流程图转换方法、装置、设备和存储介质，通过目标检测算法，自动提取旧流程图中的目标分类及坐标信息，导入接口，自动生成需要的新的流程图，大大减少人工绘制流程图的工作，提高工作效率。
4.为解决上述问题，本发明的技术方案为：
5.一种流程图转换方法，包括：
6.步骤s1：获取流程图的历史图像，对历史图像进行目标标注，建立图像数据集；所述目标至少包括阀门、泵的工业设备；
7.步骤s2：创建yolov3模型，将所述步骤s1中的图像数据集输入改进的yolov3模型中进行训练，得到目标提取模型；
8.步骤s3：将待转换的流程图图像输入所述目标提取模型中，输出所述待转换的流程图中的目标分类及坐标信息；
9.步骤s4：将所述目标提取模型的输出信息导入dcs流程图软件接口，自动生成目标流程图。
10.根据本发明一实施例，所述步骤s1进一步包括：
11.采用labeling工具对历史图像进行目标标注；
12.将目标标注后的历史图像按voc数据集的格式进行存储。
13.根据本发明一实施例，所述将目标标注后的历史图像按voc数据集的格式进行存储进一步包括：
14.创建voc数据集，将未标注的历史图像保存于jpegimages文件夹中；
15.将标注后的历史图像保存于annotations文件夹中；jpegimages文件夹中的历史
图像的名称与annotations文件夹中的xml文件的名称一一对应；
16.在voc数据集的imagesets\main文件夹中建立四个txt文件，分别为test.txt、train.txt、val.txt及trainval.txt，依次作为模型测试集、模型训练集、模型验证集及模型训练 验证集；按预设的比例分别为四个txt文件分配图像数据。
17.根据本发明一实施例，所述步骤s2进一步包括：
18.所述yolov3模型包括backbone、neck及head，所述backbone采用cspdarknet53网络，在cspdarknet53网络的卷积核中加入空洞，扩大感受野；通过设置参数dilation rate的值，实现多尺度信息的获取。
19.根据本发明一实施例，所述步骤s2进一步包括：
20.在所述cspdarknet53网络的最后一层加入inception网络，增加yolov3模型的网络宽度和深度。
21.根据本发明一实施例，所述步骤s2进一步包括：
22.将图像数据集按60％，30％及10％的比例，依次分为模型训练集，模型验证集及模型测试集；
23.将模型训练集、模型验证集及模型测试集输入所述改进的yolov3模型中进行训练，得到所述目标提取模型。
24.一种流程图转换装置，包括：
25.数据集创建模块，用于获取流程图的历史图像，对历史图像进行目标标注，建立图像数据集；所述目标至少包括阀门、泵的工业设备；
26.模型创建模块，用于创建yolov3模型，将所述步骤s1中的图像数据集输入改进的yolov3模型中进行训练，得到目标提取模型；
27.目标提取模块，用于将待转换的流程图图像输入所述目标提取模型中，输出所述待转换的流程图中的目标分类及坐标信息；
28.流程图生成模块，用于将所述目标提取模型的输出信息导入dcs流程图软件接口，自动生成目标流程图。
29.根据本发明一实施例，所述数据集创建模块包括图像获取单元及图像标注单元；
30.所述图像获取单元用于获取抽烟行为的历史图像，将未标注的历史图像保存于jpegimages文件夹中；
31.所述图像标注单元用于采用labeling工具对历史图像进行目标标注，将标注后的历史图像保存于annotations文件夹中；jpegimages文件夹中的历史图像的名称与annotations文件夹中的xml文件的名称一一对应。
32.一种流程图转换设备，包括：
33.存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；
34.所述至少一个处理器调用所述存储器中的所述指令，以使得所述流程图转换设备执行本发明一实施例中的流程图转换方法。
35.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现本发明一实施例中的流程图转换方法。
36.本发明由于采用以上技术方案，使其与现有技术相比具有以下的优点和积极效
果：
37.(1)本发明一实施例中的流程图转换方法，针对工业流程图绘制的重复性、繁杂而又机械的特性，而目前采用人工绘制花费大量时间的问题，通过基于深度学习中yolov3算法自动识别图片格式的流程图中的阀门、泵等设备目标，将这些设备目标信息通过接口导入到流程图绘制软件中，可以自动生成新控制系统流程图画面的设备，可以较大减少人工绘制流程图的工作，提高工作效率。
38.(2)本发明一实施例中的流程图转换方法，采用voc数据集的格式进行图像数据集的创建，对图像数据集的数据格式进行统一化及标准化，方便目标提取模型进行调用及训练，减少目标提取模型的图像处理时间，提高目标提取模型的输出效率。
39.(3)本发明一实施例中的流程图转换方法，针对传统的卷积神经网络cnn对图像先做卷积，再进行pooling降采样，以降低图像尺寸的代价增大感受野，导致图像信息的丢失问题，通过在主干网络cspdarknet19的卷积核中加入空洞，将普通的卷积转换成空洞卷积，在不损失图像信息的情况下，一方面增大了感受野，可以检测分割大目标；另一方面提高了分辨率，可以精确定位目标。
40.(4)本发明一实施例中的流程图转换方法，通过主干网络cspdarknet19的最后，再增加一层inception网络，采用不同大小的卷积核卷积，使得cspdarknet19网络层存在不同大小的感受野，最后拼接起来达到不同尺度的特征融合，增加yolov3模型的网络宽度和深度。
附图说明
41.图1为本发明一实施例中的流程图转换方法流图；
42.图2为本发明一实施例中的yolov3中backbone的示意图；
43.图3为本发明一实施例中的inception网络的结构图；
44.图4为本发明一实施例中的流程图转换装置的框图；
45.图5为本发明一实施例中的流程图转换设备的示意图。
具体实施方式
46.以下结合附图和具体实施例对本发明提出的一种流程图转换方法、装置、设备和存储介质作进一步详细说明。根据下面说明和权利要求书，本发明的优点和特征将更清楚。
47.实施例一
48.本实施例针对流程图绘制重复性、繁杂而又机械的工作，提供一种结合人工智能技术的解决方案。通过自动生成流程图设备，可以较大减少人工绘制流程图的工作，提高工作效率。
49.具体的，请参看图1，本实施例提供了一种流程图转换方法，包括以下步骤：
50.步骤s1：获取流程图的历史图像，对历史图像进行目标标注，建立图像数据集；其中，目标至少包括阀门、泵的工业设备；
51.步骤s2：创建yolov3模型，将步骤s1中的图像数据集输入改进的yolov3模型中进行训练，得到目标提取模型；
52.步骤s3：将待转换的流程图图像输入目标提取模型中，输出待转换的流程图中的
目标分类及坐标信息；
53.步骤s4：将目标提取模型的输出信息导入dcs流程图软件接口，自动生成目标流程图。
54.在工业自动化领域的dcs控制系统中，因业务的扩大或者控制系统的寿命等原因，会一直有新项目或者更新改造项目的出现。在更新改造项目中，因为控制系统的更改或者应用最新版本的控制系统。其中，不变的是工业设备。因此，若能自动获取流程图中的工业设备，那么只要更改工业设备间的控制关系就可得到新的流程图。可使绘制流程图工作不再是机械性、重复性的，可大大减少绘制流程图的时间，提高工作效率。
55.一般的工业设备，如阀门、泵等，因此，在步骤s1中，获取流程图的历史图像，对历史图像进行目标标注，建立图像数据集；其中，目标至少包括阀门、泵的工业设备。这里，流程图的历史图像是指工业历史项目中的流程图的图像。在实际应用中，可准备足够多(如1000张)的流程图图像，用于后续的模型训练，以提高模型的识别精度。
56.本实施例中的yolov3模型的训练样本采用voc2007数据集，需要将历史图像按voc数据集的格式进行保存，该voc数据集就作为本实施例中的图像数据集。该voc数据集下包括以下文件夹：annotations、imagesets、jpegimages、segmentationclass、segmentationobject。其中，jpegimages文件夹用于存放安检装置中导出的历史图像，并将这些历史图像以“000001.jpg”的形式命名。
57.annotations文件夹用于存放类别标注后的图像。本实施例采用labeling标注工具对历史图像进行目标标注，这里的目标包括阀门、泵等特征。每张历史图像进行目标标注后，会得到一个xml文件，该xml文件中记载了图像的宽度、高度及标注目标。将这个xml文件保存于annotations文件夹中；并且，jpegimages文件夹中的一张历史图像，对应annotations文件夹中的一个同名的xml文件。
58.imagesets文件夹用于存放根据已生成的xml文件创建的trainval.txt、train.txt、test.txt、val.txt等文件。这四个txt文件可以存储于imagesets文件夹下的main文件夹中，其中test.txt表示模型测试集，train.txt表示模型训练集，val.txt表示模型验证集，trainval.txt表示模型训练 验证集。
59.创建四个txt文件后，需要按预设的比例分别为这四个txt文件分配图像数据。本实施例中，将图像数据集中的50％的图像分配给trainval.txt文件，将图像数据集中剩下的50％的图像分配给test.txt文件，将trainval.txt文件中50％的图像分配给train.txt文件，将trainval.txt文件中剩下的50％的图像分配给val.txt文件。这四个txt文件中只存储图像的名称，格式如下：
60.000001
61.000002
62.000003
63.以上，voc数据集就基本创建完成了。
64.在步骤s2中，创建yolov3模型，将步骤s1中的图像数据集输入改进的yolov3模型中进行训练，得到目标提取模型。
65.目标检测在近几年开始发展成熟，但即便如此，竞争依旧激烈。yolov3实现了当前最前沿技术的准确度，同时还能维持较高的处理帧率。该算法不仅保持了“一步式”目标检
测算法的检测速度的优势，而且拥有着和“两步式”目标检测算法相媲美的检测精度。但对于目标检测而言，高准确度早已不是唯一的目标，还希望边缘设备也能流畅地运行这些模型。因此，如何使用低成本硬件实时地处理输入视频也成为了一个重要的研究方向。
66.通常，yolov3模型由input、backbone、neck、head四部分组成。目标检测器用于特征提取的骨干部分为backbone，用于目标检测的头部为head。为了让输入头部的信息更丰富，在输入头部前，会将来自自底向上和自上而下的数据流按逐元素的方式相加或相连。因此，头部的输入将包含来自自底向上数据流的丰富空间信息以及来自自上而下数据流的丰富语义信息，这一部分称为颈部neck。
67.本实施例中的yolov3模型，其backbone采用cspdarknet19网络。特征提取层的卷积神经网络设计可以有很多的选择，例如cspdark19，cspdark53，resnet，mobilenet等。在经过多方面的思考之后，虽然cspdarknet53的精度比cspdarknet19要高，但同时也牺牲了目标检测速度，这也是目标检测算法中常见的问题之一，目标检测精度的提升常常会牺牲掉检测速度，反之亦然。对于目标检测的实际场景，目标检测速度的要求是严格的，本实施例目标种类相对较少，所以打算舍弃掉网络结构cspdarknet53，选择以网络结构cspdarknet19为基础。cspdarknet19网络结构的设计思路与vggnet相似，主要由3*3、1*1的卷积层和2*2的最大池化层组成。cspdarknet19中用两个卷积层和两个最大池化层实现了4倍的降采样，本实施例将会简化这一过程，将第一个卷积层的步长设为2用作降采样，再加上一个最大池化层就实现了4倍的降采样，相比于原来的网络舍弃了一个卷积层和一个最大池化层，减少了一些参数量，用卷积层实现降采样和最大池化没什么区别，而且可以让网络自己选择抛弃掉一些信息，池化不能保证抛弃的点没有包含所需要的信息，尤其是在网络前几层包含的信息量足够多的情况下。后面的网络与原网络相似，cspdarknet19和cspdarknet53最后得到的特征图与输入图片相比都是进行了32倍的降采样，因此放弃passthrough层的设计，参照cspdarknet53的多尺度预测，在cspdarknet19实现多尺度预测，增强模型的综合检测能力。具体请参看图2。
68.在yolov3模型的基础上，可对模型进行改进。具体改进可参考以下两方面：
69.第一、在主干网络cspdarknet19中加入空洞卷积dilated convolution。在cspdarknet19网络的标准卷积核中注入空洞(即将普通的卷积转换为空洞卷积)，以此来增加特征图的感受野。在卷积神经网络中，感受野(receptive field)的定义是卷积神经网络每一层输出的特征图(feature map)上的像素点在输入图片上映射的区域大小。也就是说，特征图上的一个点对应输入图上的区域。在卷积神经网络cnn中为了增加感受野且降低计算量，通常要进行降采样(pooling或s2/conv)，这样虽然可以增加感受野，但空间分辨率降低了，进而导致图像信息的丢失。为了能不降低分辨率，且仍然扩大感受野，本实施例采用空洞卷积。空洞卷积的好处是在不损失图像信息的情况下，一方面增大了感受野，可以检测分割大目标；另一方面提高了分辨率，可以精确定位目标。
70.空洞卷积有一个参数dilation rate，具体含义就是在卷积核中填充dilation rate-1个0，因此，当设置不同dilation rate时，感受野就会不一样，也即获取了多尺度(多分辨率)信息。多尺度信息在视觉任务中相当重要。
71.第二、在主干网络cspdarknet19的最后，再增加一层inception网络。该inception网络请参看图3。图中，一个输入的feature map分别同时经过1
×
1、3
×
3、5
×
5的卷积核的
处理，得出的特征再组合起来，获得更佳的特征。inception网络最大的特点在于将神经网络层与层之间的卷积运算进行了拓展。inception网络采用不同大小的卷积核卷积，使得网络层存在不同大小的感受视野，最后拼接起来达到不同尺度的特征融合。
72.创建好上述yolov3模型后，将步骤s1中得到的图像数据集进行分类，分为模型训练集、模型验证集、模型测试集，其图像数据量占整个图像数据集的比例依次为60％，30％，10％。对图像数据集的上述分类，可通过编写脚本代码实现。然后在yolov3模型中，修改需要训练的类别、epoch、batch_size、训练次数等参数，即可进行训练。为了提高物品识别分类模型的物品识别正确率，可重复进行训练，直到物品识别正确率达到预设标准(如95％的正确率)。最终训练好的yolov3模型就作为本实施例中的目标提取模型。
73.在步骤s3中，将待转换的流程图图像输入目标提取模型中，输出待转换的流程图中的目标分类及坐标信息。
74.在工业自动化领域的dcs控制系统中，当项目需要更新改造时，即可将旧项目中的流程图输入步骤s2中训练好的yolov3模型中，输出该流程图中的目标设备的分类及坐标信息，将输出的信息以需求的格式存储到csv文件。
75.在步骤s4中，将目标提取模型的输出信息导入dcs流程图软件接口，自动生成目标流程图。
76.其中，dcs是集散控制系统的简称，它是以微处理器为基础，采用控制功能分散、显示操作集中、兼顾分而自治和综合协调的设计原则的新一代仪表控制系统。
77.将存储目标信息的csv文件导入到已经生成好的dcs流程图软件接口，再通过新流程图中的模板来生成设备，从而达到减少大量重复性、繁杂而又机械的人工绘制流程图工作的目的。
78.本实施例中的流程图转换方法，以深度学习为基础，实现基于yolov3算法的流程图转换工具。具体包括目标数据集的制作、yolov3算法的整体布局设计、特征提取层的卷积神经网络结构设计、数据集喂给算法进行训练、通过参数的调试获得理想的模型、将老流程图输入送给模型得到目标信息，以规定格式将目标信息存储、导入接口生成需要的流程图。从而达到减少大量重复性、繁杂而又机械的人工绘制流程图工作的目的，提高工作效率。
79.实施例二
80.本发明还提供了一种流程图转换装置，参看图4，该装置包括：
81.数据集创建模块1，用于获取流程图的历史图像，对历史图像进行目标标注，建立图像数据集；所述目标至少包括阀门、泵的工业设备；
82.模型创建模块2，用于创建yolov3模型，将所述步骤s1中的图像数据集输入改进的yolov3模型中进行训练，得到目标提取模型；
83.目标提取模块3，用于将待转换的流程图图像输入目标提取模型中，输出待转换的流程图中的目标分类及坐标信息；
84.流程图生成模块4，用于将目标提取模型的输出信息导入dcs流程图软件接口，自动生成目标流程图。
85.其中，数据集创建模块1包括包括图像获取单元及图像标注单元。图像获取单元用于获取流程图的历史图像，将未标注的历史图像保存于jpegimages文件夹中；图像标注单元用于采用labeling工具对历史图像进行目标标注，将标注后的历史图像保存于
annotations文件夹中；jpegimages文件夹中的历史图像的名称与annotations文件夹中的xml文件的名称一一对应。
86.上述数据集创建模块1、模型创建模块2、目标提取模块3、流程图生成模块4的具体内容及实现方法，均如实施例一中所述，在此不再赘述。
87.实施例三
88.上述实施例二从模块化功能实体的角度对本发明流程图转换装置进行详细描述，下面从硬件处理的角度对本发明流程图转换设备进行详细描述。
89.请参看图5，该流程图转换设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，cpu)510(例如，一个或一个以上处理器)和存储器520，一个或一个以上存储应用程序533或数据532的存储介质530(例如一个或一个以上海量存储设备)。其中，存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对流程图转换设备500中的一系列指令操作。
90.进一步地，处理器510可以设置为与存储介质530通信，在流程图转换设备500上执行存储介质530中的一系列指令操作。
91.流程图转换设备500还可以包括一个或一个以上电源540，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口560，和/或，一个或一个以上操作系统531，例如windows serve、vista等等。
92.本领域技术人员可以理解，图5示出的流程图转换设备结构并不构成对流程图转换设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
93.本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质。该计算机可读存储介质中存储有指令，当该指令在计算机上运行时，使得计算机执行实施例一中的流程图转换方法的步骤。
94.实施例二中的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件的形式体现出来，该计算机软件存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
95.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置及设备的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
96.上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式。即使对本发明作出各种变化，倘若这些变化属于本发明权利要求及其等同技术的范围之内，则仍落入在本发明的保护范围之中。