一种基于块检测预处理的旋转盲文方检测方法和装置与流程

本发明涉及盲文方检测，具体涉及一种基于块检测预处理的旋转盲文方检测方法和装置。

背景技术：

1、明眼人没有经过专门的训练，阅读盲文效率低，手写盲文会不可避免地出现错误，进一步影响了明眼人阅读盲文的效率。要将盲文转换成明眼人易读的汉语文档，或处理成语音，通常需要采用目标检测技术对盲文中的盲文方进行检测。传统技术直接将目标检测技术应用在盲文方检测中。借助盲文书写工具手写的盲文会有旋转的盲文方出现，目标检测技术无法有效地检测旋转盲文方。由于旋转后的盲文方特征复杂，较小旋转角度的盲文方和较大旋转角度的盲文方特征易混淆，因此旋转目标检测技术的检测效果也有限。

2、上述问题是目前亟待解决的。

技术实现思路

1、本发明要克服现有技术的上述至少一个缺点，一方面，提供了一种基于块检测预处理的旋转盲文方检测方法，所述方法包括：s110：获取待检测盲文图片；s120：基于通过rotated-retinanet网络训练得到的m1网络获取待检测盲文图片中的所有盲文块信息；s130：基于所述盲文块信息从所述待检测盲文图片中裁剪所有盲文块得到与之对应的盲文块图片；s140：将所述盲文块图片旋转至水平方向；s150：基于通过rotated-retinanet网络训练得到的m2网络检测所有盲文块图片中存在的盲文方信息；s160：基于所述盲文方信息将检测到的盲文方映射回待检测盲文图片，并整合所有盲文方得到最终的检测结果。

2、进一步的，所述m1网络为通过rotated-retinanet网络结合盲文图片以及对应的盲文块标注信息训练得到。

3、进一步的，所述基于通过rotated-retinanet网络训练得到的m1网络获取待检测盲文图片中的所有盲文块信息包括：对所述待检测盲文图片进行预处理以调整所述待检测盲文图片的格式和大小；将所述预处理后的待检测盲文图片输入至m1网络得到待检测盲文图片中的盲文块信息；所述盲文块信息包括盲文块的中心坐标、盲文块的宽、盲文块的高和盲文块的旋转角。

4、进一步的，所述基于所述盲文块信息从所述待检测盲文图片中裁剪所有盲文块得到与之对应的盲文块图片包括：基于cv2.getrotationmatrix2d函数、cv2.warpaffine函数和cv2.bitwise_and函数将所述盲文块从待检测盲文图片上裁剪下来。

5、进一步的，所述将所述盲文块图片旋转至水平方向包括：依次将所述盲文块图片以盲文块的中心坐标为旋转中心，基于cv2.getrotationmatrix2d函数和cv2.warpaffine函数将裁剪的盲文块图片旋转至水平方向。

6、进一步的，所述将所述盲文块图片旋转至水平方向包括：依次将所述盲文块图片以盲文块的中心坐标为旋转中心，以盲文块的旋转角度进行旋转，使所述盲文块图片旋转至水平方向。

7、进一步的，所述m2网络为通过rotated-retinanet网络结合盲文图片以及对应的盲文方标注信息训练得到。

8、进一步的，所述基于通过rotated-retinanet网络训练得到的m2网络检测所有盲文块中存在的盲文方信息包括：对盲文块图片进行预处理；将所述预处理后的盲文块图片输入至m2网络得到盲文块中存在的盲文方信息；所述盲文方信息中包括盲文方的中心坐标、盲文方的宽、盲文方的高、盲文方的旋转角和盲文方类别。

9、进一步的，所述基于所述盲文方信息将检测到的盲文方映射回待检测盲文图片，并整合所有盲文方得到最终的检测结果包括：依次将各个盲文块的盲文方映射回待检测盲文图片；将所述盲文方按照与步骤s140相反的方向旋转相应的角度；合并所有的旋转后的盲文方生成取得最终的检测结果。

10、第二方面，本发明提供了一种基于块检测预处理的旋转盲文方检测装置，所述装置包括：获取待检测盲文图片单元，适用于获取待检测盲文图片；获取盲文块信息单元，适用于基于通过rotated-retinanet网络训练得到的m1网络获取待检测盲文图片中的所有盲文块信息；获取盲文块图片单元，适用于基于所述盲文块信息从所述待检测盲文图片中裁剪所有盲文块得到与之对应的盲文块图片；旋转单元，适用于将所述盲文块图片旋转至水平方向；检测盲文方信息单元，适用于基于通过rotated-retinanet网络训练得到的m2网络检测所有盲文块图片中存在的盲文方信息；生成检测结果单元，适用于基于所述盲文方信息将检测到的盲文方映射回待检测盲文图片，并整合所有盲文方得到最终的检测结果。

11、第三方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有一个或一个以上的指令，所述计算机指令用于使所述计算机执行上述的基于块检测预处理的旋转盲文方检测方法。

12、再一方面，本发明提供了一种电子设备，包括：存储器和处理器；所述存储器中存储有至少一条程序指令；所述处理器通过加载并执行所述至少一条程序指令以实现上述的基于块检测预处理的旋转盲文方检测方法。

13、本发明的有益效果是：本发明提供了一种基于块检测预处理的旋转盲文方检测方法，其特征在于，所述方法包括：s110：获取待检测盲文图片；s120：基于通过rotated-retinanet网络训练得到的m1网络获取待检测盲文图片中的所有盲文块信息；s130：基于所述盲文块信息从所述待检测盲文图片中裁剪所有盲文块得到与之对应的盲文块图片；s140：将所述盲文块图片旋转至水平方向；s150：基于通过rotated-retinanet网络训练得到的m2网络检测所有盲文块图片中存在的盲文方信息；s160：基于所述盲文方信息将检测到的盲文方映射回待检测盲文图片，并整合所有盲文方得到最终的检测结果。所述方法通过块检测预处理方法对盲文图片中的旋转盲文方进行检测，改进了现有的盲文方检测方法，引入了盲文块检测预处理，解决了旋转目标检测对旋转盲文方检测效果有限的问题，极大地提升了在手写盲文场景下旋转盲文方的检测效果。

技术特征：

1.一种基于块检测预处理的旋转盲文方检测方法，其特征在于，所述方法包括：

2.根据权利要求1所述的基于块检测预处理的旋转盲文方检测方法，其特征在于，所述m1网络为通过rotated-retinanet网络结合盲文图片以及对应的盲文块标注信息训练得到。

3.根据权利要求2所述的基于块检测预处理的旋转盲文方检测方法，其特征在于，所述基于通过rotated-retinanet网络训练得到的m1网络获取待检测盲文图片中的所有盲文块信息包括：

4.根据权利要求1所述的基于块检测预处理的旋转盲文方检测方法，其特征在于，所述基于所述盲文块信息从所述待检测盲文图片中裁剪所有盲文块得到与之对应的盲文块图片包括：

5.根据权利要求1所述的基于块检测预处理的旋转盲文方检测方法，其特征在于，所述将所述盲文块图片旋转至水平方向包括：

6.根据权利要求5所述的基于块检测预处理的旋转盲文方检测方法，其特征在于，所述将所述盲文块图片旋转至水平方向包括：

7.根据权利要求1所述的基于块检测预处理的旋转盲文方检测方法，其特征在于，所述m2网络为通过rotated-retinanet网络结合盲文图片以及对应的盲文方标注信息训练得到。

8.根据权利要求7所述的基于块检测预处理的旋转盲文方检测方法，其特征在于，所述基于通过rotated-retinanet网络训练得到的m2网络检测所有盲文块中存在的盲文方信息包括：

9.根据权利要求1所述的基于块检测预处理的旋转盲文方检测方法，其特征在于，所述基于所述盲文方信息将检测到的盲文方映射回待检测盲文图片，并整合所有盲文方得到最终的检测结果包括：

10.一种基于块检测预处理的旋转盲文方检测装置，其特征在于，所述装置包括：

技术总结本发明提供了一种基于块检测预处理的旋转盲文方检测方法和装置，所述方法包括：S110：获取待检测盲文图片；S120：基于通过Rotated‑RetinaNet网络训练得到的M1网络获取待检测盲文图片中的所有盲文块信息；S130：基于盲文块信息从所述待检测盲文图片中裁剪所有盲文块得到与之对应的盲文块图片；S140：将盲文块图片旋转至水平方向；S150：基于通过Rotated‑RetinaNet网络训练得到的M2网络检测所有盲文块图片中存在的盲文方信息；S160：基于盲文方信息将检测到的盲文方映射回待检测盲文图片，并整合所有盲文方得到最终的检测结果。改进了现有的盲文方检测方法，引入了盲文块检测预处理，解决了旋转目标检测对旋转盲文方检测效果有限的问题，极大地提升了在手写盲文场景下旋转盲文方的检测效果。技术研发人员：于智,林帅浩,吴越受保护的技术使用者：杭州彗光科技有限公司技术研发日：技术公布日：2024/8/16