一种基于深度学习的台球识别方法

本发明涉及体育运动和计算机辅助设备，特别涉及一种基于深度学习的台球识别方法。

背景技术：

1、现有的台球识别方法，通常使用霍夫变换、hsv颜色识别、边缘检测等方法识别台球，在现实中复杂多变的环境下往往不能取得良好的效果。近些年来，深度学习的迅猛发展带动了机器视觉研究的进步，基于卷积神经网络的深度学习算法在目标检测领域得到了广泛的应用，但是这些算法设计时主要面对的是人、车辆等大、中型目标，对于台球这样特征较少的小目标，很难提取出足够的特征信息，效果不佳。

2、因此目前的主流算法在台球识别上难以取得理想的精度，需要进一步的研究和改进。

技术实现思路

1、本发明所要解决的问题是：提供一种基于深度学习的台球识别方法，对台球进行高精度的识别，判断进球时刻，自动生成高质量的精彩瞬间视频。

2、本发明采用如下技术方案：一种基于深度学习的台球识别方法，包括如下步骤：

3、s1：在真实环境下采集台球桌面图片，人工标注不同花色的球，建立台球数据集，将台球数据集进行数据增强，将数据增强后的台球数据集划分为：训练集、验证集和测试集；

4、s2：以yolov8网络结构为基准网络进行改进：对于骨干网络，在每层c2f模块前添加spd-conv(space-to-depth convolution空间到深度卷积)模块；在骨干网络底部引入transformer注意力机制，增强特征图表示能力；对于颈部网络，引入特征融合模块agbifpn(attention guided bidirectional feature pyramid network注意力导向双向特征金字塔网络)；对于头部网络，增加了小目标检测头p2，使用nwd loss（normalized wassersteindistance loss归一化瓦瑟斯坦距离损失）代替yolov8的损失函数；使用改进后的yolov8网络结构对台球数据集进行训练，得到台球识别深度学习模型；

5、s3：使用摄像头采集实时台球桌面图片，将图片输入上述的台球识别模型中进行检测。

6、s4：根据步骤s3的检测结果，结合台球运动特征，判断台球进球时刻。

7、优选地，步骤s1中，采集的台球桌面图片为不同场景、不同角度、不同照度下的台球图片，采用labelimg标注工具进行16种不同花色球的人工标注。

8、所述数据增强方法，包括旋转、平移、翻转、裁剪、缩放、高斯模糊、色域变化、mosaic数据增强方法；

9、其中，高斯模糊用于生成不同模糊度的图片，提高模糊数据的检测精度；色域变化用于生成不同色彩的图片，包括调节亮度、饱和度、对比度、白平衡；mosaic挑选随机四张图片，每一张图片保留对应的锚框，将四张图片拼接在一起获得一张新的图片，丰富台球识别的背景。

10、优选地，步骤s2中，以yolov8网络结构为基准网络，对于骨干网络，在每层c2f模块前添加spd-conv模块，spd-conv模块是对传统conv层的改进，由一个spd层和一个非跨步卷积（non-strided convolution）层组成，能够减少小目标信息的损失和提高特征提取的准确性。

11、优选地，步骤s2中，在骨干网络底部引入transformer注意力机制，transformer注意力机制作为一种增强特征图表示能力的方法，包含两个子层：多头注意力层和mlp。多头注意力帮助当前节点不仅关注当前像素，还可以获取上下文语义；同时，由于骨干网的最终网络分辨率较低，将transformer应用于其特征图可以降低计算和内存成本。

12、优选地，步骤s2中，对于颈部网络，引入特征融合模块agbifpn，agbifpn模块旨在对多尺度特征进行融合，防止小目标相关的语义细节的丢失，使模型能更好地检测目标。

13、bifpn引入了双向的特征传播，即自上而下和自下而上的特征流动，这使得特征能够在不同层级之间进行更全面和丰富的信息传递和融合。在bifpn顶部引入了一个动态稀疏注意机制来提取非常小目标层的信息，直接跳过计算最不相关区域的结构，以高效生成具有较强辨别能力的目标特征。然后，添加自顶向下路径来传递高层语义特征信息，以引导后续网络模块进行特征融合，生成具有更强辨别能力的特征。

14、优选地，步骤s2中，对于头部网络，使用nwd loss代替yolov8的损失函数；基于iou(intersection over union)的指标对小目标的位置偏差非常敏感，在基于anchor的检测器中使用时，会导致标签分配不准确，严重降低检测性能。

15、nwd loss将bbox(bounding box)建模为二维高斯分布，然后使用normalizedwasserstein距离的高斯分布计算它们之间的相似性。

16、优选地，所述台球识别的深度模型，将训练集输入至改进后的yolov8网络结构，进行目标检测模型训练，得到用于台球识别深度学习模型，将验证集输入深度学习模型中进行验证，根据验证得到的效果，对深度学习模型和训练参数进行优化，得到训练后的台球识别深度学习模型。

17、优选地，步骤s3中，采集的图像为台球桌面的实时图像，经过改进yolov8网络识别后，返回每个台球检测框的中心点坐标、长度、宽度以及每个检测框内台球的类别。

18、优选地，步骤s4中，判断台球进球时刻，方法如下：

19、s4.1、根据改进的yolov8网络结构识别结果，计算台球的中心坐标，与台球桌6个球洞的坐标比较，计算距离，最小的距离记为；

20、s4.2、以球洞为中心，将洞口周围划分为2个区域；较大区域为区域l，半径为，较小区域为区域s，半径为，半径；

21、s4.3、当台球不在区域l和区域s内时，设置；当球在区域l时，记录台球到洞口的距离；当球在区域s时，记录球到洞口的距离；其中，和分别表示区域l和s内台球到洞口的距离；

22、s4.4、当台球从远处向洞口移动，先进入区域l，再进入区域s；球进入区域l时，开始记录，球进入区域s时，开记录，球落袋后，和同时归零；

23、s4.5、根据和数值变化计算进球时刻。

24、本发明技术方案还提供了：一种电子设备，包括：

25、一个或多个处理器；

26、存储装置，其上存储有一个或多个程序；

27、当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一所述的基于深度学习的台球识别方法。

28、本发明技术方案还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时，实现上述任一项基于深度学习的台球识别方法中的步骤。

29、本发明采用以上技术方案与现有技术相比，具有以下技术效果：

30、1、本发明提出的改进yolov8网络，相较于原始yolov8目标检测网络，能够实现复杂背景下台球目标的准确检测，并且有更低的计算量和参数量。首先，本发明使用spd-conv模块替换了骨干网络的conv模块，减少了细粒度信息的损失，增强了浅层信息的提取能力，并且加入了transformer注意力机制，有效地提高了网络对小目标的特征的提取能力。其次，在颈部网络增加了agbifpn特征融合模块，以进一步增强网络的多层特征融合能力。最后，使用nwd loss代替yolov8的损失函数，提高了标签分配的准确性。

31、2、本发明采集复杂光照条件和复杂背景条件的台球图片作为训练数据，利用数据增强方式获取更全面、更高质量的数据，通过深度学习方法来实现高准确性的台球识别，具有更高的精度和准确性。