一种足球检测方法与流程

1.本发明涉及视频处理技术领域，特别是涉及一种足球检测方法。


背景技术：

2.目前，足球作为全球最流行的球类体育项目之一，一直拥有广大的参与和关注群体，而其蕴含的巨大商业价值也使得人们对足球视频进行着不断的研究。其中对足球视频的自动分析是一个主要的方面，具体包括对视频的检索、总结、检测、加强等方面，而鉴于足球总是场上的焦点，对于足球位置的检测便成了上述分析的一个首先需要解决的问题了，而对其检测的准确性也将直接影响着之后的应用。另一方面，随着便携移动终端的流行，能够随时随地在移动终端上观看到足球比赛直播，对广大的足球爱好者无疑具有很强的诱惑力。
3.近几年研究人员提出了专门针对足球检测与跟踪的算法，其中有针对固定的相机拍摄的足球视频，该方法能成功实践足球检测和跟踪，但是不适合真实的广播足球视频；传统算法譬如利用霍夫变换找圆，用足球的形状和颜色特征，将足球和其他目标分开，再根据足球的颜色信息进行过滤，得到足球目标，但足球在快速运动时几乎是没有足球的形状，模糊到会和足球运动员的白色鞋子相似，影响足球检测的准确性，这样的场景检测误检差较多。另外也有用深度学习来对足球进行检测，如用yolov3进行目标检测，但是足球目标过小容易漏检，而且对模糊的球无法准确识别。


技术实现要素：

4.本发明要解决的技术问题是：提高足球检测与跟踪的精度，减少误检、漏检情况。
5.为了解决上述技术问题，本发明提供了一种足球检测方法，包括：
6.获取足球视频，对所述足球视频按帧取图片进行采样处理；
7.将所述采样处理图片输入至第一预设模型，以使所述第一预设模型对所述采样处理图片进行多次特征提取，输出多个预设分辨率的特征图；其中，在相邻两次特征提取之间，前一次特征提取输出的预设分辨率特征图作为下一次特征提取的输入；
8.将最后一次预设分辨率的特征图输入至第二预设模型，以使所述第二预设模型对所述最后一次预设分辨率的特征图进行增强处理，输出增强结果；
9.将所述增强结果输入至第三预设模型，以使所述第三预设模型对所述增强结果依次进行多次上采样和卷积层处理，输出足球检测结果；其中，所述第三预设模型设置了多个卷积层单元，且每个卷积层单元均与所述第一预设模型的一次特征提取对应；每次特征提取输出的预设分辨率的特征图作为与该次特征提取对应卷积层单元的输入参数。
10.进一步的，第一预设模型对所述采样处理图片进行多次特征提取，输出多个预设分辨率的图片，具体为：
11.对所述采样处理图片进行第一次特征提取，以使输出第一预设分辨率的特征图为所述采样处理图片尺寸的四分之一；
12.对所述第一预设分辨率的特征图进行第二次特征提取，以使输出第二预设分辨率的特征图为第一预设分辨率图片尺寸的八分之一；
13.对所述第二预设分辨率的特征图进行第三次特征提取，以使输出第三预设分辨率的特征图为所述采样处理图片尺寸的十六分之一，
14.对所述第三预设分辨率的特征图进行第四次特征提取，以使输出第四预设分辨率的特征图为所述采样处理图片尺寸的三十二分之一。
15.进一步的，在相邻两次特征提取之间，前一次特征提取输出的预设分辨率特征图作为下一次特征提取的输入，将最后一次预设分辨率的特征图输入至第二预设模型，具体为：
16.将所述第一预设分辨率的特征图输入至所述第三预设模型的第一卷积层；
17.将所述第二预设分辨率的特征图输入至所述第三预设模型的第二卷积层；
18.将所述第三预设分辨率的特征图输入至所述第三预设模型的第三卷积层；
19.将所述第四预设分辨率的特征图输入至第二预设模型。
20.进一步的，所述第二预设模型对所述最后一次预设分辨率的特征图进行增强处理，输出增强结果，具体为：
21.对所述第四预设分辨率的特征图使用不同的膨胀率模拟不同感受野，以使所述第二预设模型输出所述增强结果。
22.进一步的，将所述增强结果输入至第三预设模型，对所述增强结果依次进行多次上采样和所述卷积层处理后输出足球检测结果，具体为：
23.对所述增强结果进行第一上采样后输入第三卷积层单元，输出第一预测结果；
24.将所述第一预测结果进行第二上采样后输入至第二卷积层单元，输出第二预测结果；
25.将所述第二预测结果进行第三上采样后输入至第一卷积层单元，输出所述足球检测结果。
26.进一步的，所述球检测结果还包括所述图片每个点的置信度、球的半径、球中心的偏移量和球中心的矢量；
27.根据所述置信度判断所述图片中是否存在足球；
28.当所述图片中存在足球时，用以下公式计算获取所述足球具体位置：
29.x＝(x reg)＊4，y＝(y reg)＊4；
30.式中，自定义＊为乘法运算符，x为所述足球中心的横坐标，y为所述足球中心的纵坐标，(x，y)为所述图片中每个点的坐标，reg为球中心的偏移量。
31.进一步的，当所述图片中存在足球时，还包括：
32.若所述球中心的矢量的模小于所述球的半径，则判定为正常不模糊的足球；
33.若所述球中心的矢量的模大于所述球的半径，则判断在所述足球在所述图片中的位置的预设距离范围内是否存在与所述球中心的矢量构成相对的指向矢量，若判断结果为存在，则确定为正常的足球，若判断结果为不存在，则确定本次检测结果为误检，剔除本次检测结果。
34.进一步的，对所述足球视频按帧取图片进行采样处理，具体为：
35.将所述图片的分辨率按照预设值进行采样；
36.对所述采样后的图片依次进行减均值除方差归一化处理。
37.进一步的，本发明实施例提供了一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的足球检测方法。
38.进一步的，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上所述的足球检测方法。
39.本发明实施例一种足球检测方法与现有技术相比，其有益效果在于：本发明实施例的一种足球检测方法对三种检测模型进行改进融合，第一预设模型将前面浅层的特征提取输出返回给到后面深层的网络中作为输入，实现前面的浅层和深层的结合，特征值复用，可以在提升图片分辨率的同时减少计算量；第二预设模型使用不同的膨胀率来模拟不同感受野，增强了小目标的检测性能，减少漏检情况；第三预设模型通过上采样和卷积层实现三个模型间效果的融合，提高小目标足球的检测精度。
40.同时，本发明实施例还根据矢量运动提取出解决模糊运动球的方法，当所述球中心的矢量大于所述球的半径时，判断在所述足球的具体位置的预设距离范围内是否存在与所述球中心的矢量构成相对的指向矢量，若判断结果为存在，则认为是正常的足球，若判断结果为不存在，则认为是模糊的误检，进行剔除，可以减少误检情况的出现，进一步提高小目标足球的检测精度。
附图说明
41.图1是本发明实施例提供的足球检测方法的一种实施例的流程示意图。
42.图2是本发明实施例提供的足球检测方法关于模糊球的检测流程示意图。
具体实施方式
43.下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
44.实施例1
45.参见图1，图1是本发明实施例提供的足球检测方法的一种实施例的流程示意图，该方法包括步骤101至步骤104，各项步骤具体如下：
46.步骤101：获取足球视频，对所述足球视频按帧取图片进行采样处理。
47.在本发明实施例中，将所述图片分辨率采样到3840＊2176尺寸后，对所述图片依次进行减均值除方差归一化处理，实现图片数据特征标准化。
48.步骤102：将所述采样处理后的图片输入至第一预设模型，以使所述第一预设模型对所述采样处理后的图片进行多次特征提取，输出多个预设分辨率的特征图；其中，在相邻两次特征提取之间，前一次特征提取输出的预设分辨率特征图作为下一次特征提取的输入。
49.在本发明实施例中，所述第一预设模型借鉴于densenet，前面浅层的特征值输出
会返回给到后面深层的网络中作为输入，实现了前面的浅层和深层的结合，特征在通道维度上复用，不但能减缓梯度消失的现象，也使其可以在参数与计算量更少的情况下具有更优的性能。
50.对所述采样处理图片进行第一次特征提取，以使输出第一预设分辨率的特征图为所述采样处理的图片尺寸的1/4，即960＊544；对所述第一预设分辨率的特征图进行第二次特征提取，以使输出第二预设分辨率的特征图为所述采样处理图片尺寸的1/8，即480＊272；对所述第二预设分辨率的特征图进行第三次特征提取，以使输出第三预设分辨率的图片为所述采样处理图片尺寸的1/16，即240＊136，对所述第三预设分辨率的图片进行第四次特征提取，以使输出第四预设分辨率的图片为所述采样处理图片尺寸的1/32，即120＊68。
51.步骤103：将最后一次预设分辨率的特征图输入至第二预设模型，以使所述第二预设模型对所述最后一次预设分辨率的特征图进行增强处理，输出增强结果。
52.在本发明实施例中，将所述第四预设分辨率的特征图尺寸120＊68输入第二预设模型，所述第二预设模型借鉴于rfb模块，对所述第四预设分辨率的图片使用不同的膨胀率来模拟不同的感受野，增强对小目标的检测性能。
53.步骤104：将所述增强结果输入至第三预设模型，以使所述第三预设模型对所述增强结果依次进行多次上采样和卷积层处理，输出足球检测结果；其中，所述第三预设模型设置了多个卷积层单元，且每个卷积层单元均与所述第一预设模型的一次特征提取对应；每次特征提取输出的预设分辨率的特征图作为与该次特征提取对应卷积层单元的输入参数。
54.本发明实施例中，所述第三预设模型借鉴于fpn结构，fpn的结构，它是一个自底向上的线路，一个自顶向下的线路，横向连接。自底向上的过程是神经网络普通的前向传播，而自上而下的过程，是把更抽象、语义更强的高层特征图进行上采样。通过简单的网络连接改变，在基本不增加原有模型计算量的情况下，大幅度提升小物体的检测性能。
55.所述第三预设模型基于fpn算法构建三个上采样单元和三个卷积层单元。对所述增强结果进行第一上采样后输入第三卷积层单元，输出第一预测结果；将所述第一预测结果进行第二上采样后输入至第二卷积层单元，输出第二预测结果；将所述第二预测结果进行第三上采样后输入至第一卷积层单元，输出所述足球检测结果。
56.所述上采样单元是将特征图进行进一步放大的过程，而卷积层单元可以提取图像的特征，随着卷积层的增加，可以提取更为复杂的图像特征。所述上采样和卷积过程将第一预设模型和第二预设模型的特征进行进一步融合，提高整体的目标识别精准度。
57.本发明实施例中，所述足球检测结果包括：所述图片每个点的置信度、球的半径、球中心的偏移量和球中心的矢量。
58.其中，所述置信度的取值范围为[0－1]，根据所述置信度判断所述图片中是否存在足球。
[0059]
当所述图片中存在足球时，用以下公式计算获取所述足球具体位置：
[0060]
x＝(x reg)＊4，y＝(y reg)＊4；
[0061]
式中，自定义＊为乘法运算符，x为所述足球中心的横坐标，y为所述足球中心的纵坐标，(x，y)为所述图片中每个点的坐标，reg为球中心的偏移量。
[0062]
参见图2，图2是本发明实施例提供的足球检测方法关于模糊球的检测流程示意
图。
[0063]
针对模糊的足球，使用矢量关系来处理，使用新的标注方法标注足球数据，标注方法如下描述：首先，对于非模糊的正常足球，我们只标注它的圆心和半径，矢量设置为0，对于模糊的球，我们将此球标注两个圆心和两个半径，并且标注两个矢量，即两个圆心指向对方，构成一个矢量对，若能找到相对应的矢量对，则认为所述图片存在足球。
[0064]
本发明实施例中，当检测到所述图片存在足球时，若所述球中心的矢量的模小于所述球的半径，则判定为正常不模糊的足球；若所述球中心的矢量的模大于所述球的半径，则判断在所述足球在所述图片中的位置的预设距离范围内是否存在与所述球中心的矢量构成相对的指向矢量，若判断结果为存在，则确定为正常的足球，若判断结果为不存在，则确定本次检测结果为误检，剔除本次检测结果。可以减少误检情况的出现，进一步提高小目标足球的检测精度。
[0065]
本发明实施例中，还提供了一种足球检测设备，包括处理器、存储器以及存储在存储器中且被配置为由处理器执行的计算机程序，处理器执行计算机程序时实现上述足球检测方法。
[0066]
本发明实施例中，还提供了一种计算机可读存储介质，计算机可读存储介质包括存储的计算机程序，其中，在计算机程序运行时控制计算机可读存储介质所在设备执行上述的足球检测方法。
[0067]
示例性的，所述计算机程序可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在基于足球检测设备中的执行过程。
[0068]
所述足球检测设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述足球检测设备可包括，但不仅限于，处理器、存储器、显示器。本领域技术人员可以理解，上述部件仅仅是基于扫描设备的数据收集的设备的示例，并不构成对基于扫描设备的数据收集的设备的限定，可以包括比所述部件更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述足球检测设备还可以包括输入输出设备、网络接入设备、总线等。
[0069]
所述处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field－programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述基于足球检测设备的控制中心，利用各种接口和线路连接整个所述基于足球检测设备的各个部分。
[0070]
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述基于足球检测设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、文字转换功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、文字消息数据
等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0071]
其中，所述足球检测设备集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一个计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read－only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
[0072]
本发明实施例提供一种足球检测方法，对三种检测模型进行改进融合，第一预设模型将前面浅层的特征提取输出返回给到后面深层的网络中作为输入，实现前面的浅层和深层的结合，特征值复用，可以在提升图片分辨率的同时减少计算量；第二预设模型使用不同的膨胀率来模拟不同感受野，增强了小目标的检测性能，减少漏检情况；第三预设模型通过上采样和卷积层实现三个模型间效果的融合，提高小目标足球的检测精度。
[0073]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本发明的保护范围。