在摄像机设备上借助于神经网络输入的通过降低视频的位率以节省带宽的智能间隔拍摄视频的制作方法

1.本发明总体上涉及计算机视觉，并且更具体地涉及方法和/或装置，该方法和/或装置用于在摄像机设备上借助于神经网络输入来实现通过降低视频的位率以节省带宽的间隔拍摄视频。


背景技术：

2.针对常规的互联网连接的/云实现的摄像机的间隔拍摄视频模式通常由在云服务器上操作的软件实现。该软件依赖于使用云服务器的分布式处理的资源(即，可扩展计算)。以固定的帧速率显示间隔拍摄视频片段以实现快进效果。例如，以固定的间隔选择视频帧以创建间隔拍摄视频(即，从每秒三十帧的视频中选择每第三十个帧来创建间隔拍摄视频)。
3.互联网连接的/云实现的摄像机对视频数据进行编码，并且然后将经编码的视频流传送到云服务器。在云服务器上使用许多额外的cpu周期以进行以下操作：解码常规的视频流(即，使用avc编码或hevc编码的压缩的视频)，以固定的帧间隔提取帧，然后将这些帧转码为间隔拍摄视频。同时，即使利用间隔拍摄视频，用户也难以查找重要的细节。由于间隔拍摄视频始终使用固定的帧速率而不使用所有捕获的视频数据，因此在捕获的视频中的用户感兴趣的内容的持续时间内，以正常的显示速度的视频帧不可用。例如，当安全摄像机观察到潜在的感兴趣的事件(例如，行人)时，间隔拍摄将与当安全摄像机未观察到任何特别感兴趣的事件时相同。
4.针对住宅安全摄像机、存储即服务(saas)摄像机或其他类型的视频安全摄像机，视频会被连续地上载到(在本地或在云上的)服务器。数据的连续上载会导致大量的数据使用。带宽消耗和存储使用高度取决于所记录的视频流的平均位率。用于降低带宽消耗和存储使用的常规方法主要集中于利用各种视频编码器实用程序来降低位率的技术。更多的处理功率被用于更高效的编码技术。然而，不管是否存在事件，来自上载的视频的位在每秒上被平均分配。
5.将期望的是在摄像机设备上借助于神经网络输入来实现通过降低视频的位率以节省带宽的智能间隔拍摄视频。


技术实现要素：

6.本发明涉及一种装置，该装置包括接口和处理器。该接口可以被配置为接收由捕获设备生成的像素数据。该处理器可以被配置为进行以下操作：从接口接收像素数据；响应于像素数据而生成视频帧；对视频帧执行计算机视觉操作以检测对象；基于对象的特性来执行对检测到的对象的分类；确定对象的分类是否对应于用户定义的事件；响应于所有的视频帧而生成完整的视频流；以及根据视频帧来生成经编码的视频帧。完整的视频流可以被记录到在装置本地的存储介质。经编码的视频帧可以被传送到云存储服务。经编码的视
频帧可以包括视频帧的第一样本和视频帧的第二样本，该第一样本是在用户定义的事件未被检测到时以第一速率选择的，该第二样本是在用户定义的事件被检测到时以第二速率选择的。第二速率可以大于第一速率。
附图说明
7.根据下面的详细描述和所附权利要求书以及附图，本发明的实施例将是显而易见的。
8.图1是示出本发明的示例上下文的图。
9.图2是示出实现本发明的示例实施例的示例互联网连接的摄像机的图。
10.图3是示出被配置为借助于神经网络来提供以事件为中心的间隔拍摄视频的装置的组件的框图。
11.图4是示出与云服务器通信的互连的摄像机和用于生成间隔拍摄视频的视频处理管线的图。
12.图5是示出边缘ai摄像机上的具有使用事件的所有帧的cv分析的智能间隔拍摄模式的图。
13.图6是示出将完整的流记录到本地存储介质并且将降低的位率的视频流传送到云存储服务的图。
14.图7是示出在捕获的视频帧中的事件检测的图。
15.图8是示出在智能手机上操作的用于控制针对间隔拍摄视频的偏好的应用的图。
具体实施方式
16.本发明的实施例包括在摄像机设备上借助于神经网络输入来提供通过降低视频的位率以节省带宽的智能间隔拍摄视频，本发明的实施例可以进行以下操作：(i)在边缘设备上实现事件检测；(ii)在边缘设备上实现视频编码；(iii)基于检测到的事件/对象来生成具有变化的帧速率的智能间隔拍摄视频；(iv)使用在处理器上实现的卷积神经网络来检测对象/事件；(v)调整间隔拍摄帧速率以在检测到事件/对象时捕获所有视频帧；(vi)执行面部识别和/或对象分类；(vii)将经编码的智能间隔拍摄视频而不是完整的记录上载到云存储服务器；(viii)实现用于上载视频的参数的配置；(ix)降低被传送到云存储服务的数据量；(x)降低利用云存储服务被存储的数据量；和/或(ix)被实现为一个或多个集成电路。
17.本发明的实施例可以被配置为提供智能间隔拍摄视频模式。间隔拍摄视频模式可以是通过基于在视频中捕获的内容来自动调整视频显示速度的智能间隔拍摄视频模式。本发明的实施例可以被配置为生成经编码的智能间隔拍摄视频。智能间隔拍摄视频可以在云服务上(例如，使用可扩展计算)生成。智能间隔拍摄视频可以在边缘设备(例如，人工智能(ai)摄像机)上生成。
18.本发明的实施例可以被配置为生成具有基于内容自动调整的视频位率的智能间隔拍摄视频。然后，具有基于内容调整的位率的视频数据可以被上载到云服务。在一个示例中，智能间隔拍摄视频可以用于安全摄像机。通过调整智能间隔拍摄视频的视频位率，可以显著地降低上载的视频流的位率。与上载完整的视频流相比，通过基于检测到的事件调整智能间隔拍摄视频的视频位率可以降低(例如，在本地或在云服务上的)带宽成本和/或存
储成本。
19.边缘ai摄像机可以被配置为实现人工智能(ai)技术。边缘ai摄像机使用ai技术可以在许多方面比使用云服务器更强大(例如，通过为用户提供相关的数据)并且是更节能的解决方案。边缘ai摄像机可以被配置为在设备上执行计算机可读指令(例如，不依赖于外部处理资源)，以逐帧分析视频内容。基于分析，内容可以标记有元数据信息。元数据可以用于选择用于间隔拍摄视频的视频帧。例如，视频帧可以通过被标记为不具有感兴趣的对象/事件和具有感兴趣的对象/事件而被分类。计算机视觉(cv)操作可以确定是否存在感兴趣的对象/事件。
20.当在n秒(n＝60/120/240/
……
)的持续时间内不存在针对视频帧的感兴趣的cv事件(或对象的类型)时，边缘ai摄像机可以从无事件持续时间中选择视频帧中的一个。选定的帧可以用于视频编码(例如，在边缘ai摄像机设备中内置的视频编码器)。可以针对没有检测到事件的每个n秒持续时间重复从无事件持续时间n中选择一个视频帧用于编码。从无事件持续时间n中选择一个视频帧用于编码可以导致经编码的输出，该经编码的输出提供捕获的视频的压缩的部分(例如，从而以高显示速度高效地快进通过捕获的视频的“无意义的内容”部分)。
21.当在m秒(m＝5/15/30/
……
)的持续时间内存在针对视频帧的检测到的感兴趣的cv事件(或对象的类型)时，边缘ai摄像机可以调整在事件持续时间m内的视频帧的数量和/或选择速率。在示例中，感兴趣的对象和/或事件可以是人被检测到、汽车被检测到、检测到的动物、动作、检测到的特定的面部等。可以调整视频帧的选择以从事件的m秒持续时间中选择所有视频帧(例如，对于以每秒60帧捕获的2分钟事件，可以选择全部7200帧)。可以调整视频帧的选择以在事件的m秒持续时间内以比在无事件持续时间内更高的速率选择视频帧(例如，选择更多帧，但不是所有帧)，例如，对于以每秒60帧捕获的2分钟事件，选择的速率可以改变为30帧，并且可以每隔一帧进行选择，从而导致选择3600个视频帧。可以(例如，使用ai边缘摄像机的设备上视频编码)编码选定的视频帧。在事件持续时间m内以更高的速率选择视频帧用于编码可以导致经编码的输出，该经编码的输出提供智能间隔拍摄视频的具有针对“有意义的内容”的正常的显示速度的部分，或者智能间隔拍摄视频的具有针对“有意义的内容”的稍微压缩的显示速度(但不如“无意义的内容”的速度高)的部分。
22.利用在边缘摄像机上实现的智能间隔拍摄视频模式，用户可以快速地浏览在长时间段内(例如，几天/几周/几个月)捕获的视频内容，并且用户可以确信将不会错过感兴趣的cv事件。感兴趣的cv事件可以包括通过面部检测和/或面部识别来检测人(例如，已知的人)、(例如，使用车牌读取器)检测汽车牌照、使用动物/宠物识别来检测宠物(例如，已知的动物)、检测动作(例如，检测到的高于预定义的阈值的任何动作)等。可以被认为是感兴趣的事件的检测到的事件和/或对象的类型可以根据特定实现方式的设计标准而变化。
23.本发明的实施例可以使得用户能够指定可以被认为是感兴趣的对象/事件的类型。在一个示例中，在智能手机上操作的应用可以被配置为调整针对边缘ai摄像机的设置。在另一示例中，边缘ai摄像机可以被配置为提供web界面以使得用户能够远程地选择被认为是感兴趣的事件的对象/事件。在又一示例中，边缘ai摄像机可以连接到云服务器，并且用户可以使用web界面以调整存储在云服务器上的设置，该设置然后可以被发送到边缘ai摄像机以控制感兴趣的间隔拍摄对象类型。
24.间隔拍摄的持续时间可以被配置为定期间隔，并且也可以被配置为自用户已经接收到间隔拍摄视频的最后时间以来的时间。例如，如果用户已经错过了20个事件通知，则在用户与应用进行交互(例如，在智能手机上滑动)以查看事件的瞬间，聚焦于事件的间隔拍摄可以呈现给用户以用于查看。尽管通常可以在边缘ai摄像机本地执行本发明的实施例(例如，从而实现被配置为实现卷积神经网络和/或视频编码的处理器)，但是可以使用云服务器上的软件来执行本发明的实施例以实现类似的效果。
25.本发明的实施例可以被配置为记录全时视频内容。全时视频内容可以被存储到边缘ai摄像机上的本地存储介质(例如，emmc、sd卡、microsd卡等)。例如，可能不会对所有记录的内容进行恒定的视频上载。例如，恒定的完整视频上载可以占用上载带宽。上载的完整的视频还可以导致在云存储服务中使用更多的存储(例如，在云存储服务中使用更多的存储容量可以导致更高的成本)。
26.在一些实施例中，可以上载具有基于内容调整的位率的智能间隔拍摄视频，而不是上载完整的视频流。上载智能间隔拍摄视频可以引起带宽成本节约和云存储成本节约两者。可以将智能间隔拍摄视频呈现给用户，以使得用户能够看到所有检测到的事件以及在没有检测到事件时看到所记录的视频的压缩的版本。
27.在一个示例中，可以在预定的时间处(例如，在一天结束时)将智能间隔拍摄视频呈现给用户。在另一示例中，可以以预定的时间间隔(例如，每若干小时/天/周等)将智能间隔拍摄视频呈现给用户。在又一个示例中，可以当感兴趣的事件被检测到时将智能间隔拍摄视频呈现给用户。在又一个示例中，可以按需(例如，基于用户请求)呈现智能间隔拍摄视频。
28.在一些实施例中，在大多数时间内没有视频可以被上载到云存储服务(例如，假设通常没有事件被检测到)。智能间隔拍摄视频可以提供非事件的压缩的版本，该非事件的压缩的版本使得用户能够看到直到用户感兴趣的时刻之前发生了什么(例如，事件)。在一些实施例中，可以将自用户请求查看视频数据的最后时间以来(例如，自实时查看的最后时间以来，或自查看的最后事件以来)已经被检测到的每个事件的一个或多个智能间隔拍摄视频呈现给用户。提供自用户查看的最后时间以来的智能间隔拍摄视频流可以阻止连续的通知被发送到用户(例如，发送到智能手机的多个通知可以是潜在的烦恼源)。
29.通过从非cv事件的n秒持续时间中选择一个视频帧用于编码，可以降低上载的内容的位率。可以使用进一步降低位率的技术来对智能间隔拍摄视频流进行编码。上载的内容的位率和/或量可以从“无cv事件”持续时间开始显著降低。可以降低从边缘ai摄像机上载到云存储服务器的数据量。与所记录的完整的数据量相比，也可以降低从云服务器传送到终端用户(例如，下载到智能手机、台式计算机、平板计算设备等)的数据量(例如，可以针对上载和下载两者实现益处)。用户可以快速地浏览在几天/几周/几个月内的视频内容，并且不必担心用户是否可能错过任何感兴趣的cv事件。
30.参考图1，示出了说明本发明的示例上下文的图。示出了住宅50和车辆52。示出了摄像机系统100a-100n。摄像机100a-100n中的每一个可以被配置为生成智能间隔拍摄视频。例如，摄像机100a-100n中的每一个可以被配置为彼此独立地操作。摄像机100a-100n中的每一个可以捕获视频并生成智能间隔拍摄视频。在一个示例中，可以将相应的智能间隔拍摄视频上载到云存储服务。在另一示例中，可以本地存储相应的智能间隔拍摄视频(例
如，存储在microsd卡上、存储到本地网络附接的存储设备等)。
31.摄像机100a-100n中的每一个可以被配置为检测可以被认为是感兴趣的不同的或相同的事件/对象。例如，摄像机系统100b可以捕获住宅50的入口附近的区域。对于住宅50的入口，感兴趣的对象/事件可以是检测人。摄像机系统100b可以被配置为分析视频帧以检测人，并且当检测到人时，智能间隔拍摄视频可以减慢速度(例如，选择用于以更高的帧速率编码的视频帧)。在另一示例中，摄像机系统100d可以捕获车辆52附近的区域。对于车辆52，感兴趣的对象/事件可以是检测其他车辆和行人。摄像机系统100b可以被配置为分析视频帧以检测车辆(或道路标志)和人，并且当检测到车辆或行人时，智能间隔拍摄视频可以减慢速度。
32.参考图2，示出了说明实现本发明的示例实施例的示例互联网连接的摄像机的图。示出了摄像机系统100a-100n。每个摄像机设备100a-100n可以具有不同的样式和/或用例。例如，摄像机100a可以是行动摄像机，摄像机100b可以是天花板安装式安全摄像机，摄像机100n可以是网络摄像机等。可以实现其他类型的摄像机(例如，住宅安全摄像机、电池供电摄像机、门铃摄像机等)。摄像机100a-100n的设计/样式可以根据特定实现方式的设计标准而变化。
33.摄像机系统100a-100n可以包括处理器102和捕获设备104。处理器102可以被配置为实现卷积神经网络(cnn)。处理器102可以被配置为实现视频编码器。处理器102可以生成智能间隔拍摄视频。捕获设备104可以被配置为捕获可以用于生成视频帧的像素数据。
34.参考图3，示出了说明被配置为借助于神经网络来提供以事件为中心的间隔拍摄视频的装置的组件的框图。
35.处理器102可以被配置为根据从捕获设备104a-104n接收到的像素数据来生成经编码的视频帧。处理器102可以被配置为选择要被编码用于智能间隔拍摄视频的视频帧。可以响应于由cnn模块190b检测到的对象/事件而选择视频帧。调度器电路190a可以加载包括用于检测各种类型的对象/事件的参数的有向非循环图(dag)。例如，可以响应于由用户选择的感兴趣的事件的类型而加载不同的dag。
36.参考图4，示出了说明与云服务器通信的互连的摄像机和用于生成间隔拍摄视频的视频处理管线的图。边缘ai摄像机可以被配置为与远程云服务和/或用户设备(例如，智能手机)通信。用户可以使用智能手机52b-52n上的应用选择设置。偏好可以作为事件设置存储在云服务中。云服务可以为处理器102提供神经网络参数(例如，特征集)。处理器102可以接收特征集以检测对象/事件。边缘ai摄像机可以被配置为将经编码的视频帧(例如，智能间隔拍摄视频)上载到云服务。经编码的视频帧可以存储在云服务的大容量视频存储装置中。用户可以使用智能手机来访问经编码的视频帧。智能手机可以连接到大容量视频存储装置并下载智能间隔拍摄视频。云服务可以进一步基于智能间隔拍摄视频的元数据标记中的内容来将通知提供给智能手机。
37.示出了处理器102的视频处理管线。处理器102可以响应于由捕获设备104捕获的像素数据而生成原始视频帧。该原始视频帧可以由cnn模块分析。cnn模块可以包括ai模型(例如，dag)。cnn模块可以基于用户的偏好来检测感兴趣的对象(例如，检测人、车辆、动物、移动、声音等中的一个或所有作为事件)。
38.当检测到事件时，cnn模块可以标记视频帧。可以将标记有事件的视频帧提供给视
频编码管线。可以以经调整的帧速率(例如，完整的视频或比当未检测到事件时更高的帧速率)对具有检测到的事件的视频帧进行编码。
39.cnn模块可以确定哪些帧不具有检测到的事件(例如，不感兴趣的视频帧)。在不具有事件的视频帧中，处理器102可以为长度n的每个持续时间选择一个视频帧。例如，处理器102可以从其中视频以60fps被捕获的持续时间n中选择一个视频帧(例如，从在一秒中捕获的60帧中选择一个帧)。
40.未被选择的视频帧可以不被包括在智能间隔拍摄视频流中。在一个示例中，可以丢弃(例如，不存储)未被选择的视频帧。在另一示例中，未被选择的视频帧可以在记录(例如，可以存储在摄像机设备100的本地、存储在microsd卡上等的完整的视频流的记录)中使用。可以将被选择的视频帧呈现给视频编码管线，以用于编码为智能间隔拍摄视频。
41.视频编码管线可以被配置为实时地编码视频帧(例如，hevc、avc、h264等)。视频编码管线可以基于捕获的时间来将选定的视频帧按顺序插入到经编码的视频中。例如，每个视频帧可以具有时间戳，并且视频帧可以按照时间戳的顺序被插入到经编码的视频中(例如，最早的视频帧在最先，以创建按时间顺序排序的视频)。视频编码管线可以生成带有具有事件的视频帧(以正常的速度显示)和非事件的视频帧(由于选择了较少的帧，因此以更快的速度显示)的经编码的视频。
42.视频编码管线可以被配置为将各种效果应用于选定的视频帧。例如，视频编码管线可以被配置为裁剪选定的视频帧、对选定的视频帧进行畸变校正(dewarp)、根据选定的视频帧应用彩色化(或移除颜色)、将模糊应用于视频帧的片段等。在示例中，模糊效果可以应用于选定的视频帧的部分以隐藏和/或删剪特定的对象(例如，出于隐私原因隐藏已知的人的身份、隐藏裸体部分以防止裸体被上载等)。
43.处理器102可以被配置为在视频帧被编码之前执行计算机视觉操作。在视频帧被编码之前执行计算机视觉操作可以使得能够在没有首先解码视频帧的周期成本的情况下执行计算机视觉操作。例如，如果计算机视觉由云服务执行，则将经编码的视频帧发送到云服务器，并且云服务器通过以下操作浪费cpu周期和功率：首先解码视频帧，然后执行计算机视觉操作，并且然后转码间隔拍摄视频。
44.处理器102可以被配置为针对全部在边缘ai摄像机100本地的智能间隔拍摄视频执行视频帧的选择。处理器102可以实现cnn模块。cnn模块可以是处理器102的硬件组件(或一起工作的多个硬件组件)，该硬件组件实现基于cnn的检测技术(或其他类型的检测技术)，该检测技术全部在处理器102上操作以执行诸如对象检测、对象跟踪、对象分类等之类的计算机视觉操作。硬件加速的cnn模块可以使得对象/事件检测能够在摄像机系统100上执行(例如，不依赖于云服务器的计算资源来执行对象检测)。在一些实施例中，处理器可以使用软件加速以用于计算机视觉和/或使用硬件加速的计算机视觉和软件加速的计算机视觉的组合。利用在基于硬件的cnn引擎和/或基于软件的cnn引擎上运行的计算机视觉操作，在边缘设备100中实现的处理器102可以能够检测一种或多种类型的事件，并且将事件标记应用于捕获的视频帧。
45.参考图5，示出了说明边缘ai摄像机上的具有使用事件的所有帧的cv分析的智能间隔拍摄模式的图。示出了包括视频帧的流(例如，图片组(gop))的捕获的视频流。cnn模块可以执行计算机视觉以确定哪些视频帧包括cv事件。视频帧的前四个持续时间为n的组可
能不包括cv事件。可以由处理器102选择来自前四个持续时间为n的组中的每一个组的视频帧中的一个以用于智能间隔拍摄视频(例如，选择四个非事件视频帧)。
46.在四个非事件组之后，可以检测到cv事件(例如，持续时间为m)。对于完整的智能间隔拍摄视频，在持续时间m内具有cv事件的所有视频帧可以被选择以用于智能间隔拍摄视频流。在所示的示例中，在持续时间m内可以有六个视频帧。可以选择具有cv事件的所有六个视频帧以用于智能间隔拍摄视频。
47.在cv事件的持续时间m之后，可以检测到视频帧的不包括cv事件的另外两个持续时间为n的组。可以将用于视频选择的帧速率重新调整回到默认速率。例如，可以针对视频帧的接下来的两个非事件的持续时间为n组中的每一个组选择一个视频帧。尽管第一视频帧被示出为从视频帧的非cv事件组中选择，但是可以根据特定实现方式的设计标准来从非cv事件组中的每一个组中选择视频帧中的任何一个。
48.智能间隔拍摄视频可以以正常的帧速率回放。由于要从视频帧的非cv部分回放的视频帧较少，因此智能间隔拍摄视频流的非cv部分的回放可能看起来以比实时回放更高的速度回放。例如，如果已经检测到视频帧的60个非cv事件组，则可以从针对智能间隔拍摄视频的每个帧中选择一个帧。以60fps回放智能间隔拍摄视频可以导致非cv事件组以一秒的压缩的形式回放。由于已经选择了cv事件的所有的视频帧，因此智能间隔拍摄视频流的部分的回放可以以正常的速度(例如，实时地)回放。
49.处理器102可以基于检测到的事件来生成智能间隔拍摄视频。cnn模块可以检测事件并标记对应于特定的事件的视频帧。在一个示例中，视频帧(例如，帧n)可以对应于事件a和事件b，并且在帧n之后的接下来的一百个视频帧(例如，帧n 100)可以仅对应于事件b。处理器102可以被配置为通过以下方式来组合选定的帧：从不具有事件的视频中选择一些视频帧(例如，通常仅选择i-帧)，并且然后选择具有事件a标记的所有的帧。然后，编码设备可以(例如，通过查找帧n和可以被选择的具有事件a标记的任何相邻帧)创建包括事件a的智能间隔拍摄视频(例如，压缩的视频)。类似地，可以针对事件b(例如，通过查找视频帧n和具有事件b标记的接下来的帧n 100)生成不同的智能间隔拍摄视频(例如，单独的视频文件)。
50.参考图6，示出了说明将完整的流记录到本地存储介质并且将降低的位率的视频流传送到云存储服务的图。示出了捕获的视频流。捕获的视频流可以是由摄像机系统100捕获的所有的视频数据(或内容)。摄像机系统100可以将所有的捕获的视频流(例如，完整的记录)记录到本地存储介质。在所示的示例中，本地存储介质可以是microsd卡。在另一示例中，本地存储介质可以是硬盘驱动器和/或固态驱动器。在又一个示例中，本地存储介质可以是emmc。所实现的本地存储介质的类型可以根据特定实现方式的设计标准而变化。
51.示出了智能间隔拍摄视频。智能间隔拍摄视频可以具有经调整的位率(例如，对应于非cv事件的所记录的视频的压缩的版本和对应于cv事件的所记录的视频的完整的版本)。在一些实施例中，cv事件数据也可以是压缩的版本(例如，使用事件的部分帧，该事件仍然提供所选择的视频帧(例如，更详细、更慢的回放速度)，而不是所选择的非cv事件视频帧的压缩的视图)。智能间隔拍摄视频被示出为正在被传送到云存储服务。例如，可以选择视频帧，将其编码为智能间隔拍摄视频流，并且然后将其上载到云存储服务。
52.被存储到本地存储介质的捕获的视频流的完整的记录被示出为包括比智能间隔拍摄视频流更多的视频帧。由于智能间隔拍摄视频流包括更少的视频帧，因此智能间隔拍
摄视频流可以具有比完整的记录更低的位率。上载智能间隔拍摄视频流可以比上载完整的记录传送更少的视频数据(例如，消耗更少的带宽，在云服务中要求更少的存储空间用于存储等)。智能间隔拍摄视频流可以提供cv事件的与完整的记录相同的细节量(或者如果cv事件数据具有稍微降低的帧速率，则智能间隔拍摄视频流可以提供足够的细节量)，并且提供非cv事件的压缩的视图。上载智能间隔拍摄视频流通常可以为用户提供cv事件的与完整的记录相同的细节量，但是消耗更少的带宽和/或使用更少的存储空间。
53.当从云存储服务下载智能间隔拍摄视频流时，也可以实现上载智能间隔拍摄视频流的益处(例如，更少的带宽)。例如，用户可以请求使用智能手机应用查看智能间隔拍摄视频流。例如，如果完整的记录的数据是智能间隔拍摄视频流的数据的两倍，则针对上载和后续下载可以存在带宽的四倍节约(例如，对上载的两倍节约以及对下载的另外两倍节约)。
54.在一些实施例中，完整的视频流可以被上载到云存储服务，并且云存储服务的分布式处理可以操作以选择对应于cv事件的视频帧。尽管将完整的视频流上载到云存储服务可以不提供带宽的节约，但是仍然可以实现存储的节约(例如，在通过分布式处理的生成后，可以由智能间隔拍摄视频流来替换完整的视频记录)。此外，可以对后续下载实现带宽节约(例如，用户从云存储服务下载智能间隔拍摄视频流)。
55.在一些实施例中，仅当事件被处理器检测到时，才可以以完整的帧速率(或固定的帧速率)上载视频帧。当没有检测到事件时，可以以非常大的间隔上载视频帧以节约要上载的位量。在一个示例中，摄像机系统100可以选择本地存储视频(例如，sd卡、emmc等)，并且仅上载智能间隔拍摄视频。在示例中，智能间隔拍摄视频可以在一天结束时被上载，或者在用户打开应用以查看自用户已经查看应用的最后时间以来发生了什么时被上载。在另一示例中，摄像机系统100可以仍然将24
×
7的流上载/编码到云存储服务。在一天结束时，推送通知(或电子邮件)可以被发送到终端用户。与进入时间轴视图并且查看事件视频片段(这将导致数据消耗和云成本)相反，可以将智能间隔拍摄视频呈现给用户。用户可以看到重要的事件，而摄像机操作员节约了成本(例如，节约了滚动并检查单独的片段中的每一个的成本)。
56.在图5和图6中，由处理器102选择的要被编码用于智能间隔拍摄视频的视频帧被示出为大于可能未被选择的帧。出于说明的目的，选定的视频帧和/或未选定的视频帧的尺寸被示出为不同的(例如，较大的尺寸指示视频帧已经被选择，并且较小的尺寸指示视频帧尚未被选择)。通常，选定的视频帧可以不一定是特定的类型的视频帧(例如，选择的视频帧可以是i-帧、b-帧、p-帧等中的任何一个)。例如，在“cv事件持续时间”中的所有视频帧可以是与在“无cv事件持续时间”中的视频帧相同的编码gop的一部分，这可以使得选定的视频帧能够是任何类型的视频帧。在示例中，选定的帧可能不需要全都是i-帧，这是因为当视频帧被捕获并且处理器102正在执行编码时，可以由cnn模块并行地执行对象/事件检测(例如，可以不必一捕获到新的视频帧就完成通过cnn模块的计算机视觉操作)。可以执行计算机视觉操作，并且然后如果检测到事件，则可以在不改变针对该事件的视频gop的情况下将整个视频gop标记为事件(例如，事件a)。处理器102可以解码整个gop并且使用cnn模块选择帧中的一些帧。例如，对于部分的智能间隔拍摄视频(在图6中示出)，为了更好的质量，cnn模块可以决定在gop中仅查找视频帧中的一些视频帧。
57.参考图7，示出了说明在捕获的视频帧中的事件检测的图。示出了示例视频帧。示
例视频帧可以包括提供给cnn模块的像素数据。cnn模块可以被配置为分析视频帧的像素数据以确定感兴趣的事件/对象是否存在。由cnn模块检测到的对象/事件的类型可以由用户选择和/或由处理器102加载的特征集定义。
58.示例视频帧可以是住宅50的正面的捕获的视频(例如，从正门朝向车道向下的角度的视图)。示例视频帧可以包括一个人正在签收由递送员递送的包裹。递送卡车可以停放在路上。也示出了树和附近的住宅。
59.示出了表示由cnn模块检测到的对象的边界框的虚线框。检测到的对象可以是递送员的面部、人(例如，房主)的面部以及递送车辆。在示例中，针对处理器102的设置可以将感兴趣的对象定义为人和车辆。例如，树和住宅可以不是感兴趣的对象。
60.由于示例视频帧包括至少一个感兴趣的对象，因此cnn模块可以将该视频帧标记为“事件”视频帧。如果智能间隔拍摄视频包括在事件的持续时间内的所有视频帧，则示例视频帧可以被编码并转码为智能间隔拍摄视频帧。
61.参考图8，示出了说明在智能手机上操作的用于控制针对间隔拍摄视频的偏好的应用的图。示出了应用界面。智能手机可以被配置为直接连接到边缘ai设备。智能手机可以被配置为连接到云服务以访问存储在云中的用户偏好。边缘ai设备可以被配置为根据从云中取回的设置来操作。
62.应用可以使得用户选择是对完整的智能间隔拍摄视频流进行编码(例如，选择具有检测到的事件/对象的所有视频帧)还是对部分的间隔拍摄视频流进行编码。如果选择了部分的智能间隔拍摄视频流选项，则用户可以进一步定义针对具有检测到的事件的视频帧的选择的帧速率。在所示的示例中，60fps、30fps和15fps被示出为可用选项。针对部分的智能间隔拍摄视频的帧速率的可用选项可以根据特定实现方式的设计标准而变化。选择较低的帧速率可以导致检测到的事件的更压缩的版本被插入到智能间隔拍摄视频流中。
63.应用可以使得用户能够选择要检测的对象和/或事件的类型。例如，事件可以是对人、车辆、动物的检测(例如，使用计算机视觉)、检测动作等。事件可以是音频事件(例如，检测可能比预定义的声音级别更响亮的声音、特定的类型的声音特征等)。该应用可以进一步使得用户能够观看直播流(例如，显示由边缘ai设备当前捕获的视频数据)。当cnn模块检测到事件时，该应用可以提供通知。
64.应用可以使得用户能够选择何时将智能间隔拍摄视频传送给用户(例如，何时从云存储服务推送到用户的智能手机)。可以以预定的时间间隔传送智能间隔拍摄视频。在所示的示例中，预定的时间间隔可以是每小时、每天或每周。例如，如果用户选择每天选项，则云存储服务可以每天传送智能间隔拍摄视频(例如，经编码的视频帧)。例如，可以提供其他选项来选择在一天中的哪个时间传送(例如，每天午夜)。每天提供智能间隔拍摄视频可以使得用户能够在特定的时间帧期间快速观看感兴趣的事件的视频(例如，用户将不会错过自先前的视频被观看以来已经发生的事件)。
65.在一些实施例中，用户可以选择按需接收智能间隔拍摄视频。例如，按需提供智能间隔拍摄视频可以包括每次已经检测到事件时传送智能间隔拍摄视频。智能间隔拍摄视频可以具有各种长度(例如，取决于事件之间已经经过多长时间，其可能相隔几小时或相隔几天)。当事件被检测到时，智能间隔拍摄视频可以被传送到用户的智能手机，该智能间隔拍摄视频包括自先前的事件被检测到以来的所有的经编码的视频帧。提供自先前的事件以来
的所有的经编码的视频帧可以使得用户能够在事件发生之后不久观看每个事件。提供自先前的事件以来的所有的经编码的视频帧可以使得用户能够查看直到事件之前的视频帧的压缩的版本，并且然后观看实际事件的完整的帧速率的视频。
66.当术语“可以”和“通常”在本文中结合“是”和动词使用时意指传达这样的意图：描述是示例性的，并且被认为足够宽泛以涵盖在本公开中呈现的具体示例以及可以基于本公开导出的可替代的示例两者。如本文中使用的术语“可以”和“通常”不应该被解释为一定暗示省略对应的元素的可取性或可能性。
67.尽管已经参考本发明的实施例具体地示出并描述了本发明，但是本领域技术人员将理解，可以在不脱离本发明的范围的情况下进行形式和细节的各种改变。