一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

图像处理方法、计算机可读存储介质以及计算机终端与流程

2022-03-01 21:15:15 来源:中国专利 TAG:


1.本技术涉及图像处理领域,具体而言,涉及一种图像处理方法、计算机可读存储介质以及计算机终端。


背景技术:

2.目前,通常采用短临外推的方式对变化的场景进行预测,例如,在气象应用场景中,基于气象图像采用短临外推的方式对未来时间段的降水量进行预报,但是,采用传统的短临外推方法来对变化场景进行预测的过程中,预测时间和显存消耗均会随着预测时长的增加而线性增加,很难满足大范围长时间的预测,导致预测的范围有限。
3.针对上述的问题,目前尚未提出有效的解决方案。


技术实现要素:

4.本技术实施例提供了一种图像处理方法、计算机可读存储介质以及计算机终端,以至少解决相关技术中对于变化场景难以进行长时间的预测的技术问题。
5.根据本技术实施例的一个方面,提供了一种图像处理方法,包括:获取历史图像序列,其中,历史图像序列为第一时间段内采集到的图像序列;利用图像预测模型基于历史图像序列对应的第一特征,对历史图像序列进行预测处理,得到第二时间段内的目标图像序列,其中,第一特征用于表征历史图像序列包含的目标在第一时间段和第二时间段内的运动状态,第二时间段为第一时间段之后的时间段。
6.根据本技术实施例的一个方面,提供了一种图像处理方法,包括:获取历史气象图序列,其中,历史气象图序列为第一时间段内采集到的气象图序列;利用气象预测模型基于历史气象图序列对应的第一特征,对历史气象图序列进行预测处理,得到第二时间段内的目标气象图序列,其中,第一特征用于表征历史气象图序列包含的气象目标在第一时间段和第二时间段内的运动状态,第二时间段为第一时间段之后的时间段。
7.根据本技术实施例的一个方面,提供了一种图像处理方法,包括:云服务器获取历史图像序列,其中,历史图像序列为第一时间段内采集到的图像序列;云服务器利用图像预测模型基于历史图像序列对应的第一特征,对历史图像序列进行预测处理,得到第二时间段内的目标图像序列,其中,第一特征用于表征历史图像序列包含的目标在第一时间段和第二时间段内的运动状态,第二时间段为第一时间段之后的时间段。
8.根据本技术实施例的另一个方面,提供了另一种图像处理装置,包括:第一获取模块,用于获取历史图像序列,其中,历史图像序列为第一时间段内采集到的图像序列;第一预测模块,用于利用图像预测模型基于历史图像序列对应的第一特征,对历史图像序列进行预测处理,得到第二时间段内的目标图像序列,其中,第一特征用于表征历史图像序列包含的目标在第一时间段和第二时间段内的运动状态,第二时间段为第一时间段之后的时间段。
9.根据本技术实施例的另一个方面,提供了另一种图像处理装置,包括:第二获取模
块,用于获取历史气象图序列,其中,历史气象图序列为第一时间段内采集到的气象图序列;第二预测模块,用于利用气象预测模型基于历史气象图序列对应的第一特征,对历史气象图序列进行预测处理,得到第二时间段内的目标气象图序列,其中,第一特征用于表征历史气象图序列包含的气象目标在第一时间段和第二时间段内的运动状态,第二时间段为第一时间段之后的时间段。
10.根据本技术实施例的另一个方面,提供了另一种图像处理装置,包括:第三获取模块用于通过云服务器获取历史图像序列,其中,历史图像序列为第一时间段内采集到的图像序列;第三预测模块用于通过云服务器利用图像预测模型基于历史图像序列对应的第一特征,对历史图像序列进行预测处理,得到第二时间段内的目标图像序列,其中,第一特征用于表征历史图像序列包含的目标在第一时间段和第二时间段内的运动状态,第二时间段为第一时间段之后的时间段。
11.根据本技术实施例的另一个方面,还提供了一种计算机可读存储介质,计算机可读存储介质包括存储的程序,其中,在程序运行时控制计算机可读存储介质所在设备执行上述任意一个实施例中的图像处理方法。
12.根据本技术实施例的另一个方面,还提供了一种计算机终端,包括:处理器和存储器,处理器用于运行存储器中存储的程序,其中,程序运行时执行上述任意一个实施例中的图像处理方法。
13.在本技术实施例中,首先获取历史图像序列,其中,历史图像序列为第一时间段内采集到的图像序列,然后利用图像预测模型基于历史图像序列对应的第一特征,对历史图像序列进行预测处理,得到第二时间段内目标图像序列,其中,第一特征用于表征历史图像序列包含的目标在第一时间段和第二时间段内的运动状态,第二时间段为第一时间段之后的时间段,实现了预测得到目标图像序列的目的。容易注意到的是,由于与历史图像序列对应的第一特征包含目标在第一时间段和第二时间段内的运动状态,因此,第一特征为目标的长时序运动特征,由于图像预测模型是利用长时序的运动特征作为辅助特征对历史图像序列进行预测处理的,因此,可以确保长时间预测得到的目标图像序列的精确度,以达到提高预测历史图像序列在长时间范围内预测精确度的技术效果,进而解决了相关技术中对于变化场景难以进行长时间的预测的技术问题。
附图说明
14.此处所说明的附图用来提供对本技术的进一步理解,构成本技术的一部分,本技术的示意性实施例及其说明用于解释本技术,并不构成对本技术的不当限定。在附图中:
15.图1是根据本技术实施例的一种用于实现图像处理方法的计算机终端(或移动设备)的硬件结构框图;
16.图2是根据本技术实施例1的一种图像处理方法的流程图;
17.图3是根据本技术实施例的一种交互界面的示意图;
18.图4是根据本技术实施例的一种可选的交互界面的示意图;
19.图5是根据本技术实施例1的另一种图像处理方法的流程图;
20.图6是根据本技术实施例的一种图像处理过程的示意图;
21.图7是根据本技术实施例2的一种图像处理方法的流程图;
22.图8是根据本技术实施例3的一种图像处理方法的流程图;
23.图9是根据本技术实施例4的一种图像处理装置的示意图;
24.图10是根据本技术实施例5的一种图像处理装置的示意图;
25.图11是根据本技术实施例6的一种图像处理装置的示意图;
26.图12根据本技术实施例的一种计算机终端的结构框图。
具体实施方式
27.为了使本技术领域的人员更好地理解本技术方案,下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本技术一部分的实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本技术保护的范围。
28.需要说明的是,本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
29.首先,在对本技术实施例进行描述的过程中出现的部分名词或术语适用于如下解释:
30.雷达外推:可以是利用雷达回拨序列预测未来雷达回波序列。
31.memory bank:可以是记忆模块或记忆库,m={mi}可以为矩阵形式,用于保存长时序运动信息。
32.目前的雷达短临外推方案只利用历史序列的雷达回波运动趋势信息去外推未来运动状态,由于缺乏对长时间运动状态的感知使得外推效果有限。lmc-memory(短期记忆库)利用memory bank机制进行视频预测,但该方案为基于lstm(lon short-term memory,短期记忆神经网络)循环神经网络的模型,其缺点是预测时间和显存消耗均随着预测时长的增加而线性增加,很难满足大范围长时间的序列预测。
33.为了解决上述问题,本技术提供了一种图像处理方法,通过将提取的第二特征与预先预测得到的长时序特征进行融合,并基于融合后的特征进行预测,可以延长预测的时间范围,且提高预测长时间范围的精确度。
34.实施例1
35.根据本技术实施例,还提供了一种图像处理方法的实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
36.本技术实施例所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现图像处理方法的计算机终端(或移动设备)的硬件结
构框图。如图1所示,计算机终端10(或移动设备10)可以包括一个或多个(图中采用102a、102b,
……
,102n来示出)处理器102(处理器102可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输装置106。除此以外,还可以包括:显示器、输入/输出接口(i/o接口)、通用串行总线(usb)端口(可以作为bus总线的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,计算机终端10还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
37.应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外,数据处理电路可为单个独立的处理模块,或全部或部分的结合到计算机终端10(或移动设备)中的其他元件中的任意一个内。如本技术实施例中所涉及到的,该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
38.存储器104可用于存储应用软件的软件程序以及模块,如本技术实施例中的图像处理方法对应的程序指令/数据存储装置,处理器102通过运行存储在存储器104内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的图像处理方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
39.传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中,传输装置106包括一个网络适配器(network interface controller,nic),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置106可以为射频(radio frequency,rf)模块,其用于通过无线方式与互联网进行通讯。
40.显示器可以例如触摸屏式的液晶显示器(lcd),该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。
41.图1示出的硬件结构框图,不仅可以作为上述计算机终端10(或移动设备)的示例性框图,还可以作为上述服务器的示例性框图,一种可选实施例中,一种可选实施例中,上述计算机终端10(或移动设备)可以是本地部署的服务器或云端服务器,经由数据网络连接或电子连接到一个或多个客户端。数据网络连接可以是局域网连接、广域网连接、因特网连接,或其他类型的数据网络连接。
42.在上述运行环境下,本技术提供了如图2所示的图像处理方法。图2是根据本技术实施例的图像处理方法的流程图。如图2所示,该方法可以包括如下步骤:
43.步骤s202,获取历史图像序列。
44.其中,历史图像序列为第一时间段内采集到的图像序列。
45.上述的第一时间段可以根据需求进行设定。
46.上述的图像序列可以是按照时间进行排列的图像序列。上述的历史图像序列可以是历史时间段按照时间进行排列的图像序列。其中,历史图像序列中可以包含有多个连续
的历史图像,多个连续的历史图像可以相隔第一时间段,第一时间段可以自行设定。可选地,历史图像序列中的图像中为遥感图像,也可以是无人机拍摄的航拍图像,还可以是雷达图像,还可以是卫星拍摄的图像,但不仅限于此。在不同应用场景中,历史图像序列中各个历史图像所包含的目标的类型不同,例如,在气象应用场景中,历史图像序列中所包含的目标可以为龙卷风、云层、雨、雪、冰雹、台风等;在农林业应用场景中,历史图像序列中所包含的目标可以为农作物,例如小麦、水稻、土豆等;在自然资源应用场景中,历史图像序列中所包含的目标可以为河流、熔岩等;在城市规划应用场景中,历史图像序列中所包含的目标可以为施工的建筑物;在交通运输应用场景中,历史图像序列中所包含的目标可以为车辆、地铁、飞机、轮船等。
47.在一种可选的实施例中,历史图像序列可以是当前时刻之前由卫星或无人机拍摄得到的图像序列,卫星或无人机可以连续拍摄多张图像作为图像序列,在需要对之前拍摄的图像序列进行分析或者处理时,可以按照第一时间段的开始时间点和结束时间点搜索得到历史图像序列,并通过网络传输给服务器,由服务器处理,同时可以将历史图像序列展示给用户,如图3所示,历史图像序列可以显示在图像采集区域内;在另一种可选的实施例中,历史图像序列可以由卫星或无人机拍摄,并由用户主动上传至服务器,由服务器处理,如图4所示,用户可以通过点击交互界面中的“上传图像”按钮,或将历史图像序列直接拖入虚线框的方式完成历史图像序列上传服务器的目的,而且,用户上传的历史图像序列可以显示在图像采集区域内。此处的服务器可以是部署在本地的服务器,也可以是部署在云端的服务器。
48.步骤s204,利用图像预测模型基于历史图像序列对应的第一特征,对历史图像序列进行预测处理,得到第二时间段内的目标图像序列。
49.其中,第一特征用于表征历史图像序列包含的目标在第一时间段和第二时间段内的运动状态,第二时间段为第一时间段之后的时间段。
50.上述的第一时间段可以是历史图像序列的全部时间段,还可以是历史图像序列的部分时间段,还可以是指定的时间段。
51.在一种可选的实施例中,可以通过u2net网络(convolutional networks for biomedical image segmentation,一种基于深度学习的图像语义分割方法)的编码器对历史图像序列进行编码处理,得到图像特征,然后从图像特征中确定出目标在第一时间段内的第二特征。
52.在另一种可选的实施例中,可以将第二特征和第一特征进行融合,得到融合后的特征,利用图像预测模型对融合后的特征进行预测处理,得到第二时间段内的目标图像序列。通过将第一特征作为辅助特征结合第二特征对历史图像序列进行预测,可以提高预测的准确度,从而提高目标图像序列的准确度。
53.在另一种可选的实施例中,可以利用c3d编码器对历史图像序列进行编码,利用3d卷积神经网络得到历史图像序列中的目标在空间中的第三特征,在得到第三特征之后,可以根据第三特征的空间向量来体现出目标的运动状态,并基于该空间向量从memory bank中检索出目标对应的向量,并获取该向量对应的长时序特征作为第一特征。
54.上述的3d卷积神经网络主要采用3d卷积和来提取三维空间中的特征。
55.在另一种可选的实施例中,在得到目标的第三特征对应的空间向量之后,可以将
空间向量与memory bank中预先存储的图像序列中的向量进行比对,确定出相似度较高的向量,并基于相似度较高的向量确定出第一特征。
56.在另一种可选的实施例中,由于第一特征包含目标在第一时间段内的运动状态和预测得到的目标在第二时间段内的运动状态,因此,可以通过第一特征作为第二特征的辅助特征预测得到第二时间段的目标图像序列,能够提高预测的精度。
57.在另一种可选的实施例中,可以对历史图像序列进行预测处理,得到目标在第一时间段内的第二特征,在得到第二特征的同时,可以利用c3d编码器对历史图像序列进行编码处理,并利用3d卷积神经网络得到历史图像序列在三维空间中的第三特征,并利用该第三特征在memory bank中检索与历史图像序列对应的长时序特征,即包含第一时间段和第二时间段的第一特征,通过将检索得到的第一特征作为辅助特征结合第二特征对历史图像序列进行预测,可以更精确的预测目标在更长时间段内的图像序列,因此,其相对于直接根据目标的历史图像序列进行预测的方式具有更长时间的预测范围以及更高的准确性。
58.例如,在气象应用场景中,可以对龙卷风的历史图像序列进行预测处理,在得到龙卷风在第一时间段内的运动变化以及形态变化的同时,即,得到龙卷风的第二特征的同时,可以利用c3d编码器得到历史图像序列进行编码处理,并利用3d卷积神经网络得到历史图像序列在三维空间中的第三特征,并利用该第三特征在memory bank中检索到与历史图像序列对应的长时序特征,也即,第一特征,通过将检索得到的第一特征作为辅助特征结合第二特征对历史图像序列进行预测,可以更精确的预测到龙卷风在更长时间段内的运动变化以及形态变化,因此,其相对于直接根据龙卷风的历史图像序列进行预测的方式具有更长时间的预测范围以及更高的准确性。
59.又例如,在气象应用场景中,可以对雨势的历史图像序列进行预测处理,在得到雨势在第一时间段内的雨量增加状态或者雨量减少状态的同时,即得到雨势的第二特征的同时,可以利用c3d编码器得到历史图像序列进行编码处理,并利用3d卷积神经网络得到历史图像序列在三维空间中的第三特征,并利用该第三特征在memory bank中检索到与历史图像序列对应的长时序特征,也即,第一特征,通过将检索得到的第一特征作为辅助特征结合第二特征对历史图像序列进行预测,可以更精确的预测到雨势在更长时间段的雨量增加状态或雨量减少状态,因此,其相对于直接根据雨势的历史图像序列进行预测的方式具有更长时间的预测范围以及更高的准确性。
60.又例如,在农林业应用场景中,可以对小麦的历史图像序列进行预测处理,在得到小麦在第一时间段内的长势的同时,即得到小麦的第二特征的同时,可以利用c3d编码器得到历史图像序列进行编码处理,并利用3d卷积神经网络得到历史图像序列在三维空间中的第三特征,并利用该第三特征在memory bank中检索到与历史图像序列对应的长时序特征,也即,第一特征,通过将检索得到的第一特征作为辅助特征结合第二特征对历史图像序列进行预测,可以更精确的预测到小麦在更长时间段的长势,因此,其相对于直接根据小麦的历史图像序列进行预测的方式具有更长时间的预测范围以及更高的准确性。
61.又例如,在自然资源应用场景中,可以对河流的历史图像序列进行预测处理,在得到河流在第一时间段内的流速以及流向的同时,即得到河流的第二特征的同时,可以利用c3d编码器得到历史图像序列进行编码处理,并利用3d卷积神经网络得到历史图像序列在三维空间中的第三特征,并利用该第三特征在memory bank中检索到与历史图像序列对应
的长时序特征,也即,第一特征,通过将检索得到的第一特征作为辅助特征结合第二特征对历史图像序列进行预测,可以更精确的预测到河流在更长时间段的流速以及流向,因此,其相对于直接根据河流的历史图像序列进行预测的方式具有更长时间的预测范围以及更高的准确性。
62.在另一种可选的实施例中,服务器在对第二特征和第一特征进行预测处理得到第二时间段内的目标图像序列之后,可以直接展示给用户查看;在另一种可选的实施例中,服务器在对第二特征和第一特征进行预测处理得到第二时间段内的目标图像序列之后,可以通过网络将目标图像序列反馈至用户的客户端,由客户端展示给用户查看。进一步地,将目标图像序列展示给用户之后,用户可以根据第二时间段内实时得到的图像序列来验证目标图像序列是否正确,如果不正确,则可以反馈正确的图像序列,并将其上传至服务器,从而服务器可以根据用户反馈对预测过程中的图像预测模型进行训练,达到提升服务器性能的效果。
63.例如,以气象应用场景中云层为例进行说明,在获取到卫星、无人机或雷达之前采集到云层的历史图像序列之后,可以将云层的历史图像序列直接发送到服务器进行预测处理,也可以传输给客户端,由用户进行选择,并上传需要进行预测处理的历史图像序列至服务器。服务器在获取到云层的历史图像序列之后,可以对云层的历史图像序列进行特征提取,得到历史图像序列对应的第二特征,并获取云层的历史图像序列对应的第一特征,其中,第一特征包括第一时间段内云层的运动状态和预先进行预测得到的第二时间段内云层的运动状态。在得到第二特征和第一特征之后,服务器可以直接将第二特征和第一特征展示给用户查看,或者,服务器将第二特征和第一特征下发至客户端,由客户端展示给用户查看,从而用户可以看到第二特征和第一特征,并且可以通过用户的反馈结果对预测处理过程进行优化,提升服务器的性能。
64.进一步地,在确定第二特征和第一特征之后,服务器基于云层的第二特征和第一特征对历史图像序列进行预测处理,得到第二时间段内的目标图像序列,在得到目标图像序列之后,服务器可以直接将目标图像序列展示给用户查看,或者,服务器将目标图像序列下发至客户端,由客户端展示给用户查看,从而用户可以看到目标图像序列,并且可以通过用户的反馈结果对预测处理过程进行优化,进一步地提升服务器的性能。
65.通过本技术上述实施例提供的方案,首先获取历史图像序列,其中,历史图像序列为第一时间段内采集到的图像序列,然后利用图像预测模型基于历史图像序列对应的第一特征,对历史图像序列进行预测处理,得到第二时间段内目标图像序列,其中,第一特征用于表征历史图像序列包含的目标在第一时间段和第二时间段内的运动状态,第二时间段为第一时间段之后的时间段,实现了预测得到目标图像序列的目的。容易注意到的是,由于与历史图像序列对应的第一特征包含目标在第一时间段和第二时间段内的运动状态,因此,第一特征为目标的长时序运动特征,由于图像预测模型是利用长时序的运动特征作为辅助特征对历史图像序列进行预测处理的,因此,可以确保长时间预测得到的目标图像序列的精确度,以达到提高预测历史图像序列在长时间范围内预测精确度的技术效果,进而解决了相关技术中对于变化场景难以进行长时间的预测的技术问题。
66.可选地,图像预测模型包括:预测网络和记忆模块,其中,利用图像预测模型基于历史图像序列对应的第一特征,对历史图像序列进行预测处理,得到第二时间段内的目标
图像序列包括:利用预测网络对历史图像序列进行特征提取,得到历史图像序列对应的第二特征,其中,第二特征用于表征目标在第一时间段内的运动状态;获取记忆模块中存储的第一特征;利用预测网络对第一特征和第二特征进行预测处理,得到目标图像序列。
67.上述的预测网络可以为特征提取网络,用于对历史图像序列进行特征提取。
68.上述的记忆模块可以为专门用于存放图像序列对应特征的存储空间,例如,存储器、memory bank,本技术中以memory bank为例进行说明。
69.在一种可选的实施例中,可以利用预测网络对历史图像序列进行特征提取得到历史图像序列对应的第二特征,在得到第二特征之后,可以利用第二特征在记忆模块中获取与第二特征对应的长时序特征,即第一特征,在得到第一特征之后,可以将第一特征和第二特征进行融合,得到融合后的特征,并利用预测网络对融合后的特征进行预测处理,得目标图像序列。
70.本技术上述实施例中,图像预测模型还包括:特征提取网络,获取记忆模块中存储的第一特征包括:利用特征提取网络对历史图像序列进行处理,得到历史图像序列对应的第三特征;获取第三特征中每个空间位置对应的第一向量;基于每个空间位置对应的第一向量和记忆模块中存储的多个第二向量,得到第一特征。
71.上述的特征提取网络可以为三维卷积网络,三维卷积网络可以由c3d编码器和3d卷积神经网络组成,其中,c3d编码器用于对历史图像序列中的目标进行三维空间中的特征编码,3d卷积神经网络用于提取编码后的特征。
72.在一种可选的实施例中,记忆模块可以为memory bank,其用于存储历史图像序列以及预测得到的目标图像序列对应的第二向量,其第二向量以矩阵的形式呈现,矩阵中的每一行为一个第二向量,每个第二向量都表示一种运动状态。
73.在一种可选的实施例中,可以利用3d卷积神经网络对历史图像序列进行特征提取,得到历史图像序列在三维空间中的抽象特征,获取第三特征中每个空间位置对应的第一向量,在获取到第一向量之后,可以根据第一向量的空间位置在存储提中找寻到与该空间位置对应的第二向量,并根据第一向量和第二向量之间的相似度,得到第一特征。
74.本技术上述实施例中,基于每个空间位置对应的第一向量和记忆模块中存储的多个第二向量,得到第一特征包括:获取第一向量与每个第二向量之间的相似度,得到多个相似度;获取每个相似度与对应的第二向量的加权和,得到每个空间位置对应的时序特征;基于第三特征中所有空间位置对应的时序特征,得到第一特征。
75.上述的时序特征可以为时间序列特征,用于体现目标的变化状态。
76.在一种可选的实施例中,可以根cos函数(余弦函数)获取第一向量和每个第二向量之间的相似度,得到多个相似度,并根据多个相似度和第二向量的加权和得到每个空间位置对应的时序特征,这样就可以确定出第三特征中所有空间位置对应的时序特征,在得到所有的时序特征之后,可以把所有位置的时序特征按照位置进行组合得到第一特征。
77.在另一种可选的实施例中,可以通过如下公式得到多个相似度:
[0078][0079]
其中,z
i,j
为第一向量,m
l
为第二向量,d()为cos函数,w
l
为相似度。
[0080]
在另一种可选的实施例中,可以通过如下公式获取每个相似度与对应的第二向量
的加权和:
[0081][0082]
其中,w
l
为相似度,m
l
为第二向量,w
lml
为时序特征,f
i,j
为第一特征。
[0083]
本技术上述实施例中,利用图像预测模型的编码器对历史图像序列进行特征提取,得到第二特征;利用图像预测模型的解码器对第二特征和第一特征进行预测处理,得到目标图像序列。
[0084]
在一种可选的实施例中,可以利用图像预测模型的编码器对历史图像序列进行特征编码处理,得到历史图像序列的图像特征,可以历史图像序列的图像特征中确定出第一时间段的第二特征。
[0085]
本技术上述实施例中,该方法还包括:获取训练样本,其中,训练样本包括:第一图像序列和第二图像序列,第一图像序列为第三时间段内采集到的图像序列,第二图像序列为第三时间段之后的第四时间段内采集到的图像序列;对第一图像序列进行特征提取,得到训练样本对应的第一特征,其中,第一特征用于表征训练样本包含的训练目标在第三时间段内的运动状态;获取训练样本对应的第四特征,其中,第四特征用于表征训练目标在第三时间段和第四时间段内的运动状态;对第一特征和第四特征进行预测处理,得到第四时间段内的第三图像序列;基于第二图像序列和第三图像序列,更新记忆模块的参数。
[0086]
上述的第一图像序列可以为训练目标在第三时间段内的运动状态,上述的第二图像序列可以是对第一图像序列进行预测得到的图像序列。
[0087]
在一种可选的实施例中,可以通过u2net网络的编码器对第一图像序列进行编码处理,得到图像特征,然后从图像特征中确定出训练目标在第三时间段内的第一特征。
[0088]
在另一种可选的实施例中,可以将第一图像序列和第二图像序列进行拼接,利用拼接后的图像序列在memory bank中检索得到训练目标的长时序特征,也即上述的第四特征。在得到第四特征之后,可以将第四特征作为辅助特征结合第一特征对第一图像序列进行预测处理,得到第四时间段内的第三图像序列,并根据第二图像序列和第三图像序列,更新memory bank的参数,通过更新memory bank中的参数,可以将训练目标长序列的运动信息进行保存,以便后续在实际预测过程中进行检索。
[0089]
在另一种可选的实施例中,可以基于第二图像序列和第三图像序列计算损失函数,并基于损失函数更新记忆模块中的参数。
[0090]
本技术上述实施例中,预测网络包括:由多个编码层构成的编码器、以及由多个解码层构成的解码器,记忆模块的输出与解码器的第一个解码层连接,多个编码层与多个解码层一一对应连接,其中,编码器用于对历史图像序列进行特征提取,得到第二特征,解码器用于对第一特征和第二特征进行预测处理,得到目标图像序列。
[0091]
上述的多个编码层可以串联连接,上述的多个解码层可以串联连接。
[0092]
在一种可选的实施例中,可以将历史图像序列输入到预测网络的编码器中,可以通过编码器中的多个编码层对历史图像序列进行编码,然后通过最后一个编码层输出历史图像序列的第二特征,可以从记忆模块中获取第一特征,并将第一特征和第二特征输入到解码器的第一层中,通过多个解码器对第一特征和第二特征进行预测处理,通过多个解码层的最后一个解码层输出目标图像序列。
[0093]
本技术上述实施例中,目标图像序列为气象图序列,在利用图像预测模型基于历史图像序列对应的第一特征,对历史图像序列进行预测处理,得到第二时间段内的目标图像序列之后,该方法还包括:基于目标图像序列确定第二时间段内的气象信息;在交互界面中展示气象信息。
[0094]
上述的交互界面可以为如图3所示的界面,用户可以通过该界面查看目标图像序列对应的反馈信息,并且可以在界面上对上述结果进行调整,并反馈给服务器。
[0095]
为了确保目标图像序列的准确度,在一种可选的实施例中,服务器可以直接将目标图像序列展示给用户查看,也即,将目标图像序列展示在交互界面上,在另一种可选的实施例中,服务器可以通过网络将目标图像序列下发给客户端,由客户端展示给用户查看,也即,将目标图像序列展示在交互界面上。进一步地,目标图像序列中可以由用户进行确认,如果确认无误,则可以直接确定该目标图像序列,如果用户确认有误,则用户可以在交互界面上对目标图像序列进行修改,得到相应的反馈信息,并将反馈信息反馈给服务器,服务器可以根据反馈信息对目标图像序列进行处理,而且,可以根据反馈信息对预测过程中的图像预测模型进行训练,以提升服务器的性能。
[0096]
在一种可选的实施例中,在目标图像序列为气象图像序列的情况下,可以根据气象图像序列确定出第二时间段内的气象信息,以确定出未来时间段内的降雨情况或者其他天气情况,可以在交互界面中展示气象信息,以提示用户未来时间段的降雨情况或者其他天气情况,提醒用户做好准备;还可以在交互界面中展示出行情况,以提示用户选择合适的交通工具进行出行。进一步地,还可以通过语音播报的形式播报未来时间段内的降雨情况或者其他天气情况;还可以通过语音播报的形式播报出行情况,并播报用户出行建议;进一步地,还可以通过短信提示的方式通知用户未来时间段的降雨情况或者其他天气情况,提醒用户做好准备;还可以通过短信提示的方式通知用户出行情况,并通知用户出行建议。
[0097]
在另一种可选的实施例中,在基于目标图像序列确定第二时间段内的气象信息之后,还可以根据第二时间段内的气象信息确定降雨量是否超出预设雨量,若超出预设雨量,则说明雨量较大,此时可以发出防洪防汛预警以提醒大众做好预防措施。
[0098]
本技术上述实施例中,在基于目标图像序列确定第二时间段内的气象信息之后,该方法还包括:基于气象信息生成第二时间段内的出行推荐信息,其中,出行推荐信息至少包括如下之一:出行路线、出行时间和携带物品;在交互界面中展示出行推荐信息。
[0099]
在一种可选的实施例中,若第二时间段内的气象信息为持续降雨,则可以根据持续降雨的气象信息生成出行推荐信息,其中,出行推荐信息可以包括不易拥堵的出行路线、雨量较小时的出行时间以及下雨时所要携带的雨伞雨衣等。可以在交互界面中展示出行推荐信息以提示用户查看,还可以通过语音播报的方式播报出行推荐信息,还可以通过短信的方式发送出行推荐信息至用户的移动终端。
[0100]
本技术上述实施例中,在基于目标图像序列确定第二时间段内的气象信息之后,该方法还包括:获取出行信息,其中,出行信息基于出行日程或反馈信息确定,反馈信息基于输出的出行询问信息生成,出行信息至少包括:出行目的地和出行时间;基于第二时间段内的气象信息,确定出行目的地在出行时间对应的目标气象信息;在交互界面中展示目标气象信息。
[0101]
在一种可选的实施例中,可以主动询问用户的出行计划,用户可以反馈有关出行
的信息,在用户获取到反馈信息之后,可以根据反馈信息确定出行信息,其中,反馈信息可以是用语音反馈的出行时间和出行目的地,反馈信息还可以是用文字反馈的出行时间和出行目的地。在另一种可选的实施例中,可以根据用户提前拟定好的出行日程确定出行信息,其中,出行日程可以为出行时间和出行目的地。
[0102]
在另一种可选的实施例中,在获取到出行信息之后,可以确定出行目的地在出行时间对应的天气情况,在交互界面中展示天气情况,以提醒用户准备好需要携带的物品。
[0103]
下面结合图5和图6对本技术一种优选的实施例进行详细说明,该方法可以由计算机终端或服务器执行。如图5所示,该方法包括如下步骤:
[0104]
步骤s501,获取雷达序列,利用编码器对雷达序列进行特征提取,得到第二特征;
[0105]
上述的雷达序列可以是第一时间段的历史图像序列。
[0106]
步骤s502,对第二特征进行预测处理,利用解码器对预测处理的结果进行解码,得到未来雷达序列;
[0107]
上述的未来雷达序列可以是第一次预测得到的第二时间段的历史图像序列。
[0108]
在一种可选的实施例中,可以利用u2net网络对第二特征进行预测处理。
[0109]
步骤s503,根据未来雷达序列从记忆库中检索出第一特征;
[0110]
上述的第一特征可以为长时序特征,其中,第一特征可以从长时序记忆库(long term memory bank)中获取,该长时序记忆库可以为矩阵形式,矩阵中的每一行为一个向量,用于表示一种运动特征。
[0111]
上述的检索过程分为两个阶段,阶段一可以是用于更新memory bank的阶段,如图6所示的长序列是由输入序列和输出序列拼接而成的,可以将长序列输出到c3d编码器中,利用3d卷积神经网络提取长序列中的特征,然后对该特征中的每一个空间位置抽取特征,并从记忆库中去query(询问)得到长时序特征,即,上述的第一特征,在得到第一特征之后,可以将第一特征与第二特征进行融合,并利用图像预测模型对融合后的特征进行预测。
[0112]
上述记忆库中的矩阵是可以更新的,其目的是将长序列的运动信息保存在其中。
[0113]
上述的query具体的操作流程为:设置c3d编码特征每个相对假设c3d编码特征每个像素对应的向量为z
i,j
,memory bank表示为每一行表示一个向量,向量个数为l,向量维度为c。可以用z
i,j
与m的每一行计算相似度w,如下式(1)所示,d(.,.)表示cos函数,表示两个向量之间的相似度。然后利用计算出来的相似度w与m相乘相加就得到长时序特征f,即上述的第一特征。
[0114][0115]
其中,z
i,j
为第i行第j列的像素对应的向量,m
l
为l行的特征,d(.,.)为cos函数。
[0116]
第i行第j列对应的长时序特征f
i,j
如下式(2)所示:
[0117][0118]
其中,l表示向量的个数,w
l
为l行的相似度,m
l
为l行的特征。
[0119]
如图6所示,在阶段二中,还可以检索长时序特征,将输入序列(短序列)输入另一个c3d编码器提取特征,从memory中query出对应的长时序特征,并将提取到的特征与长时
序特征融合后进行预测。在此阶段中。memory bank的参数是固定的,不参与更新,其仅用于特征的检索。
[0120]
需要说明的是,在每次迭代的过程中,上述的阶段一和阶段二交替进行。
[0121]
步骤s504,利用图像预测模型对第二特征和第一特征进行预测,得到目标雷达序列。
[0122]
上述的目标雷达序列相对于上述的未来雷达序列精确度更高。
[0123]
实施例2
[0124]
根据本技术实施例,还提供一种图像处理方法,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同此处的顺序执行所示出或描述的步骤。
[0125]
图7是根据本技术实施例2的一种图像处理方法的流程图。如图7所示,该方法可以包括如下步骤:
[0126]
步骤s702,获取历史气象图序列。
[0127]
其中,历史气象图序列为第一时间段内采集到的气象图序列。
[0128]
步骤s704,利用气象预测模型基于历史气象图序列对应的第一特征,对历史气象图序列进行预测处理,得到第二时间段内的目标气象图序列。
[0129]
其中,第一特征用于表征历史气象图序列包含的气象目标在第一时间段和第二时间段内的运动状态,第二时间段为第一时间段之后的时间段。
[0130]
上述的气象图序列可以为云层、雨、雪、风等气象图序列。
[0131]
本技术上述实施例中,气象预测模型包括:预测网络和记忆模块,其中,利用气象预测模型基于历史气象图序列对应的第一特征,对历史气象图序列进行预测处理,得到第二时间段内的目标气象图序列包括:利用预测网络对历史气象图序列进行特征提取,得到历史气象图序列对应的第二特征,其中,第二特征用于表征气象目标在第一时间段内的运动状态;获取记忆模块中存储的第一特征;利用预测网络对第一特征和第二特征进行预测处理,得到第二时间段内的目标气象图序列。
[0132]
本技术上述实施例中,在利用气象预测模型基于历史气象图序列对应的第一特征,对历史气象图序列进行预测处理,得到第二时间段内的目标气象图序列之后,该方法还包括:基于目标气象图序列确定第二时间段内的气象信息;确定气象信息对应提醒信息,其中,提醒信息可以用于提示农业生产信息;输出提醒信息。
[0133]
上述的气象信息可以为下雨量、下雪量、太阳的紫外线强度等。
[0134]
上述提醒信息可以以界面展示的方式呈现,还可以以短信提示的方式呈现,还可以以语音播放的方式进行播放。
[0135]
上述的农业信息可以为施肥信息、喷洒农药信息、农作物种植信息等。在本技术中以农业信息为施肥信息为例进行说明。
[0136]
在一种可选的实施例中,可以根据目标气象图像序列确定第二时间段内是否有少量降雨,由于一般在阴雨天对农作物施肥的效果最好,因此,在第二时间段内有少量降雨的情况下,则确定第二时间段内农业生产信息为适宜施肥,此时可以在交互界面中展示适宜施肥的农业生产信息以提示用户进行施肥;进一步地,还可以通过语音播报的形式播报适宜施肥的信息;进一步地,还可以通过短信发送适宜施肥的信息至用户的移动终端。
[0137]
本技术上述实施例中,图像预测模型还包括:特征提取网络,获取记忆模块中存储的第一特征包括:利用特征提取网络对历史图像序列进行处理,得到历史图像序列对应的第三特征;获取第三特征中每个空间位置对应的第一向量;基于每个空间位置对应的第一向量和记忆模块中存储的多个第二向量,得到第一特征。
[0138]
本技术上述实施例中,预测网络包括:由多个编码层构成的编码器、以及由多个解码层构成的解码器,记忆模块的输出与解码器的第一个解码层连接,多个编码层与多个解码层一一对应连接,其中,编码器用于对历史图像序列进行特征提取,得到第二特征,解码器用于对第一特征和第二特征进行预测处理,得到目标气象图序列。
[0139]
需要说明的是,本技术上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同,但不仅限于实施例1所提供的方案。
[0140]
实施例3
[0141]
根据本技术实施例,还提供一种图像处理方法,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同此处的顺序执行所示出或描述的步骤。
[0142]
图8是根据本技术实施例3的一种图像处理方法的流程图。如图8所示,该方法可以包括如下步骤:
[0143]
步骤s802,云服务器获取历史图像序列。
[0144]
其中,历史图像序列为第一时间段内采集到的图像序列。
[0145]
步骤s804,云服务器利用图像预测模型基于历史图像序列对应的第一特征,对历史图像序列进行预测处理,得到第二时间段内的目标图像序列。
[0146]
其中,第一特征用于表征历史图像序列包含的目标在第一时间段和第二时间段内的运动状态,第二时间段为第一时间段之后的时间段。
[0147]
本技术上述实施例中,图像预测模型包括:预测网络和记忆模块,其中,利用图像预测模型基于历史图像序列对应的第一特征,对历史图像序列进行预测处理,得到第二时间段内的目标图像序列包括:云服务器利用预测网络对历史图像序列进行特征提取,得到历史图像序列对应的第二特征,其中,第二特征用于表征目标在第一时间段内的运动状态;云服务器获取记忆模块中存储的第一特征;云服务器利用预测网络对第一特征和第二特征进行预测处理,得到目标图像序列。
[0148]
本技术上述实施例中,图像预测模型还包括:特征提取网络,获取记忆模块中存储的第一特征包括:云服务器利用特征提取网络对历史图像序列进行处理,得到历史图像序列对应的第三特征;云服务器获取第三特征中每个空间位置对应的第一向量;云服务器基于每个空间位置对应的第一向量和记忆模块中存储的多个第二向量,得到第一特征。
[0149]
本技术上述实施例中,预测网络包括:由多个编码层构成的编码器、以及由多个解码层构成的解码器,记忆模块的输出与解码器的第一个解码层连接,多个编码层与多个解码层一一对应连接,其中,编码器用于对历史图像序列进行特征提取,得到第二特征,解码器用于对第一特征和第二特征进行预测处理,得到目标图像序列。
[0150]
本技术上述实施例中,目标图像序列为气象图序列,在利用图像预测模型基于历史图像序列对应的第一特征,对历史图像序列进行预测处理,得到第二时间段内的目标图像序列之后,方法还包括:云服务器基于目标图像序列确定第二时间段内的气象信息;云服
务器在交互界面中展示气象信息。
[0151]
本技术上述实施例中,在基于目标图像序列确定第二时间段内的气象信息之后,方法还包括:云服务器基于气象信息生成第二时间段内的出行推荐信息,其中,出行推荐信息至少包括如下之一:出行路线、出行时间和携带物品;云服务器在交互界面中展示出行推荐信息。
[0152]
本技术上述实施例中,在基于目标图像序列确定第二时间段内的气象信息之后,该方法还包括:云服务器获取出行信息,其中,出行信息基于出行日程或反馈信息确定,反馈信息基于输出的出行询问信息生成,出行信息至少包括:出行目的地和出行时间;云服务器基于第二时间段内的气象信息,确定出行目的地在出行时间对应的目标气象信息;云服务器在交互界面中展示目标气象信息。
[0153]
需要说明的是,本技术上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同,但不仅限于实施例1所提供的方案。
[0154]
实施例4
[0155]
根据本技术实施例,还提供了一种用于实施上述图像处理方法的图像处理装置,如图9所示,该装置900包括:第一获取模块902、第一预测模块904。
[0156]
其中,第一获取模块,用于获取历史图像序列,其中,历史图像序列为第一时间段内采集到的图像序列;第一预测模块,用于利用图像预测模型基于历史图像序列对应的第一特征,对历史图像序列进行预测处理,得到第二时间段内的目标图像序列,其中,第一特征用于表征历史图像序列包含的目标在第一时间段和第二时间段内的运动状态,第二时间段为第一时间段之后的时间段。
[0157]
此处需要说明的是,第一获取模块902、第一预测模块904对应于实施例1的步骤s202至步骤s204,两个模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例1所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。
[0158]
本技术上述实施例中,图像预测模型包括:预测网络和记忆模块,其中,利用图像预测模型基于历史图像序列对应的第一特征,第一预测模块,包括:第一提取单元、第一获取单元、第一预测单元。
[0159]
其中,第一提取单元用于利用预测网络对历史图像序列进行特征提取,得到历史图像序列对应的第二特征,其中,第二特征用于表征目标在第一时间段内的运动状态;第一获取单元用于获取记忆模块中存储的第一特征;第一预测单元用于利用预测网络对第一特征和第二特征进行预测处理,得到目标图像序列。
[0160]
本技术上述实施例中,图像预测模型还包括:特征提取网络,第一获取单元,包括:第一处理子单元、第一获取子单元、存储单元。
[0161]
其中,第一处理子单元用于利用特征提取网络对历史图像序列进行处理,得到历史图像序列对应的第三特征;第一获取子单元用于获取第三特征中每个空间位置对应的第一向量;存储单元用于基于每个空间位置对应的第一向量和记忆模块中存储的多个第二向量,得到第一特征。
[0162]
本技术上述实施例中,预测网络包括:由多个编码层构成的编码器、以及由多个解码层构成的解码器,记忆模块的输出与解码器的第一个解码层连接,多个编码层与多个解
码层一一对应连接,其中,编码器用于对历史图像序列进行特征提取,得到第二特征,解码器用于对第一特征和第二特征进行预测处理,得到目标图像序列。
[0163]
本技术上述实施例中,该装置还包括:第一确定模块、第一展示模块。
[0164]
其中,第一确定模块用于基于目标图像序列确定第二时间段内的气象信息;第一展示模块用于在交互界面中展示气象信息。
[0165]
本技术上述实施例中,该装置还包括:生成模块。
[0166]
其中,生成模块用于基于气象信息生成第二时间段内的出行推荐信息,其中,出行推荐信息至少包括如下之一:出行路线、出行时间和携带物品;第一展示模块还用于在交互界面中展示出行推荐信息。
[0167]
其中,第一获取模块还用于获取出行信息,其中,出行信息基于出行日程或反馈信息确定,反馈信息基于输出的出行询问信息生成,出行信息至少包括:出行目的地和出行时间;第一确定模块还用于基于第二时间段内的气象信息,确定出行目的地在出行时间对应的目标气象信息;第一展示模块还用于在交互界面中展示目标气象信息。
[0168]
需要说明的是,本技术上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同,但不仅限于实施例1所提供的方案。
[0169]
实施例5
[0170]
根据本技术实施例,还提供了一种用于实施上述图像处理方法的图像处理装置,如图10所示,该装置1000包括:第二获取模块1002、第二预测模块1004。
[0171]
其中,第二获取模块用于获取历史气象图序列,其中,历史气象图序列为第一时间段内采集到的气象图序列;第二预测模块用于利用气象预测模型基于历史气象图序列对应的第一特征,对历史气象图序列进行预测处理,得到第二时间段内的目标气象图序列,其中,第一特征用于表征历史气象图序列包含的气象目标在第一时间段和第二时间段内的运动状态,第二时间段为第一时间段之后的时间段。
[0172]
此处需要说明的是,第二获取模块1002、第二预测模块1004对应于实施例2的步骤s702至步骤s704,两个模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例1所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。
[0173]
本技术上述实施例中,气象预测模型包括:预测网络和记忆模块,其中,利用气象预测模型基于历史气象图序列对应的第一特征,第二预测模块包括:第二提取单元、第二获取单元、第二预测单元。
[0174]
其中,第二提取单元用于利用预测网络对历史气象图序列进行特征提取,得到历史气象图序列对应的第二特征,其中,第二特征用于表征气象目标在第一时间段内的运动状态;第二获取单元用于获取记忆模块中存储的第一特征;第二预测单元用于利用预测网络对第一特征和第二特征进行预测处理,得到第二时间段内的目标图像序列。
[0175]
本技术上述实施例中,该装置还包括:第二确定模块、输出模块。
[0176]
其中,第二确定模块用于基于目标气象图序列确定第二时间段内的气象信息;第二确定模块还用于确定气象信息对应提醒信息,其中,提醒信息可以用于提示农业生产信息;输出模块用于输出提醒信息。
[0177]
需要说明的是,本技术上述实施例中涉及到的优选实施方案与实施例1提供的方
案以及应用场景、实施过程相同,但不仅限于实施例1所提供的方案。
[0178]
实施例6
[0179]
根据本技术实施例,还提供了一种用于实施上述图像处理方法的图像处理装置,如图11所示,该装置1100包括:第三获取模块1102、第三预测模块1104。
[0180]
其中,第三获取模块用于通过云服务器获取历史图像序列,其中,历史图像序列为第一时间段内采集到的图像序列;第三预测模块用于通过云服务器利用图像预测模型基于历史图像序列对应的第一特征,对历史图像序列进行预测处理,得到第二时间段内的目标图像序列,其中,第一特征用于表征历史图像序列包含的目标在第一时间段和第二时间段内的运动状态,第二时间段为第一时间段之后的时间段。
[0181]
此处需要说明的是,上述的第三获取模块1102、第三预测模块1104对应于实施例3的步骤s802至步骤s804,两个模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例1所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。
[0182]
需要说明的是,本技术上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同,但不仅限于实施例1所提供的方案。
[0183]
实施例7
[0184]
本技术的实施例可以提供一种计算机终端,该计算机终端可以是计算机终端群中的任意一个计算机终端设备。可选地,在本实施例中,上述计算机终端也可以替换为移动终端等终端设备。
[0185]
可选地,在本实施例中,上述计算机终端可以位于计算机网络的多个网络设备中的至少一个网络设备。
[0186]
在本实施例中,上述计算机终端可以执行图像特征提取方法中以下步骤的程序代码:获取历史图像序列,其中,历史图像序列为第一时间段内采集到的图像序列;对历史图像序列进行特征提取,得到历史图像序列对应的第二特征,其中,第二特征用于表征历史图像序列包含的目标在第一时间段内的运动状态;获取历史图像序列对应的第一特征,其中,第一特征用于表征目标在第一时间段和第二时间段内的运动状态,第二时间段为第一时间段之后的时间段;对第二特征和第一特征进行预测处理,得到第二时间段内的目标图像序列。
[0187]
可选地,图12为根据本技术实施例的一种计算机终端的结构框图。如图12所示,该计算机终端a可以包括:一个或多个(图中仅示出一个)处理器1202、以及存储器1204。
[0188]
其中,存储器可用于存储软件程序以及模块,如本技术实施例中的图像特征提取方法和装置对应的程序指令/模块,处理器通过运行存储在存储器内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的图像特征提取方法。存储器可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器可进一步包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至终端a。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0189]
处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:获取历史图像序列,其中,历史图像序列为第一时间段内采集到的图像序列;利用图像预测
模型基于历史图像序列对应的第一特征,对历史图像序列进行预测处理,得到第二时间段内的目标图像序列,其中,第一特征用于表征历史图像序列包含的目标在第一时间段和第二时间段内的运动状态,第二时间段为第一时间段之后的时间段。
[0190]
可选地,上述处理器还可以执行如下步骤的程序代码:利用预测网络对历史图像序列进行特征提取,得到历史图像序列对应的第二特征,其中,第二特征用于表征目标在第一时间段内的运动状态;获取记忆模块中存储的第一特征;利用预测网络对第一特征和第二特征进行预测处理,得到目标图像序列。
[0191]
可选地,上述处理器还可以执行如下步骤的程序代码:利用特征提取网络对历史图像序列进行处理,得到历史图像序列对应的第三特征;获取第三特征中每个空间位置对应的第一向量;基于每个空间位置对应的第一向量和记忆模块中存储的多个第二向量,得到第一特征。
[0192]
可选地,上述处理器还可以执行如下步骤的程序代码:预测网络包括:由多个编码层构成的编码器、以及由多个解码层构成的解码器,记忆模块的输出与解码器的第一个解码层连接,多个编码层与多个解码层一一对应连接,其中,编码器用于对历史图像序列进行特征提取,得到第二特征,解码器用于对第一特征和第二特征进行预测处理,得到目标图像序列。
[0193]
可选地,上述处理器还可以执行如下步骤的程序代码:基于目标图像序列确定第二时间段内的气象信息;在交互界面中展示气象信息。
[0194]
可选地,上述处理器还可以执行如下步骤的程序代码:基于气象信息生成第二时间段内的出行推荐信息,其中,出行推荐信息至少包括如下之一:出行路线、出行时间和携带物品;在交互界面中展示出行推荐信息。
[0195]
可选地,上述处理器还可以执行如下步骤的程序代码:获取出行信息,其中,出行信息基于出行日程或反馈信息确定,反馈信息基于输出的出行询问信息生成,出行信息至少包括:出行目的地和出行时间;基于第二时间段内的气象信息,确定出行目的地在出行时间对应的目标气象信息;在交互界面中展示目标气象信息。
[0196]
处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:获取历史气象图序列,其中,历史气象图序列为第一时间段内采集到的气象图序列;利用气象预测模型基于历史气象图序列对应的第一特征,对历史气象图序列进行预测处理,得到第二时间段内的目标气象图序列,其中,第一特征用于表征历史气象图序列包含的气象目标在第一时间段和第二时间段内的运动状态,第二时间段为第一时间段之后的时间段。
[0197]
可选地,上述处理器还可以执行如下步骤的程序代码:利用预测网络对历史气象图序列进行特征提取,得到历史气象图序列对应的第二特征,其中,第二特征用于表征气象目标在第一时间段内的运动状态;获取记忆模块中存储的第一特征;利用预测网络对第一特征和第二特征进行预测处理,得到第二时间段内的目标图像序列。
[0198]
可选地,上述处理器还可以执行如下步骤的程序代码:基于目标气象图序列确定第二时间段内的气象信息;确定气象信息对应提醒信息,其中,提醒信息可以用于提示农业生产信息;输出提醒信息。
[0199]
处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:云服务器获取历史图像序列,其中,历史图像序列为第一时间段内采集到的图像序列;云服
务器利用图像预测模型基于历史图像序列对应的第一特征,对历史图像序列进行预测处理,得到第二时间段内的目标图像序列,其中,第一特征用于表征历史图像序列包含的目标在第一时间段和第二时间段内的运动状态,第二时间段为第一时间段之后的时间段。
[0200]
本领域普通技术人员可以理解,图12所示的结构仅为示意,计算机终端也可以是智能手机(如android手机、ios手机等)、平板电脑、掌上电脑以及移动互联网设备(mobile internet devices,mid)、pad等终端设备。图12其并不对上述电子装置的结构造成限定。例如,计算机终端a还可包括比图12中所示更多或者更少的组件(如网络接口、显示装置等),或者具有与图12所示不同的配置。
[0201]
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(read-only memory,rom)、随机存取器(random access memory,ram)、磁盘或光盘等。
[0202]
实施例12
[0203]
本技术的实施例还提供了一种存储介质。可选地,在本实施例中,上述存储介质可以用于保存上述实施例所提供的图像分割方法所执行的程序代码。
[0204]
可选地,在本实施例中,上述存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中,或者位于移动终端群中的任意一个移动终端中。
[0205]
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:获取历史图像序列,其中,历史图像序列为第一时间段内采集到的图像序列;利用图像预测模型基于历史图像序列对应的第一特征,对历史图像序列进行预测处理,得到第二时间段内的目标图像序列,其中,第一特征用于表征历史图像序列包含的目标在第一时间段和第二时间段内的运动状态,第二时间段为第一时间段之后的时间段。
[0206]
可选地,上述存储介质还被设置为存储用于执行以下步骤的程序代码:利用预测网络对历史图像序列进行特征提取,得到历史图像序列对应的第二特征,其中,第二特征用于表征目标在第一时间段内的运动状态;获取记忆模块中存储的第一特征;利用预测网络对第一特征和第二特征进行预测处理,得到目标图像序列。
[0207]
可选地,上述存储介质还被设置为存储用于执行以下步骤的程序代码:利用特征提取网络对历史图像序列进行处理,得到历史图像序列对应的第三特征;获取第三特征中每个空间位置对应的第一向量;基于每个空间位置对应的第一向量和记忆模块中存储的多个第二向量,得到第一特征。
[0208]
可选地,上述存储介质还被设置为存储用于执行以下步骤的程序代码:预测网络包括:由多个编码层构成的编码器、以及由多个解码层构成的解码器,记忆模块的输出与解码器的第一个解码层连接,多个编码层与多个解码层一一对应连接,其中,编码器用于对历史图像序列进行特征提取,得到第二特征,解码器用于对第一特征和第二特征进行预测处理,得到目标图像序列。
[0209]
可选地,上述存储介质还被设置为存储用于执行以下步骤的程序代码:基于目标图像序列确定第二时间段内的气象信息;在交互界面中展示气象信息。
[0210]
可选地,上述存储介质还被设置为存储用于执行以下步骤的程序代码:基于气象信息生成第二时间段内的出行推荐信息,其中,出行推荐信息至少包括如下之一:出行路
线、出行时间和携带物品;在交互界面中展示出行推荐信息。
[0211]
可选地,上述存储介质还被设置为存储用于执行以下步骤的程序代码:获取出行信息,其中,出行信息基于出行日程或反馈信息确定,反馈信息基于输出的出行询问信息生成,出行信息至少包括:出行目的地和出行时间;基于第二时间段内的气象信息,确定出行目的地在出行时间对应的目标气象信息;在交互界面中展示目标气象信息。
[0212]
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:获取历史气象图序列,其中,历史气象图序列为第一时间段内采集到的气象图序列;利用气象预测模型基于历史气象图序列对应的第一特征,对历史气象图序列进行预测处理,得到第二时间段内的目标气象图序列,其中,第一特征用于表征历史气象图序列包含的气象目标在第一时间段和第二时间段内的运动状态,第二时间段为第一时间段之后的时间段。
[0213]
可选地,上述存储介质还被设置为存储用于执行以下步骤的程序代码:利用预测网络对历史气象图序列进行特征提取,得到历史气象图序列对应的第二特征,其中,第二特征用于表征气象目标在第一时间段内的运动状态;获取记忆模块中存储的第一特征;利用预测网络对第一特征和第二特征进行预测处理,得到第二时间段内的目标图像序列。
[0214]
可选地,上述存储介质还被设置为存储用于执行以下步骤的程序代码:基于目标气象图序列确定第二时间段内的气象信息;确定气象信息对应提醒信息,其中,提醒信息可以用于提示农业生产信息;输出提醒信息。
[0215]
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:云服务器获取历史图像序列,其中,历史图像序列为第一时间段内采集到的图像序列;云服务器利用图像预测模型基于历史图像序列对应的第一特征,对历史图像序列进行预测处理,得到第二时间段内的目标图像序列,其中,第一特征用于表征历史图像序列包含的目标在第一时间段和第二时间段内的运动状态,第二时间段为第一时间段之后的时间段。
[0216]
需要说明的是,本技术上述实施例中所涉及的图像的收集、存储、使用、加工、传输、提供和公开等处理,均符合相关法律法规的规定,且不违背公序良俗。
[0217]
上述本技术实施例序号仅仅为了描述,不代表实施例的优劣。
[0218]
在本技术所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
[0219]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0220]
另外,在本技术各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
[0221]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用
时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、只读存储器(rom,read-only memory)、随机存取存储器(ram,random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0222]
以上所述仅是本技术的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本技术原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本技术的保护范围。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献