一种基于多模态信息融合的事件图像去模糊方法及系统

本发明涉及计算机领域，特别涉及一种基于多模态信息融合的事件图像去模糊方法及系统。

背景技术：

1、在利用电子设备拍摄时，可能会出现图像模糊的情况，图像模糊通常是由被拍摄的物体运动、电子设备抖动和电子设备的景深变化等因素引起的。可以采用基于深度学习的卷积网络进行图像去模糊，从而得到清晰图像。

2、但是基于深度学习的卷积网络在面对以快速运动为特征的复杂现实场景时的图像去模糊表现仍然无法满足要求。

3、因此，如何提高图像去模糊的效果，得到清晰图像是一个亟待解决的问题。

技术实现思路

1、有鉴于此，本技术的目的在于提供一种基于多模态信息融合的事件图像去模糊方法及系统，充分结合事件数据和初始图像帧，得到清晰图像帧，从而实现高性能的图像去模糊。

2、为实现上述目的，本技术有如下技术方案：

3、本技术提供了一种基于多模态信息融合的事件图像去模糊方法，其特征在于，包括：

4、获取事件数据和初始图像帧，将所述事件数据和所述初始图像帧输入至去模糊模型，得到所述初始图像帧对应的清晰图像帧，所述去模糊模型包括粗糙融合模块和细融合模块；

5、所述粗糙融合模块对所述事件数据和所述初始图像帧进行特征提取以及特征融合，得到具有时间顺序的多个粗糙融合图像帧；

6、所述细融合模块对多个在时间顺序上相邻的粗糙融合图像帧进行特征融合，得到所述清晰图像帧。

7、可选地，所述粗糙融合模块分别对所述事件数据和所述初始图像帧进行特征提取，分别得到事件特征和图像特征；

8、所述粗糙融合模块将所述事件特征作为查询向量，将所述图像特征作为键向量和值向量，对所述事件特征和所述图像特征进行特征融合，得到第一融合特征；

9、所述粗糙融合模块将所述图像特征作为查询向量，将所述事件特征作为键向量和值向量，对所述事件特征和所述图像特征进行特征融合，得到第二融合特征；

10、所述粗糙融合模块拼接所述第一融合特征和所述第二融合特征，得到具有时间顺序的多个粗糙融合图像帧。

11、可选地，所述粗糙融合模块包括第一事件图像融合模块和第二事件图像融合模块；

12、所述第一事件图像融合模块将所述事件特征作为查询向量，将所述图像特征作为键向量和值向量，对所述事件特征和所述图像特征进行特征融合，得到第一融合特征；

13、所述第二事件图像融合模块将所述图像特征作为查询向量，将所述事件特征作为键向量和值向量，对所述事件特征和所述图像特征进行特征融合，得到第二融合特征。

14、可选地，所述第一事件图像融合模块包括层归一化层、卷积层、第一逐元素点乘层、第二逐元素点乘层以及通道注意力模块；

15、所述层归一化层和所述卷积层对所述事件特征以及初始融合特征进行处理，得到的处理结果作为查询向量；

16、所述层归一化层和所述卷积层对所述图像特征进行处理，得到的处理结果作为键向量和值向量；

17、利用所述第一逐元素点乘层结合所述查询向量和所述键向量，得到第一点乘结果，利用所述第二逐元素点乘层结合所述第一点乘结果和所述值向量，得到第二点乘结果；

18、将第二点乘结果和事件特征拼接得到初始融合特征；

19、将所述初始融合特征输入至通道注意力模块，得到第一融合特征。

20、可选地，所述粗糙融合模块还包括监督注意力模块；

21、所述监督注意力模块根据第一融合特征或第二融合特征与真值结合计算损失，根据损失得到准确的第一融合特征或第二融合特征。

22、可选地，所述获取事件数据和初始图像帧，将所述事件数据和所述初始图像帧输入至去模糊模型包括：

23、获取初始图像帧，所述初始图像帧为模糊图像；

24、获取所述初始图像帧对应的事件数据；

25、将所述事件数据按照时间间隔平均到n个时间点，从中间图像帧累积事件数据至所述n个时间点，得到n个事件体素块；n为大于0的正整数；

26、将所述n个事件体素块和所述初始图像帧输入至去模糊模型。

27、可选地，在时间顺序上相邻的粗糙融合图像帧包括第i个粗糙融合图像帧和第i+1个粗糙融合图像帧；所述细融合模块包括双向帧融合模块；

28、所述双向帧融合模块将第i个粗糙融合图像帧的第一部分和第i+1个粗糙融合图像帧进行特征融合，得到前向传播融合结果；

29、所述双向帧融合模块将第i+1个粗糙融合图像帧的第二部分和第i个粗糙融合图像帧进行特征融合，得到后向传播融合结果；

30、所述细融合模块根据所述前向传播融合结果和所述后向传播融合结果，得到所述清晰图像帧。

31、可选地，所述双向帧融合模块包括前向传播模块和后向传播模块；

32、所述前向传播模块将第i个粗糙融合图像帧的第一部分和第i+1个粗糙融合图像帧进行特征融合，得到前向传播融合结果；

33、所述后向传播模块将第i+1个粗糙融合图像帧的第二部分和第i个粗糙融合图像帧进行特征融合，得到后向传播融合结果。

34、可选地，所述细融合模块包括简单门；

35、所述简单门将所述前向传播融合结果和所述后向传播融合结果相乘，得到乘积结果，根据所述乘积结果得到所述清晰图像帧。

36、本技术提供了一种基于多模态信息融合的事件图像去模糊系统，包括：

37、去模糊单元，用于获取事件数据和初始图像帧，将所述事件数据和所述初始图像帧输入至去模糊模型，得到所述初始图像帧对应的清晰图像帧，所述去模糊模型包括粗糙融合模块和细融合模块；

38、所述粗糙融合模块对所述事件数据和所述初始图像帧进行特征提取以及特征融合，得到具有时间顺序的多个粗糙融合图像帧；

39、所述细融合模块对多个在时间顺序上相邻的粗糙融合图像帧进行特征融合，得到所述清晰图像帧。

40、本技术提供了一种基于多模态信息融合的事件图像去模糊方法，方法包括：获取事件数据和初始图像帧，将事件数据和初始图像帧输入至去模糊模型，得到初始图像帧对应的清晰图像帧，也就是说，本技术通过结合事件数据和初始图像帧，并且利用去模糊模型对事件数据和初始图像帧进行处理，从而得到初始图像帧对应的清晰图像帧。其中，去模糊模型包括粗糙融合模块和细融合模块，也就是说，通过对模糊的初始图像帧进行粗糙阶段和细阶段的两个阶段去模糊，最终得到清晰图像帧。粗糙融合模块对事件数据和初始图像帧进行特征提取以及特征融合，得到具有时间顺序的多个粗糙融合图像帧，通过粗糙融合模块能够充分利用和初始图像帧相关联的事件数据，从而为得到更清晰的清晰图像帧提供更多的数据。细融合模块对多个在时间顺序上相邻的粗糙融合图像帧进行特征融合，得到清晰图像帧。由此可见，本技术通过从粗到细的全面融合过程有效地利用了事件数据的时空信息，能够使得事件数据最大程度的得到利用，实现在高速运动场景中进行图像去模糊，提高图像去模糊的成像质量。