一种基于视网膜成像原理的成像控制方法
- 国知局
- 2024-09-05 14:39:23
本发明涉及一种基于视网膜成像原理的成像控制方法,属于成像。
背景技术:
1、相机作为一种光电信号转换设备,能有效地采集环境中的光信号并将其转换为电信号从而显示图像,被广泛应用于日常生活、安防、国防等领域中。传统相机中,成像芯片会对所有像素进行均匀地读出,即对所有的像素进行同等地处理,该处理方式虽然可以获得质量较高的图像,但需要耗费大量的存储空间,对后续的图像处理等任务也会有巨大的算力和功耗要求。
2、与传统相机中成像芯片均匀地采集环境中的光信号不同,生物中,例如人类的视网膜,在成像过程中是非均匀采样的,即在视觉中心对图像进行高分辨的采样,在视觉边缘对图像进行低分辨率的采样。如果相机能够模仿视网膜成像原理实现非均匀采样,则可以在满足分辨率要求的前提下尽可能降低对于算力和功耗的要求。
3、以模拟视网膜成像原理的成像方式获得成像结果时,还需要考虑的一个问题是:由于边缘处分辨率过低,会导致无法准确判断处于视野边缘位置的物体身份,因此需要探索针对性改进的方法,实现对边缘处低分辨率图像的准确估计,而且要能够动态调整成像视野中心位置,提高对视野中每个物体识别的置信度。
技术实现思路
1、为了解决目前存在的问题,本发明提供了一种基于视网膜成像原理的成像控制方法,通过分级降采样策略,模拟视网膜成像特点,在保证关注点的分辨率的同时降低整体图像的分辨率。所述基于视网膜成像原理的成像控制方法,具有同构的行选址电路和列选址电路,所述行选址电路和列选址电路输入包括关注点中心坐标,关注区域分辨率大小,降采样级数n,根据三者输入计算所要选通的像素位置,并通过读出电路进行读出并量化。同时所述基于视网膜成像原理的成像控制方法,具有n级存储区,对应n级降采样,即每一级降采样读出的结果存储在对应一级的存取区里。
2、具体的,本申请提供的基于视网膜成像原理的成像控制方法应用于视网膜成像相机中,所述视网膜成像相机设置有像素阵列、行选址电路、列选址电路、读出电路,以及n个存储区;所述方法采用分级降采样策略获取当前帧图像对应的各级采样图像,并通过决策网络分析每级图像中的物体信息,根据物体信息确定下一帧图像的分级降采样策略,所述分级降采样策略包括中心点坐标、每级采样图像的尺寸、以及当前采用的降采样级数n;所述视网膜成像相机的成像芯片根据分级降采样策略选通像素阵列中对应的像素进行采样。
3、该方法采用分级降采样策略获取下一帧图像对应的各级采样图像时,对第级降采样的图像为在采样范围为的区域内每隔2n-1个点进行一次采样得到的大小为的图像。
4、进一步的,该方法对图像进行分级降采样时,若采样范围超出像素阵列的范围,则对超出范围的采样点进行补零。
5、进一步的,所述决策网络基于transformer模型实现,损失函数包括对整个场景中每个物体身份的估计函数项、对整个场景中每个物体位置的估计函数项、对整个场景中每个物体大小的估计函数项、对下一时刻观测结果的估计函数项以及决策网络生成概率与后验概率的差异函数项;损失函数为:
6、
7、其中,、、、、为各函数项对应的权重值。
8、进一步的,所述对整个场景中每个物体身份的估计函数项为:
9、
10、其中,表示整个场景中第k个物体的身份,表示以决策网络参数化的后验概率分布,表示t时刻的观测视角,、、分别表示整个场景中的第个物体时刻在第级中的身份、位置和大小,表示l2范数。
11、进一步的,所述对整个场景中每个物体位置的估计函数项为:
12、
13、其中,表示整个场景中第k个物体的位置。
14、进一步的,所述对整个场景中每个物体大小的估计函数项为:
15、
16、其中,表示整个场景中第k个物体的大小。
17、进一步的,所述对下一时刻观测结果的估计函数项为:
18、
19、其中,表示决策网络预测的t+1 时刻的观测,表示以决策网络参数化的生成概率分布,表示决策网络预测的t+1时刻的观测视角,、、分别表示决策网络预测的第个物体t+1时刻在第级中的身份、位置和大小。
20、进一步的,所述决策网络的生成概率与后验概率的差异函数项为:
21、
22、其中,表示kl 散度,用来衡量两个概率分布之间的差异。
23、本发明提出的基于视网膜成像原理的成像控制方法,相比于典型的相机成像方法,该成像方法对第一级降采样区域采用步进为1的采样间隔进行采样,第二级降采样区域采用步进为2的采样间隔进行采样,第三级降采样区域采用步进为4的采样间隔进行采样,以此类推,第n级降采样区域采用步进为2n-1的采样间隔进行采样,由此得到的n张不同分辨率的图片,相比于全图进行全采样的图片,数据存储降低了n/2n-1,节省了大量存储空间,并会缓解图像处理所需要的计算量,相比于普通相机,计算量降低了n/4n-1。
24、本发明提出的基于视网膜成像原理的成像控制方法,对于使用该成像方法得到的多级图像,该成像方法使用决策网络分析每级图像中的物体的身份、大小、位置等信息,并估计到整个场景中各物体在原始图像中的分布情况,由该评估结果动态调整下一时刻成像策略,即下次成像的注视中心,大小,分级数应当如何配置。使用所述决策网络,可以有效解决由于边缘处分辨率过低,无法准确判断处于视野边缘位置的物体身份的问题,能够有效提高视野中每个物体识别的置信度。
25、本发明有益效果是:
26、本申请方案采用分级降采样策略模拟视网膜成像特点,在保证关注点的分辨率的同时降低整体图像的分辨率,可以大量降低数据存储空间,决策网络对该成像方法的输出结果可以进行评估和动态观测,并且在网络计算中,该方法可以大量降低计算量,有效减小数据传输带宽和功耗,有望成为边缘成像设备端标准部署范式。
技术特征:1.一种基于视网膜成像原理的成像控制方法,其特征在于,所述方法应用于视网膜成像相机中,所述视网膜成像相机设置有像素阵列、行选址电路、列选址电路、读出电路,以及n个存储区;所述方法采用分级降采样策略获取当前帧图像对应的各级采样图像,并通过决策网络分析每级图像中的物体信息,根据物体信息确定下一帧图像的分级降采样策略,所述分级降采样策略包括中心点坐标、每级采样图像的尺寸、以及当前采用的降采样级数n;所述视网膜成像相机的成像芯片根据分级降采样策略选通像素阵列中对应的像素进行采样。
2.根据权利要求1所述的方法,其特征在于,所述方法采用分级降采样策略获取下一帧图像对应的各级采样图像时,对第级降采样的图像为在采样范围为的区域内每隔2n-1个点进行一次采样得到的大小为的图像。
3.根据权利要求2所述的方法,其特征在于,所述方法对图像进行分级降采样时,若采样范围超出像素阵列的范围,则对超出范围的采样点进行补零。
4.根据权利要求3所述的方法,其特征在于,所述决策网络基于transformer模型实现,损失函数包括对整个场景中每个物体身份的估计函数项、对整个场景中每个物体位置的估计函数项、对整个场景中每个物体大小的估计函数项、对下一时刻观测结果的估计函数项以及决策网络生成概率与后验概率的差异函数项;损失函数为:
5.根据权利要求4所述的方法,其特征在于,所述对整个场景中每个物体身份的估计函数项为:
6.根据权利要求5所述的方法,其特征在于,所述对整个场景中每个物体位置的估计函数项为:
7.根据权利要求6所述的方法,其特征在于,所述对整个场景中每个物体大小的估计函数项为:
8.根据权利要求7所述的方法,其特征在于,所述对下一时刻观测结果的估计函数项为:
9.根据权利要求8所述的方法,其特征在于,所述决策网络的生成概率与后验概率的差异函数项为:
技术总结本发明公开了一种基于视网膜成像原理的成像控制方法,属于成像技术领域。所述方法采用分级降采样策略模拟视网膜成像特点,在保证关注点的分辨率的同时降低整体图像的分辨率,可以大量降低数据存储空间,决策网络对该成像方法的输出结果进行评估和动态观测,且综合考虑了对场景中物体身份、位置和大小的估计损失,以及对下一时刻观测结果的估计损失和决策网络的生成概率与后验概率的差异估计损失,从而准确得到对当前时刻场景的理解以及决定下一时刻的分级降采样策略,并且在网络计算中,该方法可以大量降低计算量,有效减小数据传输带宽和功耗,为应用于边缘端设备提供了可能。技术研发人员:闫锋,刘泉,蒋骏杰,杨婷,王凯,吴天泽,王一鸣受保护的技术使用者:南京大学技术研发日:技术公布日:2024/9/2本文地址:https://www.jishuxx.com/zhuanli/20240905/287496.html
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 YYfuon@163.com 举报,一经查实,本站将立刻删除。
下一篇
返回列表