一种面向软件定义卫星的成像系统及成像方法与流程

技术特征：
1.一种面向软件定义卫星的成像系统，其特征在于，所述成像系统包括：相机载荷，被配置为：根据初始化成像参数获取rgb三通道图像；以及根据曝光值增量确定目标成像参数的值，并根据所述目标成像参数的值生成新的rgb三通道图像，其中，所述的相机载荷包括镜头组件、感光器件以及图像处理器isp；成像决策智能体，被配置为：接收所述rgb三通道图像；根据所述rgb三通道图像得到所述曝光值增量并提供给所述相机载荷；以及，确认达到设定的循环次数，向空间视觉处理任务提供目标rgb三通道图像；其中，所述目标成像参数的类型包括：曝光时间、感光度、增益或者光圈。2.如权利要求1所述的成像系统，其特征在于，通过曝光仿真图像集训练智能体，得到所述成像决策智能体，其中，所述曝光仿真图像集是通过伽玛校正理论对多曝光遥感图像进行合成得到的。3.如权利要求2所述的成像系统，其特征在于，通过如下方法获取用于训练所述智能体的标注数据：选择遥感数据集中的图像作为初始样本数据，并将所述图像的像素值归一化到[0,1]空间；对所述初始样本数据中的每幅图像，根据第一伽马值应用伽马校正将所述每幅图像映射到线形空间，得到第一校正图像集，其中，所述第一伽马值为2.2；通过乘法的方式对所述第一校正图像集中的图像的亮度值进行线形调整，以模拟不同的曝光量，得到多曝光量图像集；根据第二伽马值，再次应用伽马校正将所述多曝光量图像集中的图像复原到非线形空间中，得到所述曝光仿真图像集，其中，所述第二伽马值为1/2.2；根据空间感知任务的不同，为所述曝光仿真图像集中图像合成相应的任务数据标注。4.如权利要求3所述的成像系统，其特征在于，所述选择遥感数据集中的图像作为初始样本数据，包括：选择所述遥感数据集中的图像作为基础元数据；对所述基础元数据中的图像进行数据增强操作，得到所述初始样本数据，其中，所述数据增强操作包括：翻转、裁剪、旋转、伸缩、位移和噪声添加中的至少一种。5.如权利要求1-2任一项所述的成像系统，其特征在于，所述成像决策智能体是通过如下策略训练得到的：通过将训练中的智能体与空间环境交互，探索和积累不同成像参数组合的历史经验数据，并基于反馈控制的认知学习机制来拟合逼近评价函数与曝光值之间的非线性映射关系，以挖掘出适用于目标空间感知任务的最优rgb三通道图像与曝光值增量之间的对应关系，得到自适应的曝光决策。6.如权利要求2所述的成像系统，其特征在于，通过如下策略训练所述智能体：随机初始化状态，选择一张由第一种类的相机载荷输出的rgb图像；重复执行循环过程直至目标空间感知任务对应的智能体的模型收敛，得到所述成像决策智能体，其中，所述循环过程包括：
将所述rgb图像输入所述智能体，由所述智能体根据策略或值函数网络的输出得到曝光值增量δev作为曝光调整动作；根据所述曝光调整动作，指导所述相机载荷再次成像，得到新的图像；将所述新的图像应用于所述目标空间感知任务，根据所述目标空间感知任务取得的性能计算得到相应的奖励；基于所述奖励计算累计回报，评估所述智能体提供的所述曝光调整动作的优劣，得到损失并利用反向传播算法进行梯度更新。7.如权利要求6所述的成像系统，其特征在于，所述目标空间感知任务对应的模型包括：目标检测分类模型或者图像分割模型。8.如权利要求2所述的成像系统，其特征在于，所述gamma校正是通过一阶幂函数、高阶幂函数、指数函数、对数函数或者初等函数的复合函数实现的。9.一种成像方法，应用于相机载荷，其特征在于，所述成像方法包括：接收由成像决策智能体根据所述相机载荷拍摄rgb图像得到的曝光值增量；根据所述曝光值增量拍摄新的rgb图像；向所述成像决策智能体发送所述新的rgb图像；重复执行上述步骤，直至达到设定的循环次数或者达到设定的循环终止条件。10.如权利要求9所述的成像方法，其特征在于，所述接收由成像决策智能体根据所述相机载荷拍摄rgb图像得到的曝光值增量之前，所述自适应曝光成像方法还包括：初始化地选择一组成像参数，计算初始曝光值ev，并根据所选择的一组成像参数得到初始rgb图像，其中，所述成像参数包括：曝光时间、光圈和感光度；向所述成像决策智能体发送所述初始rgb图像，以使所述成像决策智能体根据所述初始rgb图像得到所述曝光值增量。11.一种成像方法，应用于成像决策智能体，其特征在于，所述成像方法包括：接收由相机载荷根据曝光值拍摄的rgb图像；根据所述rgb图像得到待更新的曝光值增量；向所述相机载荷发送所述待更新的曝光值增量；重复上述过程，直至达到设定的循环次数或者达到设定的循环终止条件时，向目标空间识别任务输出目标rgb图像。12.一种训练智能体的方法，其特征在于，所述方法包括：随机初始化状态，选择一张相机载荷输出的rgb图像；重复执行循环过程，直至与目标空间感知任务对应的模型收敛得到成像决策智能体，其中，所述循环过程包括：将所述rgb图像输入所述智能体，由所述智能体根据策略或值函数网络的输出得到曝光值增量δev作为曝光调整动作；根据所述调整动作指导所述相机载荷再次成像，得到新的图像；将所述新的图像应用于目标空间感知任务，根据所述目标空间感知任务取得的性能计算得到相应的奖励；基于所述奖励计算累计回报，评估所述深度强化学习智能体动作的优劣，得到损失并利用反向传播算法进行梯度更新。
13.如权利要求12所述的方法，其特征在于，所述智能体对应的模型包括：基于深度神经网络的模型、深度决策树模型或者胶囊网络模型。

技术总结
本申请实施例提供一种面向软件定义卫星的成像系统及成像方法，所述自适应曝光成像系统包括：相机载荷，被配置为：根据初始化成像参数获取RGB三通道图像；以及根据曝光值增量确定目标成像参数值，并根据所述目标成像参数值生成新的RGB三通道图像，其中，所述的相机载荷包括镜头组件、感光器件以及图像处理器ISP；成像决策智能体，被配置为：接收所述RGB三通道图像；根据所述新的RGB三通道图像得到所述曝光值增量并提供给所述相机载荷；以及，确认达到设定的循环次数，向空间视觉处理任务提供所述RGB三通道图像。本申请的实施例使得控制单元的算法与相机载荷松耦合，在软件定义背景下满足跨卫星平台型号部署的需求，可迁移的适应性能力较强。能力较强。能力较强。


技术研发人员：赵军锁 林翊钧 吴凤鸽
受保护的技术使用者：中国科学院软件研究所
技术研发日：2021.10.27
技术公布日：2022/2/28