一种基于多模态数据认证的自动驾驶可信监督方法及系统

本发明涉及区块链应用领域，具体为多模态数据认证的自动驾驶可信监督方法及系统。

背景技术：

1、近年来，随着自动驾驶技术的快速发展，无人接管的汽车驾驶里程不断提升，有效缓解了驾驶员长时间主动驾驶的疲劳累积，但同时也带来了驾驶员更易分心的问题。据统计，大多数交通事故来自方向盘后的非驾驶活动，解决分心问题能够避免大量碰撞事故。通过监测驾驶员活动并对异常活动及时给予警告，这能够有效缓解驾驶员分心问题；将异常活动数据上传存储中心存证为自动驾驶安全事故定责提供了证据参考。传统的汽车数据中心化存储管理方案往往存在数据被恶意篡改的风险，且由于缺少备份，一经丢失难以找回。基于区块链的多模态数据存证系统凭借分布式账本可追溯防篡改的特性成为存证数据的更优存储方案，但存证庞大的数据体量限制了该类系统的吞吐效率，降低了系统的实时性。本发明提出了一种基于多模态数据认证的自动驾驶可信监督方法及系统，通过只截取驾驶员异常动作发生时的片段，在保留语义的情况下对帧组进行压缩上链存证，保证了数据的安全可信，降低了节点账本的存储成本，提高了区块链的吞吐效率。

技术实现思路

1、本发明提供了一种基于多模态数据认证的自动驾驶可信监督方法及系统，其特征在于，所述方法及系统涉及车端、平台端、客户端、监管端和区块链，所述方法及系统包括：

2、步骤1，搭建自动驾驶场景下基于深度学习的驾驶员异常行为检测模型m；

3、步骤2，采集自动驾驶汽车细粒度驾驶员行为识别的流媒体数据集sorigin并进行粗粒度标注；

4、步骤3，人工细粒度标注sorigin并构建新流媒体数据集sedited；

5、步骤4，基于数据集sedited训练深度学习模型m；

6、步骤5，将流媒体v以t帧为间隔切片，得到{v1,v2,v3,...}vi∈v。使用m计算vi中的异常状态分类得分f(vi)，根据阈值抽样策略t提取异常帧组xe；

7、步骤6，使用基于帧间预测与帧内预测的组合算法g压缩帧组xe为比特流be；

8、步骤7，车端组合be、f(vi)、车身姿态信息p，通过智能合约c1使用订单公钥keypub加密上传到区块链；

9、步骤8，客户端通过智能合约c2检索目标数据，使用订单私钥keypri解密，实现可信存证和监督。

10、具体地，在步骤1中，所述准搭建自动驾驶场景下基于深度学习的驾驶员异常行为检测模型m，具体为：选择适当深度学习骨干网络结构作为特征提取模块提取t帧图像特征{f1(x1),f1(x2),f1(x3)...,f1(xt)}；选择适当自适应聚类模块筛选高维空间中u条距离相近特征，如{f1(x1),f1(x2),...,f1(xu)}，减少高分辨率输入的计算成本；选择合适的卷积核大小、数量、步长作为融合模块将筛选后的多条特征融合为单条特征f2(f1(x1),f1(x2),...,f1(xu))；根据异常行为分类数量j构造合适的分类模块，通过sigmoid、softmax等归一化函数将每个分类头取值约束到[0,1]，得到{c1,c2,...,cj}，根据分类头的数值大小得到分类结果；

11、具体地，在步骤2中，所述采集自动驾驶汽车驾驶员行为识别的流媒体数据集sorigin及粗粒度打标签，具体为：将rgb摄像机固定在车内俯视视角，记录驾驶员在自动驾驶环境下的j类异常动作行为(例如：吃东西、喝水、玩手机、脱穿夹克、摘戴眼镜等)，以t帧为间隔将j条视频序列切片，得到m条视频片段。选择合适的预训练深度学习网络架构给每个视频片段打上初步分类标签；

12、具体地，在步骤3中，所述新流媒体数据集sedited构建，具体为：人工删除驾驶员正常行为视频片段与对应标签，人工纠正预训练模型错误分类标签，完成新流媒体数据集sedited构建，包含j类异常动作共n(n<m)条视频片段；

13、具体地，在步骤4中，所述训练基于深度学习的驾驶员异常行为检测模型m，具体为：将步骤3中数据集sedited中的视频片段做为输入信息，对应的标签做为监督信息，选择合适的损失函数与梯度优化模块，训练步骤1中构造的基于深度学习的驾驶员异常行为检测模型m，参数更新包括特征提取模块、融合模块和分类模块，模型收敛后，使用模型输出f(vi)作为视频片段vi的异常行为分类评分；

14、具体地，在步骤5中，所述根据阈值抽样策略t提取异常帧组xe，具体为：设定疑似异常阈值a、确定异常阈值b(b>a)、缓存池抽样阈值c，首先获取一段视频片段vi的评分f(vi)，获取异常分类最大值若则将视频片段vi与异常分类得分加入缓存池，重复操作直至出现此时检测缓存池内存储视频片段数量nbuffer是否大于缓存池抽样阈值c，若nbuffer>c，则在缓存池中随机抽样t帧作为异常帧组xe，并清空缓存池；若nbuffer<c，则检测缓存池中是否有异常分类得分大于确定异常阈值b的图片帧xi，若则抽取包含xi的前后相邻t帧作为异常帧组xe。策略t把长时间的异常动作抽样为固定帧，节省了存储空间的同时也了兼顾短时间的异常动作检测；

15、具体地，在步骤6中，所述基于帧间预测与帧内预测的组合算法g，具体为：针对单帧图片，将色彩空间映射到ycbcr后进行4:2:0下采样，选择m×n大小的块对图像进行离散余弦变换使用合适量化表对离散频域矩阵a进行量化，削弱高频信息，对量化后的矩阵a'进行可变长度编码；针对连续多帧图片，记录连续两帧的宏块位移向量与前后差值来压缩传输文件体积，其中i,j是运动向量，n是宏块的边长，k,l是分别代表宏块的行、列索引，x,y是宏块的左上角的点坐标，c是目标宏块像素点，r是经过位移的参考宏块像素点，压缩后的流媒体文件以比特流be的形式储存；

16、具体地，在步骤7中，所述车端获得订单公钥dkeypub方式及车端组合be、分类标签得分和车身姿态信息p合并上链流程，具体为：平台端根据订单id混合随机种子使用非对称加密算法(例如rsa、ecc)生成订单公私钥对dkeypub、dkeypri，使用智能合约c1将dkeypub与订单信息以键值对格式打包、签名，经过背书节点模拟执行与共识节点验证后，由存证链cprove锚节点广播车端；车端抓取含有自己身份id与订单公钥dkeypub的区块，开启自动驾驶物流业务；异常动作数据be生成后，车端使用ckeypub加密be得到b'e，使用智能合约c1将b'e、p以键值对格式打包、签名，经过背书节点模拟执行与共识节点验证后，由存证链cprove锚节点广播客户端与监管端；

17、具体地，在步骤8中，所述客户端获取订单私钥dkeypri方式及客户端溯源b'e过程，具体为：客户端发起订单，内容包括但不限于订单id、使用车端id，平台端id、时间戳等，使用智能合约c1将订单与客户端公钥ckeypub以键值对格式打包、签名，经过背书节点模拟执行与共识节点验证后，由密钥链ckey锚节点广播平台端，平台端接收后，如步骤7所述生成订单公私钥，用客户端公钥ckeypub加密订单私钥dkeypri得到dkey'pri。使用智能合约c1将dkey'pri与客户端id以键值对格式打包、签名，经过背书节点模拟执行与共识节点验证后，由密钥链ckey锚节点广播客户端；客户端接收后，使用ckeypri解密dkey'pub获取订单私钥dkeypri；客户端根据时间戳与车端id使用智能合约c2检索cprove中对应区块，使用dkeypri解密b'e，实现可信存证和监督。