一种利用汽车微控制器芯片的车内儿童行为监控系统的制作方法

本发明涉及图像识别，尤其涉及一种利用汽车微控制器芯片的车内儿童行为监控系统。

背景技术：

1、现有的车内儿童行为监控系统无法快速检测到异常行为并发出警报，系统的鲁棒性低，监控系统的操作和维护成本较高；此外，现有的车内儿童行为监控系统无法理解儿童的行为模式，且不能容纳大量的数据，数据的安全性和可靠性低，为此，我们提出一种利用汽车微控制器芯片的车内儿童行为监控系统。

技术实现思路

1、本发明的目的是为了解决现有技术中存在的缺陷，而提出的一种利用汽车微控制器芯片的车内儿童行为监控系统。

2、为了实现上述目的，本发明采用了如下技术方案：

3、一种利用汽车微控制器芯片的车内儿童行为监控系统，包括传感器、摄像头、声音检测模块、图像识别模块、图谱构造模块、行为分析模块、异常警报模块、用户平台、远程控制模块、数据共享模块以及存储分析模块；

4、所述传感器用于监测车内环境的温度、湿度和co2浓度；

5、所述摄像头用于实时监控车内的儿童行为；

6、所述声音检测模块用于检测车内的声音；

7、所述图像识别模块用于对采集到的车内影像进行目标检测；

8、所述图谱构造模块用于从多组数据源收集儿童行为信息以构建行为图谱库；

9、所述行为分析模块用于对采集到的数据进行分析，并进行异常行为检测；

10、所述异常警报模块用于检测到异常行为时发出警报；

11、所述用户平台用于车主或监护人查看儿童状态、历史数据和报警信息；

12、所述远程控制模块用于车主或监护人远程控制车内相关操作；

13、所述数据共享模块用于与紧急救援服务、医生或其他相关机构共享数据；

14、所述存储分析模块用于将传感器和摄像头收集的数据分布式存储在云端，并依据收集的数据生成行为报告和警报；

15、所述图谱构造模块行为图谱库构建具体步骤如下：

16、步骤1：从互联网以及行为数据库中收集与儿童行为相关的各种知识和信息，并对收集到的儿童行为知识进行分类、去重以及筛选处理，通过nlp技术识别和抽取出处理后的儿童行为知识中的实体；

17、步骤2：提取相关的知识信息中每组实体的对应属性，并建立实体之间的关系，形成儿童行为知识图谱的连接，采用三元组的形式将实体、属性和关系处理成对应图状结构，选择neo4j图数据库来存储和管理儿童行为知识图谱，并对儿童行为知识图谱进行不断地更新和维护；

18、所述行为分析模块异常行为检测具体步骤如下：

19、步骤①：行为分析模块获取历史儿童行为数据，并提取各组数据中的儿童行为相关的特征数据，将不同数据源的数据合并在一起，以创建更全面的行为特征数据；

20、步骤②：将特征数据按照预设比例划分为训练集以及测试集，构建异常监测模型并定义该模型损失函数，将训练集划分为小批量，并使用每组批量来更新模型的权重，重复执行前向传播计算模型的输出，之后选择随机梯度下降算法来调整模型参数以最小化损失函数，直到所有的训练集都使用完毕后停止；

21、步骤③：使用独立的测试集来评估训练好的模型的性能，之后对最新采集的实时数据预处理后，通过多组注意力头从不同角度对预处理后的实时数据进行线性变换，提取相关的特征数据，将多组注意力头的输出进行融合以获取对应多模态数据集；

22、步骤④：将多模态数据集中的各组数据输入训练好的异常监测模型，输入数据从异常监测模型输入层开始经过模型的各隐藏层，各隐藏层分别对输入数据进行线性变换后，通过各层之间的权重和激活函数进行逐层传递，之后输出层输出一组或多组行为的概率分布；

23、步骤⑤：选择概率最高的行为数据作为最终的预测结果，之后将该行为数据中的实体与儿童行为知识图谱中的实体进行比对，并输出匹配一致的结果，若该结果为异常行为，异常警报模块发出警报，并执行对应处理决策。

24、作为本发明的进一步方案，所述传感器具体包括温度传感器、湿度传感器以及二氧化碳传感器；所述摄像头具体包括内部摄像头以及外部摄像头；所述声音检测模块具体通过麦克风传感器采集车内声音。

25、作为本发明的进一步方案，所述图像识别模块目标检测具体步骤如下：

26、步骤一：每秒从视频数据中提取图像帧，以覆盖整个视频，获取各组图像帧中各组像素值，之后对于每组像素，用该像素周围像素的平均值替代中心像素的值，重复上述过程以处理整个图像以去除存在的噪音、水印或失真，并调整图像大小和分辨率使各组图像具有相同尺寸；

27、步骤二：统计图像中不同颜色通道的像素分布，之后使用规定像素的窗口在各组图像信息中移动，每移动一次计算此时窗口下的灰度共生矩阵，从灰度共生矩阵中计算相关图像信息中的纹理特征，通过图像金字塔对优化后的图像信息进行尺度归一化处理，并提取各组图像信息的特征，之后通过双向特征金字塔进行特征融合以获取目标检测框；

28、步骤三：依据目标检测框对各图像信息进行扩大化剪裁以获取目标图像，之后将获取的纹理特征按数组的形式储存到相应的像素位置，当纹理特征满足预设条件时，则判断当前像素区域为目标儿童，若不满足，则判断当前像素区域为背景区域，并依据判断结果进行背景分离以提取儿童图像。

29、作为本发明的进一步方案，获取儿童图像后，计算儿童图像的形状因子，并选取形状因子趋向0的儿童图像，并判断该儿童图像存在粘连区域，同时估算各粘连区域儿童数量，之后对粘连区域进行凸包区域填充，再依据凸包面积以及粘连区域面积获取粘连区域凸缺陷以获取该凸缺陷内的凹点信息；对于两个儿童粘连，直接绘制经过两组凹点的直线分割粘连儿童；对于多个儿童的粘连，将检测到的凹点随机连线，且每个凹点只能连一次，每次连接后计算连通区域的个数和每个连通区域的面积，当每个连通区域的面积都小于最大面积时，则判断匹配完成，并依据匹配结果对粘连儿童进行分割。

30、作为本发明的进一步方案，通过高斯滤波去除各组实时传感器数据以及声音数据中的噪声并平滑数据，之后计算信号数据集的标准偏差，并依据计算出的标准偏差分别对异常数据进行检测并筛除，并统一数据格式，再检测是否存在重复的数据记录，若存在重复数据，则将其删除，检测各组数据中存在的缺失值，并标记各缺失值在对应数据中的所在位置，对各组数据中存在的缺失值进行统计和可视化分析以获取缺失值的分布情况和影响范围，并通过knn算法找到的相应的k组数据点的平均值或中位数来替代异常值或缺失值。

31、作为本发明的进一步方案，步骤②所述损失函数具体计算公式如下：

32、；

33、式中，代表数据的数量；代表实际观测值；代表模型的预测值；

34、步骤②中所述梯度下降算法具体计算公式如下：

35、；

36、式中，代表需要调整的模型参数；代表学习率。

37、作为本发明的进一步方案，所述存储分析模块分布式存储具体步骤如下：

38、第一步：按照预设的时间区间对各组传感器和摄像头收集的数据进行分割，以获形成多组数据块，之后通过哈希算法生成各组数据块的标识，收集各组节点的负载情况；

39、第二步：通过负载均衡算法选择相应的节点来存储每组数据块，数据块存储完成后，根据系统的要求和可用资源进行配置复制规定数量的数据块到多组节点上；

40、第三步：当节点存储的数据发生变化时，通过数据同步算法将数据更新从一个节点传播到其他节点，之后自动检测节点运行情况，并对故障节点进行数据迁移或修复。

41、相比于现有技术，本发明的有益效果在于：

42、1、本发明通过提取各组数据中的儿童行为相关的特征数据，将特征数据按照预设比例划分为训练集以及测试集，构建异常监测模型并将训练集划分为小批量，并使用每组批量来训练模型，训练完成后，使用独立的测试集来评估训练好的模型的性能，之后对最新采集的实时数据预处理后，通过多组注意力头从不同角度对预处理后的实时数据进行线性变换，提取相关的特征数据，将多组注意力头的输出进行融合以获取对应多模态数据集，将多模态数据集中的各组数据输入训练好的异常监测模型，输入数据从异常监测模型输入层开始经过模型的各隐藏层，各隐藏层分别对输入数据进行线性变换后，通过各层之间的权重和激活函数进行逐层传递，之后输出层输出一组或多组行为的概率分布，选择概率最高的行为数据作为最终的预测结果，之后将该行为数据中的实体与儿童行为知识图谱中的实体进行比对，并输出匹配一致的结果，若该结果为异常行为，异常警报模块发出警报，并执行对应处理决策，能够提高异常检测的精确性，能够实时监测数据，快速检测到异常行为并发出警报，同时能够全面评估车内环境和儿童行为提高系统的鲁棒性，降低监控系统的操作和维护成本。

43、2、该系统从互联网以及行为数据库中收集与儿童行为相关的各种知识和信息，并进行处理后识别和抽取出处理后的儿童行为知识中的实体，提取相关的知识信息中每组实体的对应属性，并建立实体之间的关系，形成儿童行为知识图谱的连接，选择neo4j图数据库来存储和管理儿童行为知识图谱，并对儿童行为知识图谱进行不断地更新和维护，之后按照预设的时间区间对各组传感器和摄像头收集的数据进行分割，以获形成多组数据块，之后通过哈希算法生成各组数据块的标识，收集各组节点的负载情况，通过负载均衡算法选择相应的节点来存储每组数据块，数据块存储完成后，根据系统的要求和可用资源进行配置复制规定数量的数据块到多组节点上，当节点存储的数据发生变化时，通过数据同步算法将数据更新从一个节点传播到其他节点，之后自动检测节点运行情况，并对故障节点进行数据迁移或修复，能够帮助系统更好地理解儿童的行为模式，具有良好的可扩展性，能够容纳大量的数据，适应不断增长的数据需求，确保数据的安全性和可靠性。