一种基于视觉感知神经网络的光影调节系统

本发明涉及光影调节，具体为一种基于视觉感知神经网络的光影调节系统。

背景技术：

1、光影调节系统是基于视觉感知神经网络模拟人类视觉神经系统的计算模型，它具有复杂的非线性映射能力，适用于处理图像识别、分类和场景分割等任务，通过训练神经网络，可以使其在给定输入图像的情况下，输出相应的操控指令，实现对光影效果的调节，通过对大量光影样本进行训练，使视觉感知神经网络能够学会在不同场景下，根据输入图像生成合适的操控指令。

2、现有的光影调节系统存在的缺陷是：

3、1、申请文件jp1983034956b2中，公开了光调节系统，其主要考虑如何获得调制输出光的问题，并没有考虑如何优化网络结构和学习算法，以提高识别和预测的准确性的问题；

4、2、专利文件jp7045674b2中，公开了照明光调节系统、照明光调节方法和照明光调节程序，主要考虑如何改变照明光的波长特性的波长特性改变单元的问题，并没有考虑到如何对训练数据进行预处理和特征提取，降低数据的复杂度，提高神经网络的泛化能力的问题；

5、3、专利文件cn206975391u中，公开了一种光调节系统，主要考虑如何反馈所述激光单元输出激光的光能量值的问题，并没有考虑到如何实现多模态感知，实现更精确的光影调节，使光影调节系统在面临不同光照条件、气候变化等复杂场景时仍能保持稳定运行的问题；

6、4、申请文件cn202947097u中，公开了一种触控式灯光调节系统，主要考虑如何更具观赏性的同时也减轻了观众的视觉负担的问题，没有考虑到如何方便根据不同环境条件和用户需求作出相应的调节决策的问题。

技术实现思路

1、本发明的目的在于提供一种基于视觉感知神经网络的光影调节系统，以解决上述背景技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案：一种基于视觉感知神经网络的光影调节系统，包括感知模型集成和设计训练神经网络，在所述感知模型集成时需要引入多模态感知模型，同时利用摄像头和应用接口收集多样化的数据，随后进行数据增强，将数据标准化，设计训练神经网络时需要调整网络层数和神经元数量，再采用高效的激活函数，随后引入残差连接，之后利用优化学习算法进行模型集成和优化；

3、在所述数据标准化时将像素值缩放到224x224像素，调整网络层数和神经元数量时首先需要进行初始设置，从一个基准模型开始，选择卷积神经网络作为基础架构，设定输入层的输入图像的尺寸，在卷积层的第一层使用小的卷积核，并激活函数，在卷积层后加入最大池化层，在卷积神经网络的隐藏层中加入两个全连接层，再根据任务需求确定输出层的神经元数量，并选择adam优化器，同时确定交叉熵损失函数，随后进行超参数设置，设定一个初始学习率，在每个卷积层和全连接层之后应用relu激活函数，利用relu处理模型在训练过程中表现出relu的死亡神经元问题，监控训练过程中的收敛速度和最终性能，以确定激活函数的选择是否有效，最后在引入残差连接后在优化学习算法中应用dropout、l1/l2正则化技术，并调度学习率，引入注意力机制并进行早停策略。

4、优选的，所述光影调节系统如下：

5、步骤s1、利用光影调节系统通过深度学习算法训练集成视觉感知模型，首先明确模型需要识别的阅读、休息和工作活动，再识别阅读、休息和工作活动所需的亮度和色温条件，同时收集室内不同活动下的图像数据，并对图像数据进行标注，再通过应用接口收集不同光照条件下的图像和用户对光照效果的反馈；

6、步骤s2、对图像应用旋转、缩放、裁剪以及调整亮度和对比度的转换，并将所有图像数据进行尺寸标准化和像素值范围标准化，将图像的大小和像素值缩放到224x224像素。

7、优选的，所述光影调节系统还包括：

8、步骤s3、调整网络层数和神经元数量：选择卷积神经网络架构处理图像数据，并设定输入层输入图像的尺寸到224x224像素，将卷积层的卷积核的大小设置为3x3，数量设置为32，并应用relu激活函数，在卷积层后加入最大池化层，随后加入一个或两个全连接层，并将每层神经元数量从128的数值开始，确定分类任务的类别数量或回归任务的输出特征数，并使用分类或回归函数，在选择优化器和损失函数，同时设定初始学习率到0.001，选择批大小64。

9、优选的，所述光影调节系统还包括：

10、步骤s4、采用高效的激活函数：在定义网络层时，紧接每个卷积或全连接层后加入relu，在训练过程中监控，如果发现relu导致某些神经元始终输出0，则考虑变体，之后记录训练和验证过程中的损失和准确率，监控模型性能，使用标准relu和其变体进行实验，比较它们对模型性能的影响。

11、优选的，所述光影调节系统还包括：

12、步骤s5、引入残差连接：利用两个卷积层和一个将输入直接添加到卷积层输出的跳过连接设计残差模块，并在每个卷积层后应用relu激活函数，在残差模块中使用3x3的卷积核；

13、集成残差模块：在网络中替换现有的卷积层或层序列为残差模块，添加一个跳过连接，将输入直接添加到卷积层输出，并尝试增加网络的深度；

14、优化学习算法：应用在训练过程中随机关闭神经元、l1正则化和l2正则化的正则化技术，再将批量归一化层添加到模型中，引入注意力机制，并通过监控验证集上的性能，实施早停策略。

15、步骤s6、图像大小调整：统一调整训练数据中的图像大小，将训练数据调整为224x224输入尺寸，遍历训练数据集中的每个图像，将其调整为224x224输入尺寸，通过双线性插值方法来确保调整后的图像保持相对较好的质量，在调整时按比例缩放来实现，保持图像的纵横比，进行图像大小调整后更新数据集的元数据，对图像进行归一化处理，将像素值缩放到-1到1的范围，之后遍历训练数据集中的每个图像，并将像素值进行线性缩放，最后更新数据集的元数据，记录采用的归一化范围。

16、优选的，所述光影调节系统还包括：

17、步骤s7、数据增强：引入数据增强技术，生成更多样化的训练样本，再使用预训练的卷积神经网络作为特征提取器，从图像中提取高级特征，之后在训练数据中引入降噪操作，随后选择代表性样本，确保训练数据涵盖各种光照条件和环境情境，再在分类任务中，使用标签平滑技术；

18、在光影调节系统中配备集成光敏传感器、颜色传感器、温度传感器、湿度传感器和声音传感器，并同步传感器模块的数据，确保它们的采样频率和时间戳一致，同时引入同步机制同步时间戳，将每个传感器采集到的数据传入特征提取器，提取光敏、颜色、环境光线、温度、湿度和声音的关键特征，并在每个特征提取器中，进行特征选择和降维操作；

19、引入多模态融合模块，将各感知模块提取的特征进行融合，将每个感知模块提取的特征送入多模态融合模块，在深度神经网络结构中添加融合层；

20、步骤s8、控制单元：控制单元包含多个微处理器，用于处理传感器数据、执行视觉感知模型和控制光源的调节，且控制单元需要多模态数据融合、多模态感知模型的集成、光源控制策略的制定，控制单元接收视觉感知神经网络模型的输出，输出包括对光源亮度、颜色和方向方面的调节建议，控制单元需要根据这些输出来决定如何调节光源，光影调节系统使用可调节led灯具，灯具根据控制单元的指令调整亮度、色温和光线分布，可调节光源通常具有智能控制接口，能够与控制单元进行实时通讯和数据交换。

21、优选的，所述步骤s5中，还包括如下步骤：

22、步骤s51、增加卷积层或残差模块的数量，监控训练过程中的梯度消失问题，评估引入残差连接后的网络性能，在训练过程中监控模型的收敛速度和性能，记录训练和验证集上的损失和准确率，与没有残差连接的基准模型进行比较。

23、优选的，所述步骤s7中，还包括如下步骤：

24、步骤s71、随机旋转、翻转、缩放和裁剪进行数据增强；

25、随机旋转：对图像随机应用旋转操作；

26、翻转：随机水平或垂直翻转图像，引入镜像效应；

27、随机缩放：对图像进行随机缩放操作；

28、随机裁剪：在图像中随机选择区域进行裁剪；

29、步骤s72、使用迁移学习从图像中提取高级特征，可以使用在大规模图像数据上预训练的模型，选择resnet预训练模型，在resnet预训练模型基础上，微调网络参数以适应光影调节任务；

30、步骤s73、应用高斯滤波图像降噪算法，减少图像中的噪声对模型的影响；

31、训练集包含有涵盖明亮、昏暗、室内和室外光照条件，同时考虑自然光、人工光和混合光照环境；

32、标签平滑技术：在分类任务中，调整标签的分布，降低过度自信，提高模型对不确定性的处理；

33、步骤s74、融合策略分为拼接、加权求和、多模态注意力机制和特征表示；

34、拼接：将各感知模块的特征直接拼接成一个大的特征向量；

35、加权求和：对不同感知模块的特征进行加权求和；

36、多模态注意力机制：使用注意力机制对不同模块的特征进行加权；

37、融合后的特征表示：融合模块的输出是一个包含多模态信息的特征表示；

38、步骤s75、融合层可以包括多个并行的子网络，每个子网络负责处理一个特定模态的信息，并通过融合机制将不同模态的信息整合在一起，在网络的内部结构中，设计相应的层或模块来促进不同模态信息的交互和融合；

39、对整个光影调节系统进行端到端的训练，采用多模态信息的联合训练策略，同时考虑不同模态的信息，通过联合损失函数在训练过程中同时考虑多个任务或多个模态的损失函数，通过将不同模态的损失函数结合起来，再利用交替训练在训练过程中轮流使用不同模态的数据来更新网络参数，将不同模态的数据交替输入网络，或者在不同的训练迭代中使用不同模态的数据进行训练，使神经网络适应多模态输入。

40、优选的，所述步骤s8中，还包括如下步骤：

41、步骤s81、亮度调节：可调节光源能够根据控制单元的指令实现灯光亮度的调节，光照度计算公式如下：

42、光照度＝光源强度/(距离^2)

43、用于计算光源的光照度，其中光源强度可以根据光源类型和控制信号进行调节；

44、色温调节：可调节光源还可以根据控制单元的指令调整灯光的色温；

45、sigmoid函数，也称为logistic函数，是一种常用于将输入映射到0和1之间的平滑曲线函数，在色温调节中，sigmoid函数常用于调整led灯光的亮度比例，sigmoid函数的输出在0和1之间，且具有平滑的s形曲线。输入值越大，输出越接近1，输入值越小，输出越接近0；

46、在色温调节中，sigmoid函数可以用于映射控制信号，以调整led灯的亮度，sigmoid函数的公式如下：用于根据色温调节指令调整led灯具内部不同发光二极管的亮度比例，实现对灯光的色温调节；

47、光线分布调节：确定需要优化的聚焦性能、光通量和色彩均匀性光学系统性能指标，基于光学系统的几何形状和光学材料特性建立数学模型。

48、与现有技术相比，本发明的有益效果是：

49、1、本发明的目的是通过在训练神经网络时对像素值、网络层数、神经元数量等进行调整，以及使用特定激活函数、优化器和损失函数等超参数设置，来改善模型的收敛速度和性能，选择卷积神经网络为基础架构，设定输入图像尺寸；在卷积层使用小卷积核和激活函数，加入最大池化层，在隐藏层加入全连接层和输出层，根据任务需求设定神经元数量，使用adam优化器，在卷积层和全连接层之间应用relu激活函数，选择激活函数，使用relu处理死神经元问题，设置初始学习率和relurelu处理模型；在优化过程中引入dropout、l1/l2正则化和调度学习率等技术，进行早停策略和注意力的应用，进一步优化网络结构和学习算法，以提高识别和预测的准确性。

50、2.本发明通过统一调整训练数据中的图像大小，将训练数据调整为224x224输入尺寸，遍历训练数据集中的每个图像，通过双线性插值方法来确保调整后的图像保持相对较好的质量，在调整时按比例缩放来实现，保持图像的纵横比，进行图像大小调整后更新数据集的元数据，对图像进行归一化处理，将像素值缩放到-1到1的范围，之后遍历训练数据集中的每个图像，并将像素值进行线性缩放，最后更新数据集的元数据，记录采用的归一化范围，引入数据增强技术，随机旋转、翻转、缩放和裁剪进行数据增强，使用迁移学习从图像中提取高级特征，选择resnet预训练模型，生成更多样化的训练样本，再使用预训练的卷积神经网络作为特征提取器，从图像中提取高级特征，之后在训练数据中引入降噪操作，应用高斯滤波图像降噪算法，减少图像中的噪声对模型的影响，随后选择代表性样本，以便模型能够更好地泛化到不同的场景，确保训练数据涵盖各种光照条件和环境情境，再在分类任务中，使用标签平滑技术，在分类任务中，调整标签的分布，降低过度自信，提高模型对不确定性的处理，减少标签的过度自信，提高模型对不确定性的处理能力，从而提高泛化性能，对训练数据进行预处理和特征提取，可以降低数据的复杂度，提高神经网络的泛化能力。

51、3.本发明通过在光影调节系统中配备集成光敏传感器、颜色传感器、温度传感器、湿度传感器和声音传感器，并同步传感器模块的数据，确保它们的采样频率和时间戳一致，以便进行多模态数据的对齐，确保传感器模块的数据采样频率和时间戳一致，同时引入同步机制同步时间戳，将每个传感器采集到的数据传入特征提取器，提取光敏、颜色、环境光线、温度、湿度和声音的关键特征，并在每个特征提取器中，进行特征选择和降维操作，以保留最具代表性的特征并减少数据维度，提高计算效率和降低模型复杂性，引入多模态融合模块，将各感知模块提取的特征进行融合，将每个感知模块提取的特征送入多模态融合模块，在深度神经网络结构中添加融合层，可以采用不同的融合策略，将各感知模块的特征直接拼接成一个大的特征向量，对不同感知模块的特征进行加权求和，使用注意力机制对不同模块的特征进行加权，融合模块的输出是一个包含多模态信息的特征表示，通过融合机制将不同模态的信息整合在一起，在网络的内部结构中，设计相应的层或模块来促进不同模态信息的交互和融合，对整个光影调节系统进行端到端的训练，将不同模态的损失函数结合起来，再利用交替训练在训练过程中轮流使用不同模态的数据来更新网络参数，将不同模态的数据交替输入网络，或者在不同的训练迭代中使用不同模态的数据进行训练，使神经网络适应多模态输入，从而实现多模态感知，使光影调节系统可以更全面地了解环境变化，从而实现更精确的光影调节，有助于提高光影调节系统的鲁棒性，使其在面临不同光照条件、气候变化等复杂场景时仍能保持稳定运行。

52、4.本发明通过利用多个微处理器组成控制单元，用于处理传感器数据、执行视觉感知模型和控制光源的调节，控制单元还需要相关的软件算法来实现数据处理、模型推断和光源控制等功能，且控制单元需要多模态数据融合、多模态感知模型的集成、光源控制策略的制定，控制单元利用对环境光影的模式识别、用户行为分析和光源控制策略的优化，根据不同环境条件和用户需求作出相应的调节决策，控制单元接收视觉感知神经网络模型的输出，输出包括对光源亮度、颜色和方向方面的调节建议，控制单元需要根据这些输出来决定如何调节光源，光影调节系统使用可调节led灯具，灯具根据控制单元的指令调整亮度、色温和光线分布，可调节光源通常具有智能控制接口，能够与控制单元进行实时通讯和数据交换，通过适当的参数设置，可以实现对光源亮度的非线性调节，符合人眼对光照强度的感知特性，可调节光源通常具有智能控制接口，能够与控制单元进行实时通讯和数据交换，从而方便根据不同环境条件和用户需求作出相应的调节决策。