一种自适应ISP算法功耗调节控制系统的制作方法

本发明涉及图像处理，尤其涉及一种自适应isp算法功耗调节控制系统。

背景技术：

1、在现代图像处理领域，高效率与低功耗的图像信号处理器(isp)和数字信号处理器(dsp)的设计与实现成为了研究与开发的重点，随着移动设备和智能系统的广泛应用，对于能够实时、高效处理图像数据的处理器需求日益增加，这些处理器不仅需要处理高分辨率的图像数据，还需在保证图像处理质量的同时，尽可能降低能耗，延长设备的使用寿命，因此，如何设计出既能满足高性能图像处理需求，又能有效降低功耗的处理器，成为了该领域面临的一大挑战。

2、当前的技术难题主要集中在如何在不牺牲图像处理性能的前提下，实现功耗的显著降低，传统的图像处理器往往在提升处理性能(如图像处理速度和图像质量)的同时，会导致功耗急剧增加，此外，现有的处理方案往往缺乏对于设备操作环境变化的适应性，无法根据不同的环境条件(如温度、光照等)智能调整运行参数，进一步优化功耗与性能的平衡，同时，缺少对用户个性化需求的支持，无法根据用户的具体偏好调整图像处理策略，以达到最佳的用户体验。

3、因此，亟需一种新的图像处理技术方案，能够解决上述问题，提供一种既能保证图像处理性能，又能有效降低功耗，且能适应不同环境条件和满足用户个性化需求的图像处理解决方案。

技术实现思路

1、基于上述目的，本发明提供了一种自适应isp算法功耗调节控制系统。

2、一种自适应isp算法功耗调节控制系统，包括动态功耗调节模块、智能算法调度模块、isp核心处理模块、dsp异构加速模块、环境适应模块以及用户配置反馈模块；其中，

3、动态功耗调节模块：根据算法运行时的计算负载和预定能耗模型，自动调整系统功耗，用于确保在不牺牲处理性能的前提下最小化能耗；

4、智能算法调度模块：根据当前图像处理任务的具体需求，自动选择最合适的算法执行路径，具体算法包括isp内置算法及dsp加速算法；

5、isp核心处理模块：采用编码mipi接口，对数据进行快速传输与处理，同时针对常规图像处理任务进行优化，以降低功耗；

6、dsp异构加速模块：用于针对复杂的图像处理算法进行硬件加速，通过与isp模块的协同工作，来提升处理速度与能效比；

7、环境适应模块：通过集成的多传感器技术，来实时监测设备操作环境数据，并根据实时环境数据调整isp算法的运行参数，以适应不同环境条件下的能效需求；

8、用户配置反馈模块：允许用户通过设定偏好来影响功耗与性能的平衡，将用户输入转化为系统参数，优化算法执行策略，达到个性化的图像处理效果。

9、进一步的，所述动态功耗调节模块包括计算负载监测单元、能耗模型构建单元以及性能与功耗平衡控制单元；其中，

10、计算负载监测单元：用于通过时间序列分析的负载监测算法，对系统运行状态进行高精度评估，具体将负载监测算法表述为使用滑动窗口技术来计算过去一段时间内的平均处理器使用率(ucpu)和内存使用率(umem)，以及当前执行任务的算法复杂度指数(calg)，具体计算公式为：

11、uavg＝α·ucpu+β·umem+γ·calg，其中，uavg为平均计算负载，综合考量的系统负载指标，ucpu为cpu的使用率，umem为内存的使用率，calg为当前执行任务的算法复杂度指数，α，β，γ为权重系数，分别调整cpu使用率、内存使用率和算法复杂度在总负载评估中的影响，该负载监测算法用于通过综合考量cpu使用率、内存使用率及当前任务的复杂度来评估系统的总计算负载，为后续的功耗调节提供决策依据；

12、能耗模型构建单元：采用线性回归分析的能耗模型，通过分析处理器使用率、内存使用率以及算法复杂度与系统总功耗之间的关系，建立能耗预测模型，具体预测模型的公式表示为：ptotal＝w1·ucpu+w2·umem+w3·calg+b，其中，ptotal为系统的总功耗，ucpu为cpu的使用率，umem为内存的使用率，calg为当前执行任务的算法复杂度指数，w1，w2，w3为模型参数，代表不同资源使用对功耗的贡献率，b为常数项表示基础功耗；

13、性能与功耗平衡控制单元：在计算负载监测单元和能耗模型构建单元的基础上，该性能与功耗平衡控制单元用于制定和执行动态调节策略，包括动态调整处理器频率、调整内存访问策略、优化算法执行路径的措施。

14、进一步的，所述动态调整处理器频率、调整内存访问策略、优化算法执行路径的措施具体包括：

15、处理器频率动态调整策略：用于根据当前的计算负载uavg，动态调整cpu频率，以降低负载时的功耗，具体当uavg低于预设阈值时，降低cpu频率；反之，则提高频率以保证性能；

16、内存访问优化策略：通过优化内存访问模式和调整内存频率，减少能耗，在算法复杂度较低时，降低内存的访问频率和带宽需求，以减少功耗；

17、算法执行路径优化：根据calg选择最合适的算法执行路径，对于复杂度低的任务，采用低功耗但效率较高的算法实现；对于高复杂度任务，通过调整算法参数或采用硬件加速，以保持性能的同时降低功耗。

18、进一步的，所述智能算法调度模块包括需求分析单元、算法性能评估单元以及执行路径选择单元；其中，

19、需求分析单元：用于接收和分析图像处理任务的具体需求，该需求包括图像分辨率、处理速度要求和特定图像处理功能，该需求分析单元具体将需求参数转化为任务特征向量vtask；

20、算法性能评估单元：用于存储isp内置算法和dsp加速算法的性能指标数据库，该性能指标数据库包括每种算法在不同条件下的处理速度、功耗和适用场景，该算法性能评估单元根据任务特征向量vtask，评估并排列各算法的适用性；

21、执行路径选择单元：根据算法性能评估结果，选择最优的算法执行路径，该执行路径选择单元具体采用决策算法基于性能和功耗指标，计算得到每条路径的综合得分spath，并选择得分最高的执行路径，具体计算公式为：

22、spath＝λ·pspeed(vtask)+(1-λ)·ppower(vtask)，其中，spath为算法执行路径的综合得分，pspeed(vtask)为基于任务特征向量评估的处理速度得分，ppower(vtask)为基于任务特征向量评估的功耗得分，λ为权重系数，用于平衡处理速度与功耗之间的重要性。

23、进一步的，所述isp核心处理模块包括数据传输单元、图像预处理单元，以及图像处理优化单元；其中，

24、数据传输单元：采用编码的mipi接口进行图像数据的接收和发送，该数据传输单元通过实施高效的数据压缩算法，减少数据传输过程中的带宽需求，从而降低传输过程中的功耗；

25、图像预处理单元：对接收到的图像数据进行初步处理，包括去噪、色彩空间转换的操作，优化处理流程，确保图像数据在进入后续处理阶段前的质量和效率；

26、图像处理优化单元：用于执行常规图像处理任务，该图像处理优化单元通过采用算法级优化和硬件加速技术，提高处理效率，同时降低算法执行时的功耗。

27、进一步的，所述dsp异构加速模块包括dsp异构加速模块、任务调度单元、能效优化单元以及数据同步单元；其中，

28、算法映射单元：用于将预设的图像处理算法映射到dsp硬件加速器上，利用dsp的并行处理能力来加速复杂算法的执行，具体来说，对于高动态范围图像处理算法，算法映射单元能确保算法的关键部分直接利用dsp的向量处理单元执行；

29、任务调度单元：与isp模块的处理流程紧密集成，实时监控图像处理任务的需求，根据处理优先级和复杂度动态调整dsp的工作负载，用于确保在不同的图像处理阶段，能够灵活分配处理资源，优化整体处理时间和功耗；

30、能效优化单元：评估当前的图像处理任务，并决定最适合的处理路径，对于低复杂度任务，优先使用isp内置处理能力；对于高复杂度任务，通过dsp加速以提高效率；

31、数据同步单元：用于确保isp模块与dsp模块之间高效的数据交换，最小化等待时间，通过优化的数据传输协议和缓存管理策略，减少数据传输对能效和处理速度的影响。

32、进一步的，所述环境适应模块包括环境监测单元、数据分析单元、参数调整单元以及适应性控制单元；其中，

33、环境监测单元：集成多种传感器，包括温度传感器、光照传感器、湿度传感器，以实时收集设备操作环境的数据，收集环境数据包括环境温度、光照强度、湿度，用于确保系统能够获得关于当前操作环境的信息；

34、数据分析单元：对从环境监测单元收集来的数据进行分析，识别当前的环境条件，利用预先构建环境参数的性能影响模型，来进行预测环境变化对图像处理性能的影响，从而决定isp算法运行参数的最优调整方案；

35、参数调整单元：根据数据分析单元的输出，动态调整isp算法的运行参数，具体当在光照条件较差时，自动增加曝光补偿；在高温环境下，调整算法以降低功耗，减少热量生成；

36、适应性控制单元：用于将参数调整单元的决策实施到isp处理流程中，确保图像处理算法能够根据实时环境数据灵活调整，优化图像质量与系统能效。

37、进一步的，所述数据分析单元中构建环境参数的性能影响模型的步骤包括：

38、特征选择：选择环境参数作为特征变量，包括温度t、光昭强度l、湿度h；

39、目标变量定义：定义图像处理性能指标，包括处理速度s、图像质量q、功耗p，作为模型的目标变量；

40、数据收集预处理：通过环境监测单元收集的数据，对特征变量进行预处理，包括归一化处理；

41、模型构建：使用线性回归算法建立模型，预测图像处理性能指标与环境参数之间的关系，该模型公式为：

42、s＝α+β1t+β2l+β3h+∈，

43、q＝γ+δ1t+δ2l+δ3h+ζ，

44、p＝θ+λ1t+λ2l+λ3h+η，其中，s、q、p分别代表图像处理的速度、质量和功耗，t、l、h代表温度、光照强度和湿度；α、γ、θ是截距项，表示在没有环境影响时的基准性能；β、δ、λ是系数，表示各环境参数对性能指标的影响强度；∈、ζ、η是误差项，表示其他因素的影响。

45、进一步的，所述用户配置反馈模块包括用户输入接口单元、参数转化单元以及算法优化策略单元；其中，

46、用户输入接口单元：用于接收用户的输入偏好，偏好包括图像处理的优先级、特定算法的偏好，以及对功耗的容忍度；

47、参数转化单元：用于将用户的输入偏好转化为具体的系统运行参数，该转化过程涉及分析用户偏好与系统参数之间的映射关系，并根据预设的模型，计算出最适合用户需求的参数配置；

48、算法优化策略单元：基于参数转化单元提供的系统参数，用于调整图像处理算法的执行策略，包括选择最适合当前用户配置的算法路径以及调整算法的具体执行参数以适配用户偏好。

49、本发明的有益效果：

50、本发明，通过引入动态功耗调节模块，智能算法调度模块，以及环境适应模块和用户配置反馈模块，实现了在不同环境条件下及根据用户的个性化需求，动态优化图像处理算法的执行策略和功耗管理，这不仅大幅提高了图像处理的效率和质量，同时显著降低了功耗，延长了设备的续航时间，特别适用于移动设备和便携式智能系统。

51、本发明，通过集成的多传感器技术实时监测设备操作环境数据(如温度、光照等)，本系统能够智能调整isp算法的运行参数，以最佳适配当前的环境条件，这种环境适应性的设计，使得图像处理过程能够在各种操作环境下都保持最优的性能与功耗比，进一步提升了系统的通用性和适应性。

52、本发明，通过用户配置反馈模块的设计，允许用户根据自己的偏好来影响图像处理的策略和功耗配置，实现了图像处理效果的个性化定制，这种用户参与的设计不仅增强了用户体验，还通过智能化的参数调整，进一步优化了系统的能效管理，满足了不同用户在不同使用场景下对图像处理性能和功耗的特定需求。