基于多模态深度学习的多媒体流服务系统及优化方法与流程

本发明涉及车载娱乐与信息，尤其涉及一种基于多模态深度学习的多媒体流服务系统及优化方法。

背景技术：

1、随着车载娱乐系统的普及，用户对于多媒体内容的质量和个性化需求日益增长。车载娱乐系统已经从简单的音频播放器发展为集音频、视频、导航和其他多种功能于一体的多媒体中心。然而，现有的车载娱乐系统在提供多媒体流方面仍然存在许多问题。传统的自适应比特率（abr）技术虽然可以在一定程度上优化流媒体传输，但在车载环境下仍面临挑战，如网络波动和硬件性能差异。此外，传统的abr方法通常只考虑了单个因素，如网络状况或用户偏好，而未综合考虑多个因素进行优化处理。

技术实现思路

1、本发明要解决的技术问题是：现有的车载多媒体难以适用于网络波动、用户硬件较差的环境。

2、为此，本发明提供一种基于多模态深度学习的多媒体流服务系统及优化方法。

3、本发明解决其技术问题所采用的技术方案是：

4、一种基于多模态深度学习的多媒体流服务系统，包括

5、网络模块，以及

6、数据存储模块，所述数据存储模块用于获取用户行为数据以及车辆环境信息；

7、多媒体流处理模块，所述多媒体流处理模块与数据存储模块连接；

8、多模态深度学习模块，所述多模态深度学习模块与多媒体流处理模块连接；

9、用户界面模块，所述用户界面模块与多媒体流处理模块、多模态深度学习模块均连接；

10、车载硬件模块，所述车载硬件模块与多模态深度学习模块、用户界面模块连接；

11、其中，所述多媒体流处理模块、多模态深度学习模块、用户界面模块、车载硬件模块均与网络模块连接。

12、进一步地，所述数据存储模块包括数据获取模组和数据预处理模组。

13、进一步地，所述多模态深度学习模块内设置有深度学习模型。

14、进一步地，所述深度学习模型内设置有多模态融合transformer层，在融合后的特征上应用自注意力机制，允许模型关注不同模态内部的信息和时序特征，利用跨模态注意力机制帮助模型理解用户驾驶行为、环境与车辆之间的依赖关系和交互作用，所述所述深度学习模型内堆叠多个transformer编码器块，进一步捕获复杂的跨模态交互和时序特征。

15、进一步地，所述深度学习模型使用rnn或lstm算法从用户驾驶行为数据中提取用户驾驶行为特征的时序特征和偏好模式，所述深度学习模型使用统计方法或深度学习模型从环境与车辆数据中提取关键环境与车辆特征。

16、一种基于多模态深度学习的多媒体流优化方法，包括以下步骤，

17、步骤一，获取用户行为数据，以及车辆环境信息；

18、步骤二，深度学习模块根据用户行为数据预测用户偏好，根据车辆环境信息预测当前或未来一段时间内的网络和设备性能，为多媒体流处理模块提供决策依据；

19、步骤三，多媒体流处理模块根据预测结果和环境信息对多媒体内容进行优化处理，并通过用户界面模块展示给用户。

20、进一步地，在步骤一中，对获取的数据对数据进行清洗，去除噪声和异常值，提取数据中有意义的特征进行归一化或标准化处理。

21、进一步地，在步骤二中，根据当前车载环境信息与网络状态，将步骤一中获取的用户行为数据打包，并且整合收到的信息计算所需要的算力，将获取的用户行为数据发送至多模态深度学习模块进行数据处理。

22、进一步地，在步骤三中，多媒体流处理模块会根据深度学习模型对当前或未来一段时间内的网络和设备性能的预测结果来制定数据传输策略，如果预测到网络带宽不足或延迟较高，模块选择降低视频分辨率或比特率来确保流畅播放，如果设备性能较低，模块选择缓存更多内容以减轻处理器和内存的负载。

23、进一步地，数据传输策略包括比特率调整、转码、缩放以及帧率调整。

24、本发明的有益效果是，本发明提供了一种基于多模态深度学习和自适应处理的车载多媒体流服务系统。通过整合多模态深度学习模块、多媒体流处理模块、用户界面模块以及辅助的硬件和网络模块的功能和交互，通过融合多种数据模态，系统能够更准确地理解用户需求，提供更个性化的服务，根据实时环境信息优化处理多媒体内容，多媒体流处理模块会根据深度学习模型的预测结果来制定策略，从而实时对网络宽带、设备传输方式进行调整，以降低设备负载，提高设备运行的流畅程度，确保高质量播放体验。该系统形成闭环工作流程，不断学习和适应用户需求和环境变化，实现持续改进，能够提供更优质、个性化、智能化的车载多媒体播放体验，并具备持续改进的能力。

技术特征：

1.一种基于多模态深度学习的多媒体流服务系统，其特征在于，包括

2.根据权利要求1所述的基于多模态深度学习的多媒体流服务系统，其特征在于，所述数据存储模块包括数据获取模组和数据预处理模组。

3.根据权利要求1所述的基于多模态深度学习的多媒体流服务系统，其特征在于，所述多模态深度学习模块内设置有深度学习模型。

4.根据权利要求3所述的基于多模态深度学习的多媒体流服务系统，其特征在于，所述深度学习模型内设置有多模态融合transformer层，在融合后的特征上应用自注意力机制，允许模型关注不同模态内部的信息和时序特征，利用跨模态注意力机制帮助模型理解用户驾驶行为、环境与车辆之间的依赖关系和交互作用，所述所述深度学习模型内堆叠多个transformer编码器块，进一步捕获复杂的跨模态交互和时序特征。

5.根据权利要求3所述的基于多模态深度学习的多媒体流服务系统，其特征在于，所述深度学习模型使用rnn或lstm算法从用户驾驶行为数据中提取用户驾驶行为特征的时序特征和偏好模式，所述深度学习模型使用统计方法或深度学习模型从环境与车辆数据中提取关键环境与车辆特征。

6.一种基于多模态深度学习的多媒体流优化方法，其特征在于，包括以下步骤，

7.根据权利要求6所述的基于多模态深度学习的多媒体流优化方法，其特征在于，在步骤一中，对获取的数据对数据进行清洗，去除噪声和异常值，提取数据中有意义的特征进行归一化或标准化处理。

8.根据权利要求6所述的基于多模态深度学习的多媒体流优化方法，其特征在于，在步骤二中，根据当前车载环境信息与网络状态，将步骤一中获取的用户行为数据打包，并且整合收到的信息计算所需要的算力，将获取的用户行为数据发送至多模态深度学习模块进行数据处理。

9.根据权利要求6所述的基于多模态深度学习的多媒体流优化方法，其特征在于，在步骤三中，多媒体流处理模块会根据深度学习模型对当前或未来一段时间内的网络和设备性能的预测结果来制定数据传输策略，如果预测到网络带宽不足或延迟较高，模块选择降低视频分辨率或比特率来确保流畅播放，如果设备性能较低，模块选择缓存更多内容以减轻处理器和内存的负载。

10.根据权利要求9所述的基于多模态深度学习的多媒体流优化方法，其特征在于，数据传输策略包括比特率调整、转码、缩放以及帧率调整。

技术总结本发明涉及车载娱乐与信息技术领域，尤其涉及一种基于多模态深度学习的多媒体流服务系统及优化方法，服务系统包括网络模块，以及数据存储模块，多媒体流处理模块，多模态深度学习模块，用户界面模块；多媒体流处理模块与数据存储模块连接；多模态深度学习模块与多媒体流处理模块连接；用户界面模块与多媒体流处理模块、多模态深度学习模块均连接；多媒体流处理模块、多模态深度学习模块、用户界面模块均与网络模块连接。获取用户行为数据、车辆环境信息；深度学习模块预测用户偏好，网络和设备性能；多媒体流处理模块根据预测结果对多媒体内容进行优化处理。本发明实时监测车辆环境信息，对设备传输方式进行调整，提高设备运行的流畅程度。技术研发人员：赵强,张天雪,戴凯龙,刘宇受保护的技术使用者：常州星宇车灯股份有限公司技术研发日：技术公布日：2024/8/1