儿童互动绘本阅读方法、系统、电子设备及存储介质与流程

本发明涉及智能教学，尤其涉及一种儿童互动绘本阅读方法、系统、电子设备及存储介质。

背景技术：

1、儿童绘本作为一种极具特色的儿童读物，通过生动有趣的图画和简单易懂的文字相结合，能够有效吸引儿童的注意力，激发阅读兴趣，培养语言能力和想象力。近年来，随着电子技术的发展，互动式电子绘本开始流行。这类绘本利用多媒体技术，集成了声音、动画等交互元素，为儿童提供了更加逼真和身临其境的阅读体验。

2、然而，现有的互动式电子绘本在个性化适配性方面还存在不足。儿童的阅读能力、认知水平、情绪状态等因素都会随着年龄增长、知识积累而动态变化。但目前的绘本内容通常是预设好的，难以根据儿童的实际阅读状态进行实时调整。比如，对于阅读能力较强的儿童，现有绘本的内容难度可能偏低，导致阅读体验不佳；而对于认知水平较低的儿童，绘本情节又可能过于复杂，影响理解和吸收。同时，现有绘本也无法根据儿童阅读时的专注程度、情绪波动等因素，动态调整呈现的内容形式和进度。这就导致儿童的阅读体验无法真正做到因材施教，难以充分发挥绘本的育教功能。

技术实现思路

1、本申请提供一种儿童互动绘本阅读方法、系统、电子设备及存储介质，用以提高儿童互动绘本的交互能力。

2、第一方面，本申请提供了一种儿童互动绘本阅读方法，所述方法，包括：

3、获取儿童的阅读历史数据和在读故事进展数据，并根据所述阅读历史数据，确定儿童阅读偏好；

4、采集阅读过程中的儿童面部表情图像、儿童与系统对话的语音数据、儿童肢体动作视频数据和眼动数据，并根据所述儿童面部表情图像和所述眼动数据，确定儿童的阅读专注度；

5、根据所述语音数据，确定第一情感状态；

6、根据所述儿童肢体动作视频数据，确定第二情感状态数据；

7、根据所述儿童阅读偏好、所述在读故事进展数据、所述儿童的阅读专注度、所述第一情感状态和所述第二情感状态数据，对绘本故事情节复杂程度进行调整。

8、在上述技术方案中，通过获取儿童的阅读历史数据和在读故事进展数据，并根据阅读历史数据确定儿童阅读偏好，可以全面了解儿童的阅读兴趣和习惯，为后续的个性化阅读体验提供关键依据。在此基础上，该方法还采集阅读过程中的儿童面部表情图像、儿童与系统对话的语音数据、儿童肢体动作视频数据和眼动数据等多维度信息，并根据儿童面部表情图像和眼动数据确定儿童的阅读专注度，同时根据语音数据和儿童肢体动作视频数据分别确定第一情感状态和第二情感状态数据。这种多模态的阅读状态分析，能够全面评估儿童的投入程度和情绪体验，捕捉阅读过程中的动态变化。

9、在本申请的第二方面提供了一种儿童互动绘本阅读系统，该系统包括：

10、阅读偏好确定模块，用于获取儿童的阅读历史数据和在读故事进展数据，并根据所述阅读历史数据，确定儿童阅读偏好；

11、阅读专注度确定模块，用于采集阅读过程中的儿童面部表情图像、儿童与系统对话的语音数据、儿童肢体动作视频数据和眼动数据，并根据所述儿童面部表情图像和所述眼动数据，确定儿童的阅读专注度；

12、第一情感状态确定模块，用于根据所述语音数据，确定第一情感状态；

13、第二情感状态确定模块，用于根据所述儿童肢体动作视频数据，确定第二情感状态数据；

14、调整模块，用于根据所述儿童阅读偏好、所述在读故事进展数据、所述儿童的阅读专注度、所述第一情感状态和所述第二情感状态数据，对绘本故事情节复杂程度进行调整。

15、在本申请的第三方面提供了一种计算机存储介质，计算机存储介质存储有多条指令，指令适于由处理器加载并执行上述的方法步骤。

16、在本申请的第四方面提供了一种电子设备，包括处理器、存储器、用户接口及网络接口，存储器用于存储指令，用户接口和网络接口用于给其他设备通信，处理器用于执行存储器中存储的指令，以使电子设备执行上述的方法。

17、综上，本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

18、1、本发明通过获取儿童的阅读历史数据和在读故事进展数据，并根据阅读历史数据确定儿童阅读偏好，可以全面了解儿童的阅读兴趣和习惯，为后续的个性化阅读体验提供关键依据。在此基础上，该方法还采集阅读过程中的儿童面部表情图像、儿童与系统对话的语音数据、儿童肢体动作视频数据和眼动数据等多维度信息，并根据儿童面部表情图像和眼动数据确定儿童的阅读专注度，同时根据语音数据和儿童肢体动作视频数据分别确定第一情感状态和第二情感状态数据。这种多模态的阅读状态分析，能够全面评估儿童的投入程度和情绪体验，捕捉阅读过程中的动态变化。

19、2、本申请充分考虑了儿童在绘本阅读过程中的情绪状态和注意力分配特点,通过跟踪分析面部关键特征点的形变量和眼动数据的空间分布,实现了对儿童专注度的客观、精准、实时的测量。

20、3、本申请从语义和声学两个维度入手,通过提取语音文本的词性特征和语音信号的声学特征,实现了对儿童情感的多模态、立体化描述,大大提高了情感识别的精度和可靠性。

技术特征：

1.一种儿童互动绘本阅读方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述根据所述阅读历史数据，确定儿童阅读偏好，包括：

3.根据权利要求1所述的方法，其特征在于，所述根据所述儿童面部表情图像、所述儿童肢体动作数和所述眼动数据，确定儿童的阅读专注度，包括：

4.根据权利要求1所述的方法，其特征在于，所述根据所述语音数据，确定第一情感状态，包括：

5.根据权利要求1所述的方法，其特征在于，所述根据所述儿童阅读偏好、所述在读故事进展数据、所述儿童的阅读专注度、所述第一情感状态和所述第二情感状态数据，对绘本故事情节复杂程度进行调整，包括：

6.根据权利要求1所述的方法，其特征在于，所述根据所述儿童肢体动作视频数据，确定第二情感状态数据，包括：

7.根据权利要求1所述的方法，其特征在于，所述对所述儿童肢体动作视频数据进行特征提取处理，得到儿童的关键身体部位的动作轨迹数据和姿态变化数据，包括：

8.一种儿童互动绘本阅读系统，其特征在于，包括：

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适用于由处理器加载并执行如权利要求1~7任意一项所述的方法。

10.一种电子设备，其特征在于，包括处理器、存储器和收发器，所述存储器用于存储指令，所述收发器用于和其他设备通信，所述处理器用于执行所述存储器中存储的指令，以使所述电子设备执行如权利要求1~7任意一项所述的方法。

技术总结本申请提供了一种儿童互动绘本阅读方法、系统、电子设备及存储介质，涉及智能教学技术领域。该方法包括：通过获取儿童的阅读历史数据和在读故事进展数据，并根据阅读历史数据确定儿童阅读偏好，可以全面了解儿童的阅读兴趣和习惯，为后续的个性化阅读体验提供关键依据。在此基础上，该方法还采集阅读过程中的儿童面部表情图像、儿童与系统对话的语音数据、儿童肢体动作视频数据和眼动数据等多维度信息，并根据儿童面部表情图像和眼动数据确定儿童的阅读专注度，同时根据语音数据和儿童肢体动作视频数据分别确定第一情感状态和第二情感状态数据。这种多模态的阅读状态分析，能够全面评估儿童的投入程度和情绪体验，捕捉阅读过程中的动态变化。技术研发人员：尚跃进,宋伟,李来林受保护的技术使用者：卢卡（杭州）智能科技有限公司技术研发日：技术公布日：2024/11/4