一种电子白板大屏设备的手指识别方法与系统与流程

本发明涉及电子白板，尤指一种电子白板大屏设备的手指识别方法与系统。

背景技术：

1、现有的电子白板大屏设备广泛应用于教育、企业会议和公共展示等领域，为用户提供了直观、互动的操作体验。然而，随着用户需求的多样化和操作场景的复杂化，传统的电子白板手指识别技术面临着诸多挑战。

2、首先，不同的触摸框在手指和笔的识别能力上存在较大差异。有些触摸框能够同时支持手指和笔的识别，并且可以区分手指和笔的操作，而另一些触摸框仅支持手指或笔的单一识别功能。这种不一致性导致了用户体验的差异化，一些用户在操作过程中可能会遇到识别不准确或响应迟缓的问题，严重影响了用户的使用体验。其次，即使触摸框支持手笔区分，识别精度也因设备和算法的不同而异。有些设备能够在高精度、高灵敏度下快速响应用户操作，而另一些设备则可能在高频率操作或复杂手势识别时表现不佳。传统的手指识别功能不能适应于多设备且难以适应多样化的用户操作需求，导致识别结果不稳定，难以满足实际应用中的高要求，如想通过手指的指令去操作切屏，同时需要兼顾通过电子笔进行演讲过程中的文本标记时，则容易造成冲突。

技术实现思路

1、为解决上述问题，本发明提供一种电子白板大屏设备的手指识别方法与系统，通过能够在触摸框不支持手笔识别的情况下，通过插件加载手指识别算法实现在支持不同电子白板大屏设备上的手指识别并提高了手指识别的精度。

2、为实现上述目的，本发明采用的技术方案是：

3、一种电子白板大屏设备的手指识别方法，包括以下步骤：

4、加载触摸框驱动，通过触摸框驱动获取触摸框的手笔支持情况；

5、根据触摸框的手笔支持情况与用户选择启用手指识别算法；

6、基于用户反馈数据对手指识别算法进行个性化更新。

7、进一步地，所述加载触摸框驱动包括：

8、获取触摸框连接状态并加载触摸框驱动；

9、通过触摸框驱动对触摸框执行初始化，所述初始化包括应用预设的初始触摸框设置；

10、加载手指识别算法和健康检测模块。

11、进一步地，所述通过触摸框驱动获取触摸框的手笔支持情况包括：

12、通过触摸框驱动查询触摸框设备属性并检查设备支持的功能集；

13、若功能集同时包含手指识别和笔识别，则判定为支持手笔区分；

14、若功能集不同时包含手指识别和笔识别，则判定为不支持手笔区分。

15、进一步地，所述根据触摸框的手笔支持情况与用户选择启用手指识别算法包括：

16、若触摸框支持手笔区分且用户选择为启用手指识别功能，则调用设备功能集进行手指识别；

17、若触摸框不支持手笔区分且用户选择为启用手指识别功能，则通过手指识别算法执行手指识别。

18、进一步地，所述通过手指识别算法执行手指识别包括以下步骤：

19、获取触屏数据，包括占用矩阵及对应时间戳；

20、对触屏数据进行解析，得到单位触屏面积及触屏运动轨迹；

21、基于卷积神经网络，通过单位触屏面积和触屏运动轨迹进行手指识别；

22、根据手指识别结果匹配触摸框指令。

23、进一步地，所述对触屏数据进行解析包括以下步骤：

24、基于触屏数据获取第一预设时间内的占用矩阵面积，并作为第一参考面积；

25、根据第一参考面积对触屏数据进行时间序列分析，计算各时间点的占用矩阵面积变化，得到时间序列特征；

26、根据时间序列特征，识别出稳定的触屏接触区域，并将该区域的占用矩阵面积作为单位触屏面积；

27、提取单位触屏面积在第二预设时间内的变化轨迹并进行去重，得到触屏运动轨迹矩阵。

28、进一步地，所述卷积神经网络通过以下步骤进行训练：

29、将单位触屏面积和触屏运动轨迹矩阵作为卷积神经网络的输入层；

30、通过卷积层对输入数据进行特征提取，生成特征图；

31、对特征图进行池化操作并输入至全连接层进行整合；

32、通过输出层判定手指操作并通过预标记的手笔标注结果进行反向传播优化网络参数。

33、进一步地，所述卷积神经网络的公式如下：

34、

35、其中，i和j分别是输入矩阵的行和列的索引；是卷积神经网络在第k个特征图中位置(i，j)的输出值；x是单位触屏面积矩阵；t是触屏运动轨迹矩阵；m和n是分别是卷积核的行和列的索引；是对应单位触屏面积矩阵的第k个卷积核的权重矩阵；是对应触屏运动轨迹矩阵的第k个卷积核的权重矩阵；bk是第k个卷积核的偏置；m和n分别是卷积核的高度和宽度。

36、进一步地，所述基于用户反馈数据对手指识别算法进行个性化更新包括：

37、收集用户反馈数据，所述用户反馈数据包括用户操作数据和反馈信息；

38、根据用户操作数据实时调整手指和笔识别的灵敏度和精度；

39、根据用户操作数据和反馈信息实时检测用户数量并进行分区管理。

40、进一步地，所述根据用户操作数据实时调整手指和笔识别的灵敏度和精度包括：

41、根据同一任务内手笔使用次数实时调整手指识别算法的识别时间间隔；

42、通过对若干次手指识别算法的识别结果进行加权调整手指和笔识别的灵敏度和精度。

43、进一步地，所述根据同一任务内手笔使用次数实时调整手指识别算法的识别时间间隔包括：

44、

45、其中，tnew是调整后的识别时间间隔；tbase是原识别时间间隔；γ是调整系数，用于控制识别时间间隔的调整幅度；h是手指使用次数；p是笔使用次数。

46、一种电子白板大屏设备的手指识别系统，包括手笔支持检查模块、算法调度模块、个性化模块、健康检测模块和提示模块；

47、所述手笔支持检查模块用于通过触摸框驱动获取触摸框的手笔支持情况；

48、所述算法调度模块用于根据触摸框的手笔支持情况与用户选择启用手指识别算法；

49、所述个性化模块用于基于用户反馈数据对手指识别算法进行个性化更新；

50、所述个性化模块包括用户数据采集模块和更新模块，所述用户数据采集模块用于监听用户操作数据并采集反馈信息，所述更新模块用于实时调整手指和笔识别的灵敏度和精度并实时检测用户数量并进行分区管理；

51、所述健康检测模块用于根据触摸框的监测触摸框坏点并进行校验；

52、所述提示模块用于在更新后提供提示信息并提示经过校验的坏点信息。

53、本发明的有益效果在于：本发明通过加载触摸框驱动，获取触摸框的手笔支持情况。如果触摸框支持手笔区分，则调用设备功能集进行手指识别；若触摸框不支持手笔区分，则通过手指识别算法执行手指识别，从而在不同设备上都能实现高效的手指识别。根据触摸框的手笔支持情况和用户选择，启用或禁用手指识别算法。这样，即使在触摸框不支持手笔区分的情况下，用户也可以根据需要选择启用手指识别功能，从而提升用户体验的灵活性和个性化。手指识别算法通过对触屏数据进行解析，基于卷积神经网络通过单位触屏面积和触屏运动轨迹进行手指识别。卷积神经网络的使用大大提高了手指识别的精度和响应速度，能够在复杂的操作环境下保持高性能。通过收集用户反馈数据，实时调整手指和笔识别的灵敏度和精度，并根据同一任务内手笔使用次数实时调整手指识别算法的识别时间间隔，实现根据不同用户的操作习惯和需求进行个性化优化，提升了手指识别的准确性并确保识别结果的稳定性和高效性。