一种辅助英语翻译者练习的训练系统及其使用方法与流程

本发明涉及辅助英语翻译者练习设备，具体为一种辅助英语翻译者练习的训练系统及其使用方法。

背景技术：

1、翻译服务作为现代服务产业，帮助中国在经济、文化和科技等领域和国外交流，英语翻译是以英语为主体而进行的语言转换活动，用英语来表达另一种语言或用另一种语言表达英语的语言之间互相表达的活动，英语翻译既包含中译英，也包含英译中，英语翻译者需要不断的学习，不断提高自己的翻译能力以及翻译的速度，在进行英语翻译练习的过程中需要翻译板等辅助装置来协助完成，帮助英语翻译者提高学习效率。

2、现有技术公开号为cn219102545u的文献提供了一种辅助英语翻译者练习的训练装置，包括主体，所述底座的顶部固定安装有高度调节机构，所述高度调节机构的顶部转动安装有角度调节机构，所述高度调节机构通过顶部的角度调节机构转动连接有放置板，所述放置板的底部固定安装有挡板，所述放置板的两端滑动安装有夹持装置。通过高度调节机构的基柱、定位孔、插销、插杆的共同作用下，插杆滑动插接在基柱上，高度调节机构通过顶部的角度调节机构转动连接的放置板，通过手动调节机械结构的方式改变放置板的高度和角度。

3、现有技术公开号为cn115188230a的文献提供了一种用于英语翻译练习辅助装置，包括：箱体和练习装置，箱体顶部设置有箱盖，箱体和箱盖为活动连接，箱盖的顶部设置有提手，练习装置位于箱体内，练习装置包含底座、支撑杆、支撑架和扩音器，底座上安装有支撑杆

4、和扩音器，支撑杆上活动连接有支撑架，箱体内部底部连接有存放盒，存放盒内部左右两侧均固定连接有导轨，存放盒内部右侧固定连接有磁条，存放盒内部活动连接有盒体。通过扩音器播放录音帮助使用者练习口语，通过放置学习平板电脑避免手动遮挡。

5、现有技术方案虽然通过现有技术的结构可以实现与有关的有益效果，但是仍存在缺陷。依靠人工调节高度和角度较为繁琐，且不能适应时常变化的人类姿态，无法做到及时的调整，仅通过录音无法有效的练习到口语，需要对发音进行练习，才能帮助口语能力的提升。

6、鉴于此，我们提出了一种辅助英语翻译者练习的训练系统及其使用方法。

技术实现思路

1、本技术实施例提供了一种辅助英语翻译者练习的训练系统及其使用方法，解决上述背景技术中提出的问题，实现了可以识别使用者的面部特征，自动调节显示器或纸质资料支架的高度和角度，保障使用者在学习时的用眼健康和颈椎健康的技术效果。

2、本技术提供一种辅助英语翻译者练习的训练系统，包括：云端存储与计算模块、模型使用设备、数据获取设备、装置主体和模型训练设备。

3、数据获取设备，包括带激光测距仪的高清摄像头，时刻采集英语翻译者练习者的图像(包括头部的图像)，采集装置主体上面板的高度及角度数据。

4、模型训练设备可以是诸如手机、平板电脑、笔记本电脑、台式电脑、智能电视和多媒体播放设备等电子设备，或者是其他一些具有较强计算能力的电子设备。模型训练设备包括调节模型；模型训练设备可以对调节模型进行训练。

5、调节模型通过训练卷积神经网络完成回归任务，所述卷积神经网络的网络结构为：卷积层对输入图像进行卷积运算，得到特征图。卷积层使用了relu激活函数，relu公式为f(x)＝max(0,x)，将负值置为“0”，增加非线性；池化层对每个特征图进行降采样，得到特征图，池化层一可以减少参数数量和计算量，同时保留重要的特征信息；全连接层一使用了relu激活函数，将负值置为“0”，增加非线性；全连接层二使用了relu激活函数，将负值置为“0”，增加非线性，输出层使用线性函数f(x)＝wx+b作为激活函数。

6、损失函数为平滑l1，损失l1＝1/n∑|y-y'|。

7、其中：y是真实值，y'是预测值，n是样本数量，使用优化器优化。

8、调节模型包括图像处理模块和动作检测模块。

9、图像处理模块，对采集到的人体图像进行灰度化、去噪、过滤及增强处理。

10、首先从摄像头的帧队列中提取一帧进行图像的单通道和灰度转换，并高斯滤波，利用当前帧和静态标准帧相减的方法，得到二值化图像，然后对图像进行膨胀和腐蚀操作，以减少噪点的影响。

11、通过meanshift跟踪算法来快速准确的跟踪人体动作，基于光流的运动监测方法，能有效的监测和跟踪人的动作，关联人体的前后两帧图像检测到人体的动作变化；对人的头部等四个区域进行计算，以此检测人的头部位置和倾斜角度。

12、动作检测模块，从处理后的图像中提取头部位置和角度的坐标特征。

13、动作检测目标的特征可分为形状、灰度、边缘、区域、纹理等；经过目标识别环节后，就可以得到感兴趣的目标区域，进而计算出图像中目标的形心位置；可以描绘出人体大致的运动轨迹，估算出人体动作后位置和方向等参数信息。动作检测的计算公式为。

14、f1(x)＝{255,[i1(x)-b1(x)]≥t；0,i1(x)-b1(x)]<t}

15、式中：i1(x)为当前时刻的输入图像，b1(x)为背景图像；x为图像的像素位置，t为判别门限，f1(x)＝255的点为t时刻的前景点。

16、通过计算，得出人体的位置和脸部的方向参数信息。然后根据面板的高度和角度，计算得出面板需要调整高度和角度。

17、模型使用设备可以是诸如手机、平板电脑、笔记本电脑、台式电脑、智能电视和多媒体播放设备等电子设备。通过摄像头获取用户图像，得到显示器或纸质资料支架需要调节的高度与角度。

18、模型训练设备和模型使用设备可以是两个独立存在的设备，也可以是同一个设备，若模型训练设备和模型使用设备是同一个设备时，则模型训练设备可以部署在模型使用设备中。

19、数据获取设备包括设置于装置主体上的摄像头、拾音器、键盘输入装置和手写板等，用于用户图像的采集，纸质资料的扫描上传，口语翻译的收集，文本翻译的收集。

20、装置主体为需要安装的硬件做支撑，通过模型使用设备输出的数据对其上设置的显示模块或纸质资料支架做出高度及角度的调整。

21、云端存储与计算模块用于部署所需要的图像文字识别模型，如cnocr，文字转语音模型，如bark，语音转文字模型，如whisper，与显示模块内部的处理器通过网络通信连接。

22、云端存储与计算模块还部署有使用语音测评技术的测评系统，通过拾音器获取音频信息，经通信网络传至测评系统对口语进行评价。

23、作为本发明的一种可选方案，所述装置主体包括。

24、显示模块，所述显示模块用于显示上传的或扫描的练习资料，内部设有处理器和存储器。

25、扬声器，所述扬声器用于播放上传的录音或生成的文本声音。

26、拾音器，所述拾音器用于收集录音和练习测试时的语音。

27、摄像头，所述摄像头用于捕捉人脸信息和识别纸质文件的文本信息。

28、手写板，所述手写板用于输入文字信息，可在测试时获取手写的翻译文本。

29、处理器，所述处理器用于模型的的计算与推理，用于程序的运行。

30、存储器，所述存储器用于程序、文档和录音等的存储。

31、支撑架，所述支撑架用于放置纸质练习资料或其他存放资料是设备。

32、传动装置，用于调节显示器或纸质资料支架的高度和角度。

33、装置支架，所述装置支架用于安装上述硬件，组合为一个完整装置。

34、作为本发明的一种可选方案，所述传动装置包括高度调节机构、水平转动机构和竖直转动机构。

35、高度调节机构为电动伸缩杆。

36、水平转动机构包含电机a和齿轮组a，电机a通过齿轮组a带动面板进行水平方向转动。

37、竖直转动机构包含电机b和齿轮组b，水平转动机构固定设置在竖直转动机构的上端；电机b通过齿轮组b带动面板进行竖直方向转动；竖直转动机构固定设置在高度调节机构的上端。

38、传动装置也可以采用其它的高度和角度调节方式。

39、本发明提供了一种辅助英语翻译者练习的训练系统的使用方法，包括以下步骤。

40、s1、利用摄像头和计算机视觉技术来检测使用者脸部信息。

41、s2、调节模型计算得出面板需要调整高度和角度。

42、s3、然后通过传动装置来调节面板高度和角度。

43、s4、上传练习所需的电子文件(文档，录音等)，对于纸质资料若有需要，可通过摄像头扫描，图像转文字扫描至显示模块。

44、s5、若上传或扫描的无译文或录音，可选择使用机器翻译和文字转语音模型生成。

45、s6、可自主选择显示模块上显示资料的内容，方便自测。

46、s7、测试时可通过手写或语音输入翻译内容，可对照上传的译文和机器翻译的结果。

47、s8、进行口语练习或测试时，使用语音测评技术测评翻译的口语。

48、作为本发明的一种可选方案，在步骤s2中，调节模型的训练包括。

49、s21、获取大量的、不同人图像和调节的舒适的高度角度数据，将采集的图像标记为相应的高度和角度制成数据集。

50、s22、将数据集分为训练集和验证集训练卷积神经网络回归模型得到调节模型的预训练模型。

51、s23、用户可用设置的摄像头采集自身使用时的图像，与适合自己的高度角度信息对预训练模型进行调整，得到适合用户的调整模型。

52、作为本发明的一种可选方案，在步骤s2中，调节模型的使用方法，包括。

53、s24、图像处理模块，对采集到的人体图像进行灰度化、去噪、过滤及增强处理。

54、s25、通过meanshift跟踪算法来快速准确的跟踪人体动作，关联人体的前后两帧图像检测到人体的动作变化；检测人的头部位置和倾斜角度。

55、s26、动作检测模块，从处理后的图像中提取头部位置和角度的坐标特征；通过计算，得出人体的位置和脸部的方向参数信息。

56、s27、然后根据面板的高度和角度，计算得出面板需要调整高度和角度数据。

57、1、本技术实施例提供的技术方案可以带来如下有益技术效果。

58、2、一方面，识别使用者的面部特征，调节显示器或纸质资料支架的高度和角度，保障使用者在学习时的用眼健康和颈椎健康。

59、3、另一方面，通过上传或扫描的方式，支持不同载体的资料，通过人工智能的方式对缺少译文或录音带资料进行补全，另一方面，可自主选择资料内容的显示，解决了遮挡效果不好，难以操作的问题。

60、4、另一方面，使用语音转文字技术，语音测评技术帮助对口语的练习。