一种三字一画AI辅助评分方法与流程

本发明属于ai评分，尤其涉及一种三字一画ai辅助评分方法。

背景技术：

1、三字一画，指粉笔字、钢笔字、毛笔字和简笔画，是师范生日常技能训练中的重要环节，也是师范生重要的基本功。在目前市面上的成绩管理系统中，大多能够实现书法、绘画图片的上传和成绩结果的线上管理。但是，学生的成绩依然需要由老师来线上人工评阅。因此，通过搭载基于迁移学习技术的深度学习图像回归模型，能够对学生上传的书法或绘画图像进行ai辅助评分，帮助阅卷老师提高工作效率。同时也能在学生的日常训练中提供便捷易得的参考评分。

2、随着线上教学和考试的不断发展，线上阅卷的工作量成为教师群体的一大难题。客观题的自动评阅为教师阅卷减轻了工作量，但类似三字一画的题目的评分还是依赖人工。三字一画是师范生日常必需的练习项目，各大师范院校对于便利的线上辅助打分模块需求非常强烈。现有的类似技术主要是ai书法评分系统。大多数需要配套专门的数位板、手写笔或者是摄像头。通过嵌入式设备辅助，来达到较高的预测性能。通过图像采集与传输、文字分割和图像特征提取，实现ai书法评分。

3、图像特征提取是其中最为核心的技术，主要是通过卷积神经网络对图像进行多层的卷积与池化，提取从低层到高层的图像特征，形成图像的特征多维矩阵。卷积神经网络(convolutional neural network,cnn)是一种常用于图像处理的深度学习神经网络结构，发展成熟，种类丰富，很适合用于书法或绘画图像的辅助评分任务。现有技术的缺点：

4、1.高成本的配套设备：

5、现有的ai书法评分系统对于配套的硬件设备有较高的要求，需要配套的数位板、手写笔或是摄像头，来对书法图像进行专门的采集。整套的系统，不仅需要线上的部署，还需要线下进行硬件安装，对于普通用户来说比较难以获取，成本也很高。

6、2.复杂的预处理导致实际场景中的低泛用性：

7、现有的ai书法辅助评分技术，在数据预处理的环节中引入了较为精细的文字分割，从而提高模型性能。然而，训练阶段过度的预处理，会导致在实际应用场景中的泛化能力下降，不能真正展现出在训练过程中的优秀性能。

8、3.处理的内容过于简单，不能适应更复杂的应用场景：

9、现有的ai书法辅助打分针对的应用场景大多是字帖练字，模型的训练资料大多都只包含单个字，因此对于较为复杂的书法作品，不能够进行较为高效的识别与评分，应用场景十分有限。

技术实现思路

1、针对现有技术中的上述不足，本发明提供的一种三字一画ai辅助评分方法，解决了现有的ai书法评分技术对于硬件设施的依赖问题，使用完全的线上深度学习模型部署，为师范专业师生提供低成本、高泛用的ai辅助打分。

2、为了达到以上目的，本发明采用的技术方案为：一种三字一画ai辅助评分方法，包括以下步骤：

3、s1、获取三字一画的作品图像，并对作品图像进行预处理；

4、s2、根据经预处理后的作品图像，构建三字一画评分数据集；

5、s3、利用三字一画评分数据集对深度学习模型进行训练；

6、s4、利用训练后的深度学习模型提取图像特征，并输出预测评分，完成三字一画的ai辅助评分。

7、本发明的有益效果是：本发明使用基于大数据集imagenet的预训练模型，利用其强大的图像处理能力，实现了简捷易得的师范生三字一画ai辅助评分模块。不同于其他需要配套的阅卷硬件设施的辅助打分深度学习模型，本发明的深度学习模型接受任何大小、任何尺寸、任何拍摄设备、任何拍摄条件的jpg图像。只要输入学生的作品图像，深度学习模型就能够快速地给出评分建议。解决了现有的ai书法评分技术对于硬件设施的依赖问题，使用完全的线上深度学习模型部署，为师范专业师生提供低成本、高泛用的ai辅助打分。

8、进一步地，所述步骤s1包括以下步骤：

9、s101、获取三字一画的作品图像，并将作品图像划分为训练集、测试集以及验证集；

10、s102、分别对训练集、测试集、验证集中作品图像的尺寸进行处理；

11、s103、对训练集中经尺寸处理后的作品图像，进行随机裁剪处理；

12、s104、对训练集中经s103处理后的作品图像，进行随机旋转、随机水平和垂直翻转处理；

13、s105、对训练集中经s104处理后的作品图像，进行随机亮度和对比度调整；

14、s105、引入随机的高斯模糊，并在经亮度和对比度调整后的作品图像中添加随机噪声；

15、s106、对训练集中经s105处理后的作品图像，以及验证集、测试集中经s102处理的作品图像，进行像素归一化处理，完成对作品图像的预处理。

16、上述进一步方案的有益效果是：本发明在数据预处理过程中对训练集数据进行引入随机性的预处理，使得训练数据的多样性得以增强，模型接收更加多样的训练数据意味着模型能够学习到更多的情景，模型的鲁棒性增强。对验证集和测试集数据仅进行基础的数据预处理以适应模型输入格式，而不引入随机性，能够使得数据更加接近真实应用场景，得到有效可信的验证与测试结果。

17、再进一步地，所述步骤s3中深度学习模型包括：

18、输入层，用于接收经预处理后的作品图像；

19、隐藏层，用于根据经预处理后的作品图像，以三维矩阵的形式与权重矩阵进行矩阵计算，得到图像特征，并将图像特征以特征向量的形式输入至输出层；

20、输出层，用于将特征向量转换为一维向量，输出预测评分。

21、上述进一步方案的有益效果是：本发明在深度学习模型训练过程中逐层渐进地微调预训练模型的权重。在训练过程的前期冻结隐藏层的权重，使用预训练深度学习模型在大数据集上训练出的图像特征提取能力进行图像特征提取，仅训练输出层的权重。在输出层的训练基本完成后，再逐层地解冻隐藏层的权重。这样的训练方法能够使得模型充分地继承预训练模型的图像特征提取能力，同时充分地拟合三字一画打分任务的图像，在三字一画打分任务中展现出更好的效果。

22、再进一步地，隐藏层包括依次连接的第一卷积层、最大池化层、堆叠的第一残差模块、第二残差模块、第三残差模块和第四残差模块以及平均池化层，所述平均池化层与输出层连接，所述第一卷积层与输入层连接；

23、所述第一残差模块包括依次连接的1个卷积块和2个识别块，所述第二残差模块包括依次连接的1个卷积块和3个识别块，所述第三残差模块包括依次连接的1个卷积块和5个识别块，所述第四残差模块包括依次连接1个卷积块和2个识别块。

24、上述进一步方案的有益效果是：本发明根据书法作品评分任务本身的特点，对传统的resnet神经网络结构做出定制化的改进，增强深度学习模型的复杂程度和泛化性，以适应复杂的评分任务。改进后的深度学习模型比原本的结构能更为高效地从数据中学习特征，评分更加准确。同时，因为改进的深度学习模型结构中的防过拟合层，改进后的深度学习模型表现更加稳定，极端高/低的评分更少出现。

25、再进一步地，各所述卷积块的结构均相同，包括依次连接的第二卷积层、第一批量归一化层、第三卷积层、第二批量归一化层、第四卷积层、第三批量归一化层、第一激活函数层、第五卷积层以及第四批量归一化层；

26、各所述识别块的结构均相同，包括依次连接的第六卷积层、第五批量归一化层、第七卷积层、第六批量归一化层、第八卷积层、第七批量归一化层以及第二激活函数层。

27、再进一步地，所述输出层包括矩阵展平层、与矩阵展平层依次连接的第一全连接层、第二全连接层以及设置于第一全连接层和第二全连接层之间的dropout层。

28、上述进一步方案的有益效果是：本发明对深度学习模型的全连接层进行自定义的改造，在进行改造时，同时加入矩阵展平和预防过拟合的层，可将结构较为复杂的卷积层保留原状，在结构较为简单的全连接层进行需要的功能的添加，以使得深度学习模型能够对图像特征进行更充分的处理。

29、再进一步地，所述s3包括以下步骤：

30、s301、加载三字一画评分数据集；

31、s302、创建并初始化深度学习模型，并加载权重；

32、s303、指定训练优化器的种类及其超参数，指定学习率热身、衰减方式及其超参数，指定dropout层的超参数；

33、s304、训练深度学习模型，针对深度学习模型达到收敛时，完成对深度学习模型的训练。

34、上述进一步方案的有益效果是：本发明使用当前主流的优化器对训练过程进行优化，并引入学习率热身与衰减策略来保证训练过程的平稳，使用dropout正则化技术来防止过拟合。这几项策略保证了模型训练过程中损失值的平稳下降，性能的稳步提升。

35、再进一步地，所述s4包括以下步骤：

36、s401、将已训练的深度学习模型封装为python函数，将分别指定作品图像路径以及深度学习模型名称的两个字符串作为参数传入函数；

37、s402、调用python函数，根据部署的深度学习模型路径，加载深度学习模型；

38、s403、获取待评分的作品图像，并对待评分的作品图像进行裁剪和像素归一化处理；

39、s404、将经s403处理后的待评分的作品图像，输入至已训练的深度学习模型中；

40、s405、根据输入的待评分作品图像，经三维矩阵的形式与权重矩阵进行矩阵计算，得到图像特征，并将图像特征以特征向量的形式输出；

41、s406、将特征向量转换为一维向量，输出预测评分，完成三字一画的ai辅助评分。

42、上述进一步方案的有益效果是：本发明将打分深度学习模型封装为一个python函数，仅需要传递两个参数就可以简便地进行调用。定制化的输出层结构将复杂的特征向量转化成任务需要的格式，对学生作品的4项分数进行准确的预测。