基于多模态信息的茶叶智能揉捻装置及控制方法

本发明涉及茶叶加工，具体涉及一种基于多模态信息的茶叶智能揉捻装置及控制方法。

背景技术：

1、揉捻是茶叶制作的一步重要工序，它是将新鲜茶叶经过揉搓、滚动或压搓等方式进行处理，促使茶叶的组织细胞破裂、细胞液体释放，有利于茶叶中的化学反应和香气的形成。同时，揉捻过程中，叶片在摩擦和压力的作用下，形态发生变化，形成条索状、针状等形状，是茶叶加工过程中不可缺少的一个过程。

2、揉捻过程中，工人揉捻技术水平或者揉捻机的工艺参数设定，对揉捻工序的生产效率和质量有着重要影响。现阶段的茶叶揉捻机是通过初始设定一个固定的工艺参数加工至结束或者通过人工经验的判断茶叶揉捻程度从而控制揉捻机的启停。现有的技术存在一些问题，如揉捻不均匀、茶叶破损率高、叶形不一致、判断的主观性大、成条率不达标等。此外，采收的茶叶存在质量参差不齐现象，如老嫩叶不同、叶片大小不均匀等。如果揉捻不同的茶叶采用相同的工艺参数，将导致高破碎率或低成条率，最终导致揉捻叶品质参差不齐。

3、例如cn204930234u公开了一种自控式茶叶揉捻机，通过控制系统对各部件机构进行控制。首先根据茶叶的老嫩程度和含水量设定一个初始的压盖压力和揉筒转速，压力传感器检测到的压力与设定压力进行实时对比,并将信号反馈给加压机构和驱动机构,控制压力和转速,从而实现压力和转速的闭环控制。避免了人为根据加工工艺控制压力和转速而影响茶叶品质的一致性,最后控制系统根据揉捻时间判断揉捻程度,达到标准后进行出料操作。

4、上述方案虽能根据茶叶的初始状态，设置相应较好的起始工艺参数，并且在揉捻过程实现压力的闭环控制，但无法根据茶叶揉捻过程中具体情况去判别揉捻程度，从而对揉捻压力、速度等其他工艺参数精准控制。

5、现有的技术无法根据揉捻过程茶叶的具体状态实时准确控制揉捻力和揉捻速度等工艺参数，提高茶叶生产效率和揉捻质量。

6、因此，为解决现有技术存在的问题，亟需融合多模态信息，提出揉捻加工参数自适应控制方法，研制茶叶智能揉捻装置，改善上述传统揉捻机的不足，提高揉捻质量。

技术实现思路

1、针对现有技术存在的问题和缺陷，本发明提供了一种基于多模态信息的茶叶智能揉捻装置及控制方法，本发明的目的在于融合视觉、高光谱、电子鼻、压力等多模态信息结合控制系统，实时监测揉捻前茶叶嫩度以及揉捻中茶叶的颜色形态、成条率、细胞破碎率和化学成分等信息，实现揉捻程度智能化诊断与工艺参数精准化控制，提高生产效率和揉捻质量。

2、为了实现上述目的，本发明提出了基于多模态信息的茶叶智能揉捻装置，包括机械系统、控制系统和检测系统；所述机械系统用于完成茶叶的揉捻工作，所述检测系统用于检测茶叶的揉捻状态，所述控制系统用于智能化调整茶叶揉捻的工艺参数；

3、所述机械系统包括机架、揉捻机构、压力机构、动力机构和下料机构；所述揉捻机构设于机架上；所述压力机构的输出端与揉捻机构的顶部相连接，所述压力机构用于提供茶叶揉捻所需的压力；所述动力机构设于机架的一侧且动力机构的输出端与揉捻机构的侧部相连接，所述动力机构用于提供揉捻机构运转所需的动力；所述下料机构与揉捻机构底部的输出端相连接，所述下料机构用于控制揉捻后茶叶的出料。

4、优选的，所述揉捻机构包括揉捻盖、透明揉桶、框架、副运转臂、揉盘、主运转臂；所述揉盘设于底座上；所述透明揉桶设于揉盘上；所述揉捻盖设于透明揉桶顶部，且揉捻盖与压力机构的输出端相连接；所述框架套设在透明揉桶外部；所述主运转臂设于动力机构与框架之间，且主运转臂的两个端部分别与动力机构和框架相连接；所述框架与底座之间还设有至少2个的副运转臂，使透明揉桶在揉盘内做水平圆周运动；所述揉盘表面沿其圆周方向均匀设置棱骨。

5、优选的，所述压力机构包括减速电机、立柱、加压臂、压力杆及压力弹簧；所述减速电机设于框架上；所述立柱与减速电机的输出端相连接，所述减速电机能够带动立柱内的丝杆转动；加压臂上的滑动螺母装在丝杆上，在立柱的限制下，滑动螺母只能在丝杆上上下运动，进而带动加压臂做上下运动；所述加压臂的一端套设在立柱上，所述加压臂的另一端与压力杆及压力弹簧相连接；所述压力杆及压力弹簧远离加压臂的一端通过压力传感器与揉捻盖相连；加压臂上下运动给揉捻盖传递压力；压力传感器由检测压力值与系统设定值对揉捻压力形成闭环控制，在加压或减压过程中，通过压力传感器信号测定压力是否达到系统设定值，从而决定减速电机正转或者反转，由此控制加压臂的上下，实现压力的反馈控制。

6、优选的，所述动力机构安装在机架上，所述动力机构包括电机和减速箱；所述电机的输出端与减速箱相连接，所述减速箱的一端与主运转臂相连接；所述电机通过减速箱减速能够给主运转臂传递动力，由此带动揉桶在揉盘上做圆周运动。

7、优选的，所述下料机构安装在揉盘底部，所述揉盘包括直角中空减速电机、出茶门、锁舌锁壳和两块挡板；所述出茶门设于揉盘中部茶叶出口处；所述直角中空减速电机的输出端与出茶门的转轴相连接；所述锁舌锁壳设于出茶门开口处并用于控制出茶门的开启和闭合；所述两块挡板设于出茶门下方。

8、下料时，直角中空减速电机运转，带动出茶门轴转动，凸轮通过键连接在轴上，随之转动，使得锁舌从锁壳中分离和闭合，由此实现出茶门的开合；两个挡板装在出茶门的下方，以使得揉捻后的茶叶均落在输出传送带上。

9、优选的，所述检测系统在揉捻结束前十分钟开始工作，所述检测系统包括光电开关、两个ccd工业相机、电子鼻采集装置和高光谱采集装置；为了实现在揉捻过程中实时拍摄并得到质量较高的照片，以加快后续图像处理速度，相机选择ccd工业相机,ccd工业相机协调性较高，图像不会出现杂点，成像质量较高。此外，合适的光源可以使图像中的茶叶特征更加突出，提高茶叶图像的质量，减少后期对茶叶图像的处理时间，提高处理效率。选用条形光源，避免直射透明揉桶表面造成反光，采用自上而下照射，可使光线均匀且充足。

10、所述光电开关设置在相机前方的底座边缘；当检测系统工作时，光电开关启用，光电开关启用后透明揉桶第一次运动到光电开关位置，随后透明揉桶开始减速，当第三次运动到光电开关位置时速度降至0，揉桶停在一号相机前方5秒，以防止揉桶运动时的拖影对工业相机以及高光谱相机拍照的清晰度造成影响。

11、所述ccd工业相机设置有两个，所述一号相机设于底座上，用于采集揉捻过程中透明揉桶内的茶叶状态；所述二号相机设于平输机上方，用于采集茶叶在揉捻前的特征状态，以判断茶叶嫩度。主要用于揉捻过程中实时拍摄、采集揉捻前茶叶图像。一号相机在揉捻结束前十分钟开始工作，采用连拍的方式，揉捻结束前十分钟每隔3分钟当揉桶触碰到光电传感器并减速至停在相机前方，连拍五张照片，用于采集揉捻过程中透明揉桶内的茶叶状态。由于对透明揉桶进行拍照时，会存在反光的情况，在此一号相机上加装一个偏振滤镜以消除反光；二号相机设置在平输机的上方，当茶叶由输送机输送至平输机时，用于揉捻前采集茶叶的特征，以判断茶叶嫩度。

12、所述电子鼻采集装置包括塑料管和电子鼻传感器，所述透明揉桶侧面设有小孔，所述塑料管的一端插入小孔中，所述塑料管的另一端连接电子鼻传感器，所述电子鼻传感器用于每隔一定时间检测透明揉桶内由于揉捻导致茶叶细胞破碎散发出的气体浓度，通过建立传感器显示数值与细胞破碎率之间的关系，间接性的判断揉捻程度从而控制工艺参数；该电子鼻传感器的原理是通过金属氧化物传感器同待测气体充分接触，致使传感器的电导率性质发生变化，从而将气体信号转换为电信号。

13、所述高光谱采集装置包括高光谱相机、高光谱图像处理与分析系统；所述高光谱相机隔着揉盘设置于与一号相机相对的位置上，用于在揉捻结束前十分钟时每隔3分钟拍摄揉盘上茶叶的高光谱图像，由于检测系统工作时，揉桶停在相机前方，高光谱相机拍摄时不会受到揉桶的遮挡，能清晰拍摄到揉盘上散落的茶叶；所述高光谱图像处理与分析系统对所拍摄的高光谱图像用多种方法预处理和特征波长提取。由于每个化学成分对光的吸收和反射具有特定的光谱特征，这些特征可以在高光谱图像中体现出来，再通过对茶叶表面进行高光谱图像采集和分析，可以对茶叶中的化学成分定量分析，由此间接性的判断茶叶揉捻程度。

14、优选的，所述控制系统包括信息采集处理装置、智能控制装置；

15、所述信息采集处理装置用于将采集到的茶叶照片进行图像预处理(调整对比度，平移，旋转，缩放、加噪等数据增强处理)，以及将采集的电子鼻、高光谱数据进行预处理，并且传输至智能控制装置提取相应的特征；

16、所述智能控制装置包括人机交互模块、特征提取与处理模块、数据管理模块、揉捻参数推荐模块和揉捻参数调整模块；所述人机交互模块，用于查看揉捻工艺参数与反馈所检测到的茶叶揉捻程度等相关信息，以及收集人工输入的茶叶种类、产地等相关信息；所述特征提取与处理模块用于对揉捻叶的相关指标进行特征提取并将其转换为特征向量的形式，并输入到模型中进行训练或预测；所述数据管理模块用于将检测系统采集到的茶叶经过处理得到的数据与数据库中的茶叶标准参数进行对比分析并反馈，从而实现实时调控揉捻机设备的工艺参数；所述揉捻参数推荐模块，结合人机交互模块由人工输入的茶叶相关信息，使用模型预测的嫩度等级作为查询条件，通过编程语言提供的数据库接口(例如sql)连接到数据库，并执行查询操作，从数据库中获取匹配的工艺参数，并通过人机交互模块显示，从而推荐起始工艺参数。所述揉捻参数调整模块用于收集处理得到的各指标数据，并综合评估各指标计算相应的茶叶综合得分，通过编写程序实现控制策略，达到调整工艺参数的目的。

17、如上所述的基于多模态信息的茶叶智能揉捻装置的控制方法，包括如下步骤：

18、由于茶叶的成条率是衡量揉捻工艺的重要指标之一，也是衡量茶叶品质的一个重要标准。较高的成条率通常呈现茶叶的外观整齐、形态良好，条索紧。此外，茶叶的化学成分含量对于茶叶的风味、香气和营养价值具有重要影响，也可作为判断揉捻程度的标准之一。最后，细胞破碎率反映了茶叶细胞结构的破坏程度，对于某些茶叶品种和风格，适度的细胞破碎可以释放出更多的香气和味道。然而，过高的细胞破碎率可能导致茶叶苦涩或杂味的增加。所以在揉捻过程中，将实时评估成条率、细胞破碎率、化学成分含量这三个指标，通过实时调整工艺参数，使这三个指标达到预期，提高最终的揉捻质量；因此步骤如下：

19、s1、对在茶叶揉捻过程中积累的生产数据进行处理，建立茶叶揉捻各项指标与相对应的揉捻工艺参数的数据库；数据库内的数据均来源于生产过程中得到优品质的揉捻茶叶时相对应的标准参数及工艺参数；

20、s2、积累生产图像数据提取茶叶的相关特征并建立揉捻茶叶相关指标预测模型；具体步骤如下：

21、s2.1、收集大量二号相机采集的在平输机的茶叶图像,进行图像预处理：图像滤波(高斯滤波等)、图像灰度化处理、二值化、形态学处理改善茶叶的形状和结构以便于特征提取、再利用数据增强(调整对比度，平移，旋转，缩放、加噪)扩充数据集并增加模型的鲁棒性；

22、s2.2、进行图像特征提取：将获取的茶叶图像进行颜色空间转换(rgb、hsi、lab)，提取9个颜色指标(r,g,b,h,s,i,l,g-r,b-y)，用灰度共生矩阵对鲜茶叶图像纹理采集，提取图像的熵、对比度、能量、相关性、同质性等特征作为纹理特征指标，给每个茶叶图像对应的嫩度标签，将提取的颜色特征和纹理特征作为输入特征，将茶叶图像的嫩度标签作为目标变量将数据集以8:2划分为训练集和测试集，使用最小二乘支持向量机模型(ls-svm)构建茶叶的颜色纹理特征与茶叶嫩度关系模型来预测茶叶的嫩度，以准确率评估模型性能，最终结果设置为三个等级“嫩叶、中等嫩度、成熟叶”。

23、最小二乘支持向量机模型如下式(2)所示：

24、

25、其中，y＝[y21]，y21为茶叶嫩度，x＝[x11,x12,x13,x14,...]，x11,x12,x13,x14,...分别为茶叶的9个颜色特征和纹理特征，b为偏差，σ为径向基核函数的敏感域；

26、数据库内有大量的标准嫩度和相匹配的工艺参数数据，使用预测的嫩度等级作为查询条件，通过编程语言提供的数据库接口(例如sql)连接到数据库，并执行查询操作，从数据库中获取匹配的工艺参数。最后，输出匹配结果，将匹配得到的工艺参数与预测的嫩度一起输出，以便后续使用或显示给用户，工作人员确定后，使用该参数进行揉捻作业。

27、s3、通过检测系统的ccd工业相机、高光谱相机、电子鼻装置，测定揉捻过程中茶叶的相关参数，并构建相应的关系模型；具体步骤如下：

28、s3.1、对一号相机采集的揉桶内茶叶图像经过图像预处理后，通过边缘检测算法(canny边缘检测)提取茶叶轮廓特征，对轮廓特征进行形态学处理，通过opencv内的拟合椭圆函数拟合茶叶轮廓为椭圆，从椭圆的长轴和短轴得到长度、宽度、长宽比。此外，通过轮廓分析将茶叶图像转换为二值图像，将获取到的茶叶边缘轮廓上的点进行曲线拟合，通过拟合得到的曲线，计算曲率或弯曲度等获取曲线度量指标。曲线度量可以用于量化茶叶的弯曲程度、曲率大小以及整体形态的特征。一般来说，成条的茶叶往往具有较大的曲线度量值，即茶叶比较弯曲、形成明显的曲线形状。因为在制茶过程中，茶叶经过揉捻后会形成条状结构，而条状茶叶通常会表现出较弯曲的曲线形态。相反，成条程度低的茶叶可能具有较小的曲线度量值，即茶叶相对较直、曲率较小。

29、根据提取到的茶叶的长、宽、长宽比、曲线度量等指标，从支持向量机、决策树、随机森林模型中选择一个合适的模型对大量揉桶内图像的特征进行训练。这些模型将以茶叶特征数据作为输入，并输出对应茶叶的成条或非成条的分类结果，使用交叉验证方式评估各个模型的性能，选取最优模型，构建茶叶特征与茶叶成条判别模型。在一号相机每次所拍摄的五张图像区域内分别识别出成条茶叶数和茶叶总条数，使用目标检测算法来检测和定位图像中的茶叶，对于检测到的茶叶，可以使用图像分割技术将茶叶与背景分离，这样可以更好地提取茶叶的特征。对于每个分割后的茶叶区域，提取相应的特征，使用训练好的模型，对每个茶叶进行分类，判断其是否为成条茶叶。根据分类结果，对所有被识别为茶叶的区域进行计数，得到茶叶的总数。同时，对于被分类为成条茶叶的区域，进行成条茶叶数的计数，分别计算五张图片的成条率，最终由五张图像的平均成条率作为评价揉桶内茶叶的成条率状况。将成条率等于80％作为标准成条率，成条率等于85％作为最高限制，若得到的成条率过高，茶叶的碎末量也将提高，将实际成条率的值与标准成条率对比，若小于标准成条率，将适当增加揉捻压力、速度和揉捻时间，成条率在80％-85％之间按既定参数继续加工，若成条率高于85％，减压，降速。

30、s3.2、测定不同揉捻程度下的揉捻叶中茶多酚、咖啡碱、氨基酸的含量；茶多酚含量参照《茶茶多酚测定》(gb/t 8313-2002)；氨基酸含量参照《茶游离氨基酸总量的测定》(gb/t 8314-2013)；咖啡碱含量参照《茶咖啡碱测定》(gb/t 8312-2002)。

31、随着揉捻的进行，茶叶细胞发生破裂并逐渐增多，茶叶中的茶多酚、咖啡碱、氨基酸也随之释放，这三种化学成分含量过高或者过低都会影响茶的口感，所以在揉捻过程中，需要准确控制这三种化学成分含量。高光谱相机采集相应程度下揉盘上散落的茶叶高光谱图像，对采集到的高光谱图像进行黑白校正、删除异常样本，并进行相应的预处理(sg平滑处理、多元散射校正、微分处理等)，再使用相关性分析(ca)主成分分析(pca)等特征波长提取方法提取图像波长，将原始波长精简为数十个具有代表性的波长。最后，对高光谱数据进行降维、降噪和消除光散射等处理，将处理后的高光谱数据转化为特征向量，应用偏最小二乘支持向量机模型进行训练，建立基于高光谱的揉捻过程中茶叶三种内含物含量预测模型。

32、s3.3、揉捻过程中组织细胞破裂，挥发性物质释放或者茶叶中的多酚氧化酶与茶多酚发生化学反应形成醇类、醛类、酯类的香气化合物；通过电子鼻传感器连接一根塑料管，插入透明揉桶(7)侧边的小孔内，检测内部由于茶叶细胞破碎形成的香气的浓度，间接性的判断茶叶的细胞破碎率；

33、使用w5s,w2w两个电子鼻传感器对揉桶内气体进行检测，并记录相应的响应值。揉捻过程中使用电子鼻装置每隔一定时间采集香气浓度数据，每次检测后，均需通过气泵进气清洗至传感器响应值至初始值后，再进行后续实验数据的检测分析，并抽样测定相同时刻下的茶叶细胞破碎率。将电子鼻传感器响应值数据进行数据清洗，对齐传感器数据和相应的细胞破碎率数据，确保每次采集的数据和细胞破碎率数据是在相同的时间点相同条件下采集的，以传感器响应值为输入，细胞破碎率为输出，将数据集以8:2分为训练集和测试集，使用训练数据集对线性回归模型进行训练，拟合出传感器响应值与细胞破碎率之间的关系，建立传感器响应值和细胞破碎率的关系模型，如下式(4)所示：

34、r＝β0+β1×x1+β2×x2+…+βn×xn      (4)

35、其中，r为细胞破碎率，x1，x2…，xn各传感器响应值，β1，β2，…，βn为回归系数，表示每个传感器响应值对细胞破碎率的影响，β0为截距项，各传感器响应值为0时的细胞破碎率。

36、s4、启动揉捻机，各系统装置进行工作，揉捻过程中，实时监测茶叶的状态得到相应数据，并进行综合评估，及时调整工艺参数，实现揉捻过程的实时精准控制；

37、以上检测系统得到的各数据经过处理后输入控制系统的揉捻参数调整模块，首先，将这几个数据归一化处理，使其处于统一尺度，使用min-max normalization方法，将每个指标的值映射到0到1之间的范围；

38、

39、其中，x为归一化成条率，y为归一化细胞破碎率，z1、z2、z3分别为归一化茶多酚、氨基酸、咖啡碱，x、y、z1、z2、z3分别为茶叶在某一时刻的成条率、细胞破碎率、茶多酚、氨基酸、咖啡碱含量，(max)1、(max)2、(max)3、(max)4、(max)5分别表示成条率、细胞破碎率和三种化学成分的期望值；(min)1、(min)2、(min)3、(min)4、(min)5分别表示成条率、细胞破碎率和三种化学成分的历史生产过程中所检测到的最小值；

40、设定成条率、化学成分含量、细胞破碎率的权重，如下式(1)所示：

41、s＝x×ωx+y×ωy+(z1×ω1+z2×ω2+z3×ω3)×ωz     (1)

42、其中，s为茶叶的品质得分，ωx、ωy、ωz分别为成条率、细胞破碎率、化学成分所占权重，ω1、ω2、ω3分别为化学成分中茶多酚、氨基酸、咖啡碱所占权重；

43、根据茶叶品质得分与目标分值范围进行比较，对揉捻机的工艺参数进行相应的调整，当品质得分低于目标值，采用增加揉捻压力，加快揉捻速度的方式，当检测系统最后一次检测，品质得分若仍然低于目标值，将适当延长揉捻时间；当品质得分达到预期值，不调整参数，采用当前参数继续揉捻直至结束，并且后续检测系统停止工作。

44、本发明的有益效果是：

45、本发明在揉捻机上创新添加计算机视觉技术、高光谱、电子鼻技术并与控制系统相结合，通过识别茶叶嫩度推荐起始工艺参数，通过压力传感器对揉捻压力形成闭环控制，通过计算机视觉技术大致判断揉捻过程茶叶成条率，通过高光谱技术，分析揉捻过程中茶叶化学成分(咖啡碱、氨基酸、茶多酚、可溶性糖)含量变化，采用电子鼻传感器对气体浓度的检测，间接判断细胞破碎率，通过这些因素的检测与及时调整相应的揉捻机工艺参数，从而实现揉捻达到预期效果。实现揉捻过程实时监测和控制，解决了揉捻程度判断的主观性、不确定性、使揉捻过程控制更加客观，使揉捻过程智能化、可控化提高了揉捻品质和生产效率。