一种面向平绣针法的视听跨模态交互设计方法

本发明涉及平绣针法交互设计领域，特别是涉及一种面向平绣针法的视听跨模态交互设计方法。

背景技术：

1、平绣，作为平面类刺绣针法的统称，其基本操作方法涉及绣线从图形内的一点起针，直拉至另一点落针，形成一针上一针下的针脚(即单针)，绣线方向可细分为竖平、横平和斜平。平绣通过多样化的单针组合，实现不同批次绣制，从而呈现对象的形状、空间的层次以及颜色的渐变。平绣针法中，同一批次绣制的单针显示出一致的特征，这里的同一批次是指由多个连续的、规律分布的单针组成，这些单针在方向、长度、分布位置或颜色等方面具有共性。

2、尽管平绣作为一种传统技艺在文化中占有重要地位，但随着新一代信息技术和人工智能的发展，传统刺绣工艺在科学化、智能化表征方面面临着挑战。一方面，手工刺绣和机绣产品的创新及效率提升，大多集中在对供给端工艺的改进上，如原材料的选择和处理、绣制技巧或设备的改进；另一方面，技术门槛的存在使得大众在短时间内难以深入理解和体验刺绣工艺，通常只能接触到成品而无法全面感知其背后的技艺和美学。因此，需要对平绣针法进行科学化的描述，促进其与现代信息科技的融合，产生一种全新的交互体验方式，以满足人们对于全方位感知和深入体验刺绣工艺的需求。

技术实现思路

1、发明目的：本发明的目的是提供一种面向平绣针法的视听跨模态交互设计方法，以产生一种全新的交互体验方式，满足人们对于全方位感知和深入体验刺绣工艺的需求。

2、技术方案：为实现上述目的，本发明所述的一种面向平绣针法的视听跨模态交互设计方法，包括以下步骤：

3、步骤1：收集不同平绣针法的图谱，构建图谱样本库；

4、步骤2：对样本库中的各个图谱进行多维度的矢量化表征；

5、步骤3：当样本库中图谱数量n小于设定值时，对矢量表征后的图谱样本库进行样本增广；

6、步骤4：基于步骤2或3，利用k-means聚类算法将具有相似特征的图谱聚集成簇，并进一步筛选出各簇的代表图谱，从而构建关于平绣针法的视觉模态信息库；

7、步骤5：基于视觉模态信息库，筛选出能够表征图谱视觉模态信息的感性词汇，并将感性词汇进一步分类为属性层、感知层和联想层；

8、步骤6：通过测试者对各层次的感性词汇与视觉模态信息库中各个代表图谱的匹配度进行打分，从而构建各代表图谱的“视觉模态信息-感性词汇”的映射关系；

9、步骤7：利用各代表图谱的联想层词汇在音乐库中进行搜索，找出多条与联想层词汇相关的音乐条，组成包含“感性词汇-音乐条”映射关系的各代表图谱音乐集，通过测试者对音乐集中各音乐条与代表图谱的匹配度进行打分，找出匹配度最高的音乐条，从而以感性词汇为桥梁，构建“视觉模态信息-音乐条”映射关系；

10、步骤8：基于“视觉模态信息-音乐条”映射关系，获得包含各个代表图谱与其对应的音乐条参数的视听觉跨模态信息参数表，基于属性层和感知层词汇调整视听觉跨模态信息参数表中各代表图谱对应的音乐条参数，输出新音乐条；

11、步骤9：对各个代表图谱与其对应的新音乐条的匹配度进行评价和优化，输出优化后的视听觉跨模态信息库。

12、其中，步骤1所述的图谱展示了某个平绣针法的具体施针步骤，包括各个批次中每个单针针脚的位置；所述不同平绣针法的图谱尺寸相同，图谱上定义有二维坐标，并以坐标原点作为基准点来定位起始施针位置。

13、其中，步骤2所述的多维度的矢量化表征方法包括：

14、步骤201：设样本库中包括n个图谱，其中第n个图谱具有w个批次的单针组，且各批次色彩值不同，第i批次的单针数量为si，色彩值为hsbi，i＝1,2,...,w；则该图谱共有s1+s2+....+si+....+sw＝s个单针数量；

15、步骤202：若第i批次中的第j个单针的特征值为vi,j＝{ii,j,θi,j}，j＝1,2,...,si，则第i批次的矢量化矩阵表示为：

16、其中，ii,j表示该单针的长度，θi,j表示该单针在图谱二维坐标上的角度，分别表示该单针在图谱上的起点和终点的坐标；

17、步骤203：该图谱的矢量化矩阵表示为：

18、

19、其中，步骤3所述的样本增广方法为：先构建包含x个色彩值的色彩库，每一个色彩值代表一种颜色，x等于图谱样本库中具有最高批次的图谱的批次值；对于同一个矢量化后的图谱，批次的顺序不变，对不同批次之间则利用色彩库中所有色彩值进行任意排列组合，则样本库中具有w个批次单针组的第n个图谱进行增广后,若x>w，则获得个数量的图谱矢量化矩阵，若x＝w，则获得w！个数量的图谱矢量化矩阵。

20、其中，步骤4所述将具有相似特征的图谱聚集成簇是指同一个簇内图谱样本之间的相似度最高，不同簇之间图谱样本相似度最低；利用k-means聚类算法将图谱样本库聚类成k簇，并选取该簇内距离簇中心最近的图谱为该簇的代表图谱，从而构建具有k个代表图谱的视觉模态信息库，聚类过程包括：

21、步骤401：基于步骤2或3对每个图谱中单针的长度、角度、颜色矢量化表征后的矩阵作为特征向量，选择k个图谱作为初始的簇中心；

22、步骤402：分别计算其余图谱与每个簇中心的特征向量之间的欧几里得距离，从而将其余图谱分配到最近的簇中心所代表的簇中，再重新计算每个簇特征向量的均值，以获得新的簇中心；

23、步骤403：不断重复步骤402，直到满足停止条件，如簇中心的变化小于设定的阈值或达到预设的迭代次数；

24、步骤404：输出每个簇的代表图谱。

25、其中，步骤5所述的视觉模态信息是指通过视觉感官接收到的图谱信息，包括图谱上通过布线呈现出的形状、颜色、纹理、深度、运动和空间关系；

26、其中，属性层关注线条视觉元素的基本特征，包括颜色、长短；感知层关注线条之间的视觉元素关系，包括动态与静态、整齐与杂乱、轻盈与笨重、平滑与粗糙、聚集与分散；联想层关注线条视觉元素引起的情感、记忆和认知反应，包括典雅与通俗、简洁与复杂、平静与动荡、丰富与单调、欢快与忧愁、浪漫与现实、疗愈与痛苦、独特与普通、灵巧与呆板。

27、其中，步骤6所述的通过测试者对各层次的感性词汇与代表图谱的匹配度进行打分，具体为：基于每个簇的代表图谱，多位测试者分别对其与感知层、联想层词汇的匹配度进行打分，而属性层中词汇直接勾选，获取多位测试者在多个评价维度上对代表图谱的主观评价得分；从而基于属性层、感知层、联想层，筛选出与各个代表图谱匹配度极高的感性词汇，构建各个代表图谱的“视觉模态信息-感性词汇”的映射关系；其中匹配度极高是指针对某个代表图谱在感知层或联想层词汇上的主观评价得分均值大于设定阈值。

28、其中，步骤7所述的通过测试者对音乐集中各音乐条与代表图谱的匹配度进行打分，具体为：基于各代表图谱联想层词汇构建的音乐集，多位测试者分别对音乐集中各音乐条与该代表图谱的匹配度进行打分，获取多位测试者在音乐条上对代表图谱的主观评价得分；筛选出匹配度最高的音乐条，从而以感性词汇为桥梁，构建“视觉模态信息-音乐条”映射关系。

29、其中，步骤8所述的音乐条参数为该音乐条所具有的音乐属性，包括节奏、音色、响度、音长、音乐风格；

30、所述视听觉跨模态信息参数表包括如下信息：

31、第k簇-代表图谱α/{属性层词汇,感知层词汇,联想层词汇}/新音乐条参数；

32、所述基于属性层和感知层词汇调整音乐条参数，以输出一条匹配代表图谱情感特征的新音乐条，具体为：基于该代表图谱，以感性词汇中的属性层词汇调整新音乐条的音色、音长，其中属性层词汇中长短调整音长，颜色调整音色的个数；以感性词汇中的感知层词汇调整新音乐条的音色、音长、节奏与响度，其中感知层词汇中平滑与粗糙调整音色的特征，动态与静态、轻盈与笨重分别调整响度的变化与轻重，整齐与杂乱、聚集与分散分别调整节奏的规律与密度，最终输出一条音乐条参数调整后的新音乐条；基于感性词汇中的联想层词汇在步骤7中构建的“视觉模态信息-音乐条”映射关系，将调整前的音乐条风格作为对应代表图谱的新音乐条风格。

33、其中，步骤9所述的对各个代表图谱与其对应的新音乐条的匹配度进行评价和优化，具体过程为：

34、步骤901：将各代表图谱与新音乐条的对应关系随机打乱；

35、步骤902：通过多位测试者基于各代表图谱选择认为与其匹配度最高的新音乐条，计算各个代表图谱与新音乐条之间的匹配度选择的正确率；

36、步骤903：若某个代表图谱选择的新音乐条正确率大于设定的阈值，则认为该代表图谱与其对应的新音乐条组成的音乐方案有效，若小于等于设定的阈值，则认为该映射关系无效，此时将针对该代表图谱选择的次数最多的新音乐条与其构建新的对应关系；

37、步骤904：不断重复步骤901-903，直到所有的音乐方案均有效停止；

38、步骤905：输出优化后的视听觉跨模态信息库，所述视听觉跨模态信息库包括如下信息：第k簇-代表图谱α-新音乐条。

39、有益效果：本发明具有如下优点：1、本方法通过收集和分析不同平绣针法的图谱，将图谱的视觉信息转化为矢量化表征，使得不同平绣针法细节差异进行更加科学的描述，为平绣针法的特征描述和风格识别提供了精确的数据支持；

40、2、本方法通过将平绣针法的视觉信息与音乐、情感相结合，产生一种全新的视听跨模态体验，使得用户在欣赏平绣针法的视觉美感的同时，也能感受到音乐带来的情感共鸣，增强了用户与刺绣作品之间的交互性，这种跨模态的融合不仅丰富了平绣针法的艺术表现形式，提供了更为精细化的情感和认知描述，也满足了用户对于全方位感知和深入体验刺绣工艺的需求。