一种视听眼镜用数据识别系统的制作方法

本发明涉及视听眼镜，具体为一种视听眼镜用数据识别系统。

背景技术：

1、视听眼镜是一种智能眼镜，它可以为用户提供观影和聆听两种体验。视听眼镜通常采用微显示屏或光学方案，将图像反射到眼镜的透明镜片上，实现类似于巨幕的观影效果，视听眼镜的分辨率较高，能够提供清晰、鲜艳的图像，视听眼镜在镜腿两侧设有扬声器，用户可以在佩戴眼镜时享受音频内容。

2、现阶段的视听眼镜只具有简单的播放功能和显示功能，通过网络查询的信息没有主次之分，并不能有效的筛选出对佩戴者具有价值的信息，不能提升交互体验，因此视听眼镜如何自主筛选有价值的信息是本领域技术人员需要解决的技术问题。

技术实现思路

1、针对现有技术的不足，本发明提供了一种视听眼镜用数据识别系统，解决了上述背景技术中提出的问题。

2、为实现以上目的，本发明通过以下技术方案予以实现：一种视听眼镜用数据识别系统，包括对外视觉模块、加速度模块、分析单元、显示模块、对内视觉模块、网络模块和声音模块，所述对外视觉模块获取视听眼镜正前方的图像信息w并传输至分析单元，所述对内视觉模块获取佩戴者单个眼球的图像信息n并传输至分析单元，所述加速度模块获取视听眼镜的空间加速度j并传输至分析单元，对外视觉模块和对内视觉模块均为现有图像传感器，市面上能够满足高清图像采集的图像传感器均可，显示模块为现有ar眼镜的屏幕显示组件，同样市面上能够满足显示功能的屏幕显示组件均可，网络模块为具有无线通讯功能的无线网卡，市面上能够满足无线网络连接的无线网卡均可，加速度模块为现有加速度传感器，市面上能够满足加速度采集的加速度传感器均可，声音模块为现有集成声卡，市面上能够满足声音获取和音频播放功能的集成声卡均可，在此不限定具体型号；

3、所述分析单元执行眼球追踪程序识别图像信息n中佩戴者的眼球方向，所述分析单元执行空间定位程序获得视听眼镜的偏移量，偏移量包括空间位移量和旋转轴角度θ；

4、所述分析单元执行特征提取程序获得物品图块、物品图块的位置和信息参数p，所述分析单元建立空间坐标系，空间坐标系以视听眼镜的镜片中心为原点，分析单元将物品图块的位置和信息参数p传输至显示模块，显示模块将空间坐标系在视听眼镜的镜片上对齐展开，显示模块根据物品图块的位置将信息参数p投放到镜片上对应区域显示供佩戴者查看，当偏移量不为零时，所述分析单元执行偏移矫正程序对信息参数p在镜片上的显示位置进行偏移补偿，通过计算视听眼镜的偏移量，对镜片的画面中框选的物品进行偏移矫正，在视听眼镜发生移动时可以提高参数信息展示的稳定性，避免画面晃动使佩戴者产生眩晕；

5、所述分析单元执行关注分析程序调节每个信息参数p的展示权重k，通过识别佩戴者的眼球方向，能够自主从镜片的画面中筛选出佩戴者关注的主要物品，获取有价值的信息，并对查询到的参数信息进行放大，方便佩戴者进行查看；

6、所述声音模块获取佩戴者发出的语音信息并传输至分析单元，分析单元内部集成有寄存器，寄存器中预存指令音频，指令音频包括查询和清除，所述分析单元将语音信息与指令音频对比，当语音信息与指令音频匹配时执行对应指令音频，指令音频为查询时，分析单元向网络模块发送查询请求，网络模块获取所有物品图块的信息参数p，指令音频为清除时，分析单元向显示模块发送清除请求，显示模块将所有物品图块的信息参数p清除。

7、进一步地，所述眼球追踪程序执行时，所述分析单元将图像信息n的首帧作为参照帧nf，对参照帧nf进行逐步处理；

8、眼角定位，分析单元按照边长为dedge的正方形将参照帧nf进行分割得到若干第一图块，分析单元计算参照帧nf每个像素的亮度平均值s1，分析单元计算每个第一图块像素的亮度平均值l1，分析单元将亮度平均值l1与参照帧nf的亮度平均值s1相减得到亮度差，亮度差大于等于零时，对应的第一图块的颜色转变成白色，亮度差小于零时，对应的第一图块的颜色转变成黑色，所有第一图块的颜色发生转变后，分析单元将位于最左边和最右边的黑色的第一图块标记为佩戴者的眼角；

9、所述第一图块的边长dedge所占像素数量根据参照帧nf的像素亮度值占比决定，分析单元将参照帧nf中所有像素进行区分，像素的亮度值范围为0到255，当像素的亮度值等于大于128时，分析单元将对应的像素标记为亮点，当像素的亮度值小于128时，分析单元将对应的像素标记为暗点，分析单元统计参照帧nf中所有亮点和暗点的数量，分析单元计算参照帧nf的矩形长边像素数量与矩形短边像素数量的平均值，分析单元根据公式计算的得到第一图块的边长dedge对应的像素数量；

10、眼球定位，分析单元从参照帧nf中提取出最顶部和最底部的黑色的第一图块，分析单元将最左边、最右边、最顶部和最底部的黑色的第一图块前后首尾相连获得眼眶区域，分析单元按照边长为的正方形将眼眶区域进行分割获得若干第二图块，分析单元计算眼眶区域内像素的亮度平均值s2，分析单元计算每个第二图块像素的亮度平均值l2，分析单元将每个第二图块像素的亮度平均值l2与眼眶区域内像素的亮度平均值s2相减得到亮度差，亮度差大于等于零时，对应的第二图块的颜色转变成白色，亮度差小于零时，对应的第二图块的颜色转变成黑色，所有第二图块的颜色发生转变后，分析单元将眼眶区域内黑色的第二图块标记为佩戴者的眼球区域；

11、方向识别，分析单元预设两组直角矩形，分别为第一直角矩形和第二直角矩形，第一直角矩形分别与眼球区域的最顶部、最底部、最左侧和最右侧相切，眼眶区域被第二直角矩形框选，分析单元将第一直角矩形的对角线角点标记为眼球中心，第二直角矩形分别与眼眶区域的最顶部、最底部、最左侧和最右侧相切，眼眶区域被第二直角矩形框选，分析单元将第二直角矩形的对角线角点标记为眼眶中心，分析单元以眼眶中心为原点建立眼部坐标系，眼部坐标系的横轴与纵轴以像素作为数量单位，完成参照帧nf的处理；

12、分析单元实时计算图像信息n中眼球中心在眼部坐标系中的坐标α，坐标α的横坐标为眼球中心水平像素数量减去眼部坐标系原点的像素差，坐标α的纵坐标为眼球中心竖直像素数量减去眼部坐标系原点的像素差，分析单元将坐标α标记为佩戴者的眼球方向。

13、进一步地，所述特征提取程序执行时，所述分析单元将图像信息w的第一帧作为处理帧wf，分析单元对处理帧wf进行处理；

14、建立视觉坐标系，分析单元选取处理帧wf的外切矩形对角线连线标记为视觉中点，分析单元以视觉中点为原点建立视觉坐标系；

15、外切矩形的框选过程与眼球区域对应第一直角矩形的框选过程一致；

16、物品识别，分析单元计算处理帧wf的亮度平均值s3，分析单元将处理帧wf的每个像素亮度值减去亮度平均值s3获得亮度差，像素的亮度值范围为0到255，亮度差大于等于零时，对应的像素亮度值变成255，亮度差小于零时，对应的像素亮度值变成0，处理帧wf的像素亮度值变化后，处理帧wf中的白色线条为物品的轮廓，分析单元对物品的轮廓进行框选并裁切获得物品图块，分析单元记录每个物品在处理帧wf中的位置，图块分析单元停止处理处理帧wf，物品图块数量大于等于1；

17、物品轮廓的框选过程与眼球区域对应第一直角矩形的框选过程一致；

18、网络获取信息，分析单元将物品图块传输至网络模块，网络模块使用识图引擎搜索与物品图块相似的商品，若搜索到相似的商品，网络模块将商品对应的信息参数p传输至分析单元，若搜索不到相似的商品，网络模块将无匹配商品的结果传输至分析单元，分析单元将对应的物品图块删除，特征提取程序终止；

19、识图引擎为现有电商搭载的以图搜图的功能，其技术原理是将用户上传的图片信息利用哈希算法转化成特征码，将特征码与数据库中的特征码进行比对计算相似度，将特征码相似度最高的商品反馈给用户，本技术中网络模块通过接入识图引擎的数据接口查找与物品图块相似的商品，市面上能够实现识图引擎功能的数据接口均可，在此不做具体限定。

20、进一步地，所述空间加速度j不为零时，所述分析单元执行空间定位程序，分析单元将加速度j分解成四个分量，分别为x轴的jx、y轴的jy、z轴的jz和旋转轴的jr；

21、分析单元将加速度模块的采集时间标记为t，x轴的初速度标记为v0x，y轴的初速度标记为voy，z轴的初速度标记为v0z，x轴的初始位置标记为x0，y轴的初始位置标记为y0，z轴的初始位置标记为z0；

22、在x轴方向的速度vx为，在x轴方向的位移dx为，在y轴方向的速度vy为，在y轴方向的位移dy为，在z轴方向的速度vz为，在z轴方向的位移dz为，旋转轴方向的角度θ为，分析单元将x轴位移量dx、y轴位移量dy、z轴位移量dz相加得到空间位移量，分析单元将空间位移量和旋转轴角度θ相加得到视听眼镜的偏移量；

23、所述空间加速度j为零时，空间定位程序终止。

24、进一步地，所述偏移矫正程序执行时，分析单元将空间位移量分解成水平偏移、竖直偏移和前后偏移，分析单元将旋转轴角度θ分解成水平角度和竖直角度；

25、分析单元将水平偏移与水平角度相加得到水平补偿值，分析单元将竖直偏移与竖直角度相加得到竖直补偿值，分析单元将前后偏移变更为前后补偿值；

26、所述分析单元将每个物品图块的位置依次减去水平补偿值、竖直补偿值和前后补偿值得到矫正位置，所述分析单元将每个物品图块对应的矫正位置输入显示模块，所述显示模块将每个物品图块对应的信息参数p移动至矫正位置；

27、当偏移量为零时，偏移矫正程序终止。

28、进一步地，所述关注分析程序执行时，分析单元将佩戴者的眼球方向传输至显示模块，所述显示模块将眼球方向投射到空间坐标系中，分析单元将位于眼球方向的角度上的物品图块标记为主要物品，将其余的物品图块标记为次要物品；

29、所述分析单元预设展示权重k并初始化，凸显系数k初始数值为0.05，所述分析单元将主要物品对应的信息参数p进行放大，放大比例μ的计算公式为，为主要物品初始所占显示区域的面积，tstay为佩戴者的眼球方向与主要物品所在区域重合的持续时间，分析单元将主要物品对应的信息参数p传输至声音模块，声音模块内部集成有播放器，播放器朗读信息参数p供佩戴者聆听；

30、所述分析单元统计每个物品图块与眼球方向重合次数，重合次数每增加1次，物品图块对应的展示权重k的数值增加0.01，当物品图块从视听眼镜的镜片消失时，展示权重k重新初始化。

31、本发明具有以下有益效果：

32、1、通过识别佩戴者的眼球方向，能够自主从镜片的画面中筛选出佩戴者关注的主要物品，获取有价值的信息，并对查询到的参数信息进行放大，方便佩戴者进行查看。

33、2、通过计算视听眼镜的偏移量，对镜片的画面中框选的物品进行偏移矫正，在视听眼镜发生移动时可以提高参数信息展示的稳定性，避免画面晃动使佩戴者产生眩晕。

34、当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。