集成室内外高精度定位和大模型的智能导览方法及系统与流程

本发明涉及无线电导航或定位、aigc(人工智能生成内容)与拓展文化旅游，特别是集成室内外高精度定位和大模型的智能导览方法及系统。

背景技术：

1、目前的旅游景点以及展厅大多采用的是雇佣导游以及固定展板对展点进行介绍，该模式存在着人工成本大、游客参观路线较为固定、展板观看角度有限等问题。此外人工导游讲解的景点内容及形式大多基于该导游的个人文化层次与理解，展板内容过于固定且需要在固定点位进行观看，存在参观路线和展示介绍内容与参访者的预期不符，无法满足参访者对于参观路线自由，以及所提供的讲解内容无法满足参访者个性化的需求等问题。如今越来越多的人习惯于从手机上获取信息，观看内容，且随着aigc和tts(语音合成)技术的发展，可以制作更贴合用户的个性化语音讲解。个性化语音讲解是将生成式人工智能技术与tts技术相结合，利用大模型对用户输入信息进行个性化识别，并根据数据集中相匹配的数据为用户打造专属的个性化讲解内容，再通过tts技术对个性化讲解内容进行文本到语音的转换。比起传统的旅游讲解方式，个性化语音讲解能够更加契合用户的偏好和需求，提升用户在游玩过程的体验感。同时，手机作为一个高性能便携式的终端，具备多种传感器，能够支持多种定位方式。高精度的音频定位技术能够实时获取用户在场景内的位置信息，从而帮助我们建立用户与场景之间的时空关系，实现用户与场景的交互。但市面上的大多数应用并未将aigc、tts与高精度室内定位技术相结合，实现具体的应用。现有技术方案使用的定位技术，如北斗与gps等针对户外环境，在上方有遮挡的室内环境中定位效果差，且定位精度不能满足于用户与展点交互的需求。而室内定位技术wifi(手机终端仅支持google pixel)、蓝牙与uwb(手机终端仅支持iphone)等对操作系统与手机终端的兼容性差，且一个场景对于终端设备的数量有限制，安装难度与部署成本均较高，同时也缺乏对用户隐私的保护。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种集成室内外高精度定位和大模型的智能导览方法及系统，用于解决多种场所的导览缺乏个性化与便捷性、且路线固定的问题。

2、为实现上述目的，本发明采用如下技术方案：集成室内外高精度定位和大模型的智能导览方法，包括以下步骤：

3、步骤1：利用微信小程序开发者工具与uni-app框架，开发集成个性化语音讲解功能、能够获取场景信息、用户信息、接收音频信号或卫星信号并进行坐标计算、室内外地图绘制并展示与交互、以及对用户信息进行采集的应用，并发布安装至用户终端设备上；

4、步骤2：构建用于存储与管理场景数据、用户数据、讲解点数据的数据管理平台；

5、步骤3：构建基于大模型下，能够根据场景信息、讲解点信息、用户信息进行个性化内容生成的个性化内容生成模块；

6、步骤4：对场景进行实地考察分析，布设音频脉冲基站设备，保证音频脉冲基站对场景区域的高度、全面的覆盖。

7、在一较佳的实施例中，所述步骤1具体包括：利用前端代码javascript、typescript、html，基于uni-app下的vue框架对小程序的前端界面与功能进行实现并生成微信小程序，其中小程序主要功能分为获取场景信息、用户信息、室内外定位与室内外地图展示、个性化语音合成、用户登入、用户信息采集。

8、3.根据权利要求2所述的集成室内外高精度定位和大模型的智能导览方法，其特征在于，室内外定位与室内外地图展示的实现包括以下几个步骤：

9、步骤a1：利用微信小程序map组件，实现室外场景下的定位以及室内地图的开发；

10、步骤a2：利用微信小程序canvas画布组件，实现室内地图的开发；

11、步骤a3：利用音频定位sdk，启用用户终端的麦克风、加速度与方向传感器，获取基于音频脉冲基站下的实时室内定位；

12、步骤a4：设计用于实时计算室内外，用户与场景下的讲解点距离判断、并控制讲解内容触发的程序算法；

13、所述步骤a2具体包括：

14、步骤a21：构建多组canvas画布分别用于点、线、面与文字图层的绘制；

15、步骤a22：构建用于将真实坐标映射到canvas画布坐标下，以及canvas画布坐标反映射到真实坐标的坐标变化公式，分别将公式名为coordinatetransformation与coordinate transformationinverse；公式如下：

16、coordinatetransformation公式实现如下：

17、let x＝(a*coordinate_x*canvas_w-b*canvas_w)

18、lety＝c*canvas_h-(coordinate_y*d*canvas_h)

19、x、y分别为变换后位于canvas画布上的坐标，coordinate_x、coordinate_y为用户所获取场景下的真实坐标，canvas_w、canvas_h分别为画布的宽与高，a、b、c、d为控制x、y在canvas画布中显示比例的常量；

20、coordinatetransformationinverse公式实现如下：

21、let coordinate_x＝(x+b*canvas_w)/(a*canvas_w)

22、let coordinate_y＝(d*canvas_h-y)/(c*canvas_h)

23、步骤a23：设计通过步骤2所述的管理系统获取场景信息、讲解点坐标与步骤a3获取的用户位置，并利用步骤a22中的公式将场景、讲解点与用户位置绘制至室内地图当中。

24、在一较佳的实施例中，所述步骤a3具体包括：

25、步骤a31：通过微信小程序授权，获取用户终端麦克风权限，并开启录音，并将录音切片传入sdk当中；

26、步骤a32：通过微信小程序授权，获取用户方向传感器，获取用户方向，并将用户方向传入sdk当中；

27、步骤a33：通过微信小程序授权，获取用户加速度传感器，获取用户加速度信息，并将用户加速度信息传入sdk当中；

28、步骤a34：sdk通过以上参数的获取，进行计算并实时返回用户在场景下的位置信息。

29、在一较佳的实施例中，所述步骤a4具体包括：

30、步骤a41：通过步骤2当中存储的信息获取场景下所有讲解点的坐标；

31、步骤a42：设计用于判断室内场景与室外场景的条件函数；

32、步骤a43：分别设计用于室内与室外的距离判断、并控制讲解内容触发的程序算法；

33、所述步骤a43具体包括：

34、步骤a431：将提供个性化讲解内容的行为定义为一种资源，通过对其进行上锁操作实现程序互斥的调用这种资源；

35、步骤a432：分别对室外场景与室内场景设计距离计算函数；

36、室内场景下，坐标系为迪卡尔坐标系，对于该坐标系的距离判断设计为：

37、distance＝math.sqrt(math.pow(coordinate_x-

38、(explanatorypoint_x),2)

39、+math.pow(coordinate_y-(explanatorypoint_y),2))

40、explanatorypoint_x、explanatorypoint_y为解说点在该场景下的坐标；

41、室外场景下，坐标系为gcj02坐标系，对于该坐标系的距离判断可设计为：

42、var rl1＝(coordinate_lat*math.pi)/180.0

43、var rl2＝(explanatorypoint_lat*math.pi)/180.0

44、var a＝rl1-rl2

45、varb＝(explanatorypoint_lon*math.pi)/180.0

46、-(coordinate_lon*math.pi)/180.0

47、distance＝2*math.asin(math.sqrt(math.pow(math.sina(a/2),2)+

48、math.cos(rl1)*math.cos(rl2)*math.pow(math.sin(b/2),2)))

49、explanatorypoint_lat、explanatorypoint_lon为解说点在室外场景下的经纬度坐标，coordinate_lat、coordinate_lon为用户在户外下的经纬度坐标；

50、步骤a433：定义满足解说点与用户位置距离之间的条件函数，用于控制个性化讲解内容的触发。

51、在一较佳的实施例中，个性化语音合成具体包括：

52、步骤b1：从步骤3中获取各个讲解点内容，并进行划分；

53、步骤b2：将此些内容利用tts技术进行音频合成并进行拼接合成一段完整的音频；

54、其中用户信息采集，包括对用户的头像、微信号、年龄、性别、偏好列表进行采集，并上传至步骤2所构建的管理系统；其中年龄、性别、偏好列表通过在用户登入微信小程序时令其选择或填写相关信息实现。

55、在一较佳的实施例中，所述步骤3具体包括：

56、步骤c1：构建知识库，该知识库为用于回答在非个性化内容场景下各个讲解点的默认答案；

57、步骤c2：实现大模型下个性化内容的生成，并返回给步骤1中构建的微信小程序。

58、在一较佳的实施例中，所述步骤c1具体包括：

59、步骤c11：对现有相关的文本与数据进行收集，并进行整合，通过望路者文化旅游服务网提供的应用开发接口获取景点讲解数据；对讲解数据进行清洗后，结合实际需求进行内容提炼和补充，包括关键信息筛选、相似内容合并等，保证每个景点的讲解文本在1000字左右，并为独立的段落；

60、步骤c12：对步骤c11中的数据以段落作为数据切分标识进行数据切分；

61、步骤c13：使用embedding模型将文本转化为向量表示,通过正则化、调参来提高模型性能，构建向量数据库；

62、步骤c2的实现包括以下几个步骤：

63、步骤c21：针对导览服务设计专门的prompt框架，通过提示词策略训练生成模型；

64、步骤c22：将步骤c1所构建的知识库接入大模型中，从步骤2中所构建的管理系统当中获取所保存的用户信息，通过接入大模型下的embedding进行检索信息的向量化；

65、步骤c23：使用检索向量对知识库中相关的解说点内容进行检索，并将结果文本输入到prompt中；

66、步骤c24：将prompt提供给大语言模型llm生成独属用户的个性化的内容，并保存至步骤2所构建的管理系统当中，等待前端小程序的调用。

67、在一较佳的实施例中，所述步骤4具体包括：

68、步骤d1：利用点云技术对场景进行扫描，并构建场景的三维模型；

69、步骤d2：根据步骤d1所获取的三维模型，结合音频脉冲基站的有效范围，定制该场景下的布设方案；

70、步骤d3：对场景进行布设音频脉冲基站；

71、步骤d4：利用步骤1所开发的程序，测试布设后音频基站的信号强度与覆盖范围。

72、本发明还提供了集成室内外高精度定位和大模型的智能导览系统，运行上述的集成室内外高精度定位和大模型的智能导览方法；包括：

73、音频脉冲基站设备模块，通过音频信号定位技术实现用户在场景中的定位，一组包括至少四台音频基站，且根据场景需求额外增添多台音频脉冲基站，新增额外基站可与原有基站组网，以达到场景的全覆盖；音频信号通过用户手机端的麦克风进行采集，并由智能语音导览服务系统微信小程序对该音频信号进行解析，从而计算出用户的具体位置，在为用户提供用户在场景中的实时位置的同时，同时实现用户与场景时空上的交互；

74、远程服务器模块，依托于望路者文化旅游服务网，用于存储用户信息，场景信息以及用户个性化讲解内容，同时具备场景管理的能力，场景管理者可根据应用场景的具体需求适应现场部署的用户节点数据的变化和解说触发参数；

75、智能语音导览服务系统软件模块：基于微信小程序应用开发，用于室内定位功能、个性化语音讲解生成功能、室内地图绘制、用户交互功能的集成与展示的客户端，该应用的实现分为三层架构：表示层、业务逻辑层、数据访问层；所述表示层为基于微信小程序开发的应用软件，用于与用户进行交互以及内容的展示；所述业务逻辑层集成于服务器当中，用于实现用户登入、个性化选择、场景信息的使用以及个性化内容讲解内容的生成，通过构建管理系统实现功能，进一步的细分为用户逻辑层、场景逻辑层以及大模型逻辑层；所述数据访问层与远程服务器构建联系，用于存储管理与访问智能语音导览服务系统产生的所有数据，包括用户数据、场景数据与解说点数据，这些数据均存储于望路者文化旅游服务网的数据库中；通过业务逻辑层所构建的管理系统，访问与管理此数据库。

76、与现有技术相比，本发明具有以下有益效果：

77、1、室内外定位一体化。本发明融合了室内与室外定位技术，使得本系统适应多种场景，室内为音频定位，精度达到亚米级，为目前全球最高；室外实现道路级导航，(为什么定位)通过高精度的定位，结合应用场景建立用户与场景的时空交互；

78、2、设计了微信小程序下，基于canvas的室内地图绘制功能，对场景信息与用户位置信息进行了可视化处理，让用户更直观的看到自己所处的位置，以及场景内其他的信息；

79、3、语音电子解说个性化智能化。大模型支持下可根据参访者预设的偏好实现智能导览语音解说，使讲解内容更加生动，更加满足用户的个性化需求，做到一人一说一人一听；

80、4、解说语音由tts技术实时生成，用户可根据自身偏好设置讲解人、语速、语调与音高，满足用户对于讲解语音的个性化需求。

81、5、与望路者文化旅游信息服务平台深度融合。所在场馆展厅构成文化旅游全数字化线路的节点景点；

82、6、使用轻便快捷。利用微信小程序做载体提供导览解说服务，无需额外安装软件，无需佩戴设备即可实现定位和讲解。

83、7、本发明具有自组可控、精确定位、容易布设、手机接入、无限并发、保护隐私的优势。