一种流式数据返回方法、装置、设备及存储介质与流程
- 国知局
- 2024-06-21 10:38:56
本技术涉及通信,提供一种流式数据返回方法、装置、设备及存储介质。
背景技术:
1、随着聊天生成型预训练-变换器(chat generative pre-trained transformer,chatgpt)的蓬勃发展,常会将流式数据进行展示,以使问题处理效果更加拟人化,从而,提高用户的使用体验。在现有技术中,针对流式数据的返回,一般调用post/get接口,采取“直接请求数据返回”的方式来返回流式数据,但是,该方式需要等待服务器处理完成后,才会对返回的流式数据进行展示,因此,其等待时间较长,导致chatgpt流式数据展示不够流畅。
2、因此,如何流畅展示chatgpt流式数据是目前亟待解决的问题。
技术实现思路
1、本技术实施例提供一种流式数据返回方法、装置、设备及存储介质,用于解决chatgpt流式数据展示不够流畅的问题。
2、一方面,提供一种流式数据返回方法,所述方法包括:
3、在浏览器与chatgpt服务器之间建立socket连接;
4、根据所述socket连接,调用所述chatgpt服务器向所述浏览器返回chatgpt流式数据;
5、调用所述浏览器展示所述chatgpt流式数据。
6、本技术的有益效果为:由于在浏览器与chatgpt服务器之间建立了socket连接,且基于该socket连接进行chatgpt流式数据返回。因此,可以大大缩短chatgpt流式数据的返回时间,进而,使得chatgpt流式数据展示更加流畅。此外,由于socket连接可以加密,所以,可以加强chatgpt流式数据的传输安全性。
7、在一种实现方式中,所述在浏览器与chatgpt服务器之间建立socket连接的步骤,包括:
8、调用所述浏览器向代理层发送第一socket连接请求;
9、根据所述第一socket连接请求,在所述浏览器与所述代理层之间建立第一socket连接。
10、本技术的有益效果为:由于在浏览器与服务器之间设置了代理层,因此,在建立浏览器与chatgpt服务器之间的socket连接时,可通过先建立浏览器与代理层之间的第一socket连接,以进一步完成浏览器与chatgpt服务器之间的socket连接建立,以缩短后续chatgpt流式数据的返回时间。
11、在一种实现方式中,所述在浏览器与chatgpt服务器之间建立socket连接的步骤,包括:
12、在代理层配置所述chatgpt服务器的chatgpt地址;
13、根据所述chatgpt地址,调用所述代理层向所述chatgpt服务器发送第二socket连接请求;
14、根据所述第二socket连接请求,在所述代理层与所述chatgpt服务器之间建立第二socket连接。
15、本技术的有益效果为:由于在浏览器与服务器之间设置了代理层,因此,可基于配置的chatgpt地址以进一步建立代理层与chatgpt服务器之间的第二socket连接,从而,完成浏览器与chatgpt服务器之间socket连接的建立,以缩短后续chatgpt流式数据的返回时间。
16、在一种实现方式中,所述根据所述socket连接,调用所述chatgpt服务器向所述浏览器返回chatgpt流式数据的步骤,包括:
17、根据第一socket连接,调用所述chatgpt服务器将所述chatgpt流式数据返回至所述代理层;
18、根据第二socket连接,调用所述代理层将所述chatgpt流式数据返回至所述浏览器。
19、本技术的有益效果为:由于浏览器与chatgpt服务器之间的socket连接可分为第一socket连接和第二socket连接这两部分,因此,在返回chatgpt流式数据时,可依次通过第一socket连接和第二socket连接对chatgpt流式数据进行返回,以缩短chatgpt流式数据的返回时间。
20、在一种实现方式中,在根据所述socket连接,调用所述chatgpt服务器向所述浏览器返回chatgpt流式数据之前,所述方法还包括:
21、调用所述浏览器向所述代理层发送数据返回请求;
22、根据所述数据返回请求,调用所述代理层向所述chatgpt服务器发送http请求;
23、根据所述http请求,调用所述chatgpt服务器将可接收事件流类型配置为text/event-stream。
24、本技术的有益效果为:由于将可接收事件流类型配置为text/event-stream,因此,在依照text/event-stream来返回chatgpt流式数据时,可将chatgpt流式数据视为一系列流事件,并以文本形式进行返回,从而,减少轮询消耗,增强实时性。
25、在一种实现方式中,在根据所述socket连接,调用所述chatgpt服务器向所述浏览器返回chatgpt流式数据之前,所述方法还包括:
26、调用所述chatgpt服务器通过字节流方式,获取chatgpt流式数据;
27、调用所述chatgpt服务器,创建流式实体;
28、确定所述流式实体是否符合实体结构。
29、本技术的有益效果为:由于创建了流式实体,因此,可以使后续在进行chatgpt流式数据返回时,能够对chatgpt流式数据统一进行处理控制,而无需做额外的处理。
30、在一种实现方式中,在确定所述流式实体是否符合实体结构之后,所述方法还包括:
31、若确定所述流式实体符合实体结构,则调用所述chatgpt服务器按照所述流式实体向所述浏览器返回所述chatgpt流式数据。
32、本技术的有益效果为:由于按照流式实体来返回chatgpt流式数据,因此,可以对chatgpt流式数据统一进行处理控制,而无需做额外的处理。
33、在一种实现方式中,在所述浏览器上展示所述chatgpt流式数据之后,所述方法还包括:
34、确定在预设时间段内,所述代理层是否向所述chatgpt服务端发送htpp请求;
35、若在预设时间段内,所述代理层向所述chatgpt服务端发送htpp请求,则断开所述socket连接。
36、本技术的有益效果为:由于在预设时间段内无htpp请求时,便断开socket连接,因此,可以大大减低资源消耗。
37、在一种实现方式中,所述调用所述浏览器展示所述chatgpt流式数据的步骤,包括:
38、调用所述浏览器接收所述chatgpt流式数据;
39、对所述chatgpt流式数据进行整理,获得整理后的chatgpt流式数据;
40、将所述整理后的chatgpt流式数据发送至前端进行展示。
41、本技术的有益效果为:由于是将整理后的chatgpt流式数据发送至前端进行展示,因此,可以使得chatgpt流式数据展示更加流畅。
42、在一种实现方式中,所述socket连接为socket长连接和socket短连接中的任一种。
43、本技术的有益效果为:由于可以按照实际情况,将连接设置为socket长连接或socket短连接,因此,在使用socket长连接返回chatgpt流式数据时,可以省去较多的tcp建立/关闭的操作,减少浪费,节省时间。在使用socket短连接返回chatgpt流式数据时,可以使管理比较简单,不需要额外的控制手段。
44、一方面,提供一种流式数据返回装置,所述装置包括:
45、连接建立单元,用于在浏览器与chatgpt服务器之间建立socket连接;
46、数据返回单元,用于根据所述socket连接,调用所述chatgpt服务器向所述浏览器返回chatgpt流式数据;
47、数据展示单元,用于调用所述浏览器展示所述chatgpt流式数据。
48、一方面,提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述任一种方法。
49、一方面,提供一种计算机存储介质,其上存储有计算机程序指令,该计算机程序指令被处理器执行时实现上述任一种方法。
本文地址:https://www.jishuxx.com/zhuanli/20240618/20919.html
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 YYfuon@163.com 举报,一经查实,本站将立刻删除。