基于SAAS的大模型API服务费用结算方法及系统与流程

本发明实施例涉及人工智能，具体涉及一种基于saas的大模型api服务费用结算方法及系统。

背景技术：

1、随着人工智能技术和ai大模型水平的发展，大量软件公司通过saas+api方式为用户提供大模型服务，其主要计价方式为基于token长度进行成本和价格计算。在大模型、自然语言处理和机器学习领域，token是指文本被分割、编码后得到的最小单位。在大模型处理自然语言文本时，一般会将文本分割成词语或子词（subwords），然后将这些词语或子词转换成模型可以理解的数值来进行表示，这个过程称为“tokenization”（标记化）。每个词语或子词在转换后会被表示为一个独一无二的整数，这个整数就是token。因此，在大型预训练语言模型中，token代表着文本中的最小单位，经过编码后用于输入和处理文本数据。通过将文本转换成token序列，模型能够更好地理解文本的语义和语法结构，从而在各种自然语言处理任务中取得良好的性能。

2、然而，使用token进行付费服务价格计算时，用户的使用成本严重依赖于用户输入与大模型处理输出的数据内容长度。并且对于用户输入和大模型输出内容的长度，也会存在不确定性，导致最终用户的使用成本无法有效被控制。

3、当前市场上使用token进行大模型api服务计价的方式存在以下局限：

4、1）用户的使用成本不可预期：由于用户输入和大模型输出内容长度的不确定性，每次用户调用服务所消耗的成本无法给到精准的预期，用户只能在使用后才知道其单次使用成本开销；

5、2）费用计算逻辑复杂，使用成本高：由于使用成本基于token进行计算，费用的计算逻辑变得无比复杂，用户需要经过学习才能对其计算逻辑形成认知并掌握。

技术实现思路

1、为此，本发明实施例提供一种基于saas的大模型api服务费用结算方法及系统，以解决现有技术通过token进行大模型api服务计价的方式用户使用成本不可预期、费用计算逻辑复杂的技术问题。

2、为了实现上述目的，本发明实施例提供如下技术方案：

3、根据本发明实施例的第一方面，提供了一种基于saas的大模型api服务费用结算方法，所述方法应用于saas 服务平台，所述saas 服务平台根据大模型服务功能和服务所消耗算力提供多种资源包，供用户选择购买；所述方法包括：

4、在用户选定并购买某一资源包后，saas 服务平台为用户生成并记录相应的资源包订单；

5、接收到用户通过http/https协议发送的调用大模型api的请求后，检验api调用权限和资源包余额：判断需要调用的大模型是否与用户所购买的资源包包含的大模型匹配、且该资源包是否存在剩余使用次数；

6、若检验通过，则saas 服务平台调用相应的大模型api，执行用户请求的操作，并从用户名下的资源包订单中按照调用大模型api的次数进行实时扣费；

7、若检验不通过，则生成相应的提示信息返回给用户。

8、进一步地，所述方法还包括：

9、所述saas服务平台提供的每种资源包对应一种算力，并包含至少一种可使用的大模型，各种资源包下的大模型单次调用的收费存在差异化定价；所述saas服务平台调用相应的大模型api，是调用用户所购买的资源包默认的大模型，或者是用户从所购买的资源包所包含的多个大模型中预先选定的大模型。

10、进一步地，从用户名下的资源包订单中按照调用大模型api的次数进行实时扣费，还包括：

11、获取调用大模型api的次数；

12、从有效资源包订单中获取资源包余量；

13、判断调用次数是否大于资源包余量；

14、如果所述调用次数大于资源包余量，则用户资源包不足，向用户发送邮件和短信，告知算力服务资源包剩余用量不足；

15、如果所述调用次数小于或等于资源包余量，则从用户名下的有效资源包订单中按照调用次数进行实时扣费。

16、进一步地，从用户名下的资源包订单中按照调用大模型api的次数进行实时扣费，还包括：

17、判断所述资源包余量是否为0；

18、如果所述资源包余量为0则用户的算力服务资源包已消耗完，向用户发送邮件和短信，告知算力服务资源包已使用完，需要再次购买。

19、进一步地，向用户发送邮件和短信的方式为saas 服务平台通过消息队列进行异步处理。

20、进一步地，接收到用户通过http/https协议发送的调用大模型api的请求后，检验api调用权限和资源包余额，还包括：

21、获取用户账号信息；

22、从所述用户账号信息中检测是否存在有效资源包；

23、如果所述用户账号信息中存在有效资源包，则按照调用次数进行实时扣费，为用户提供api服务；

24、如果所述用户账号信息中不存在有效资源包，则告知用户名下不存在有效资源包。

25、进一步地，所述方法还包括：

26、当用户的api调用结束后，获取资源包变化信息；

27、利用所述资源包变化信息获取资源包余量；

28、判断所述资源包余量是否小于预设阈值；

29、如果所述资源包余量大于或等于预设阈值，则资源包余量充足；

30、如果所述资源包余量小于预设阈值，则此时用户的资源包余量不足，提醒用户及时购买。

31、进一步地，所述方法还包括：

32、所述调用大模型api的请求中包含用户的访问令牌，saas 服务平台根据访问令牌进行身份验证，验证通过后，再检查用户账号下的资源包。

33、进一步地，所述方法还包括：服务完成后，获取此次服务费用并将所述服务费用与资源包余量信息发送至用户账号。

34、根据本发明实施例的第二方面，提供了一种基于saas的大模型api服务费用结算系统，所述系统包括：

35、应用服务单元与中间件/数据库服务单元，具体包括：

36、应用服务单元包括：

37、资源包管理模块，用于对内提供资源包管理能力；

38、订单/有效资源包模块，用于对外提供服务购买功能；

39、大模型api服务模块，用于对外提供大模型api服务；

40、通知模块，用于对外提供通知能力；

41、中间件/数据库服务单元包括：

42、资源包套餐，用于存储、提供有效资源包套餐；

43、订单数据，用于创建/管理有效资源订单并存储有效资源包。

44、本发明实施例具有如下优点：

45、本发明实施例应用于saas 服务平台，所述saas 服务平台根据大模型服务功能和服务所消耗算力提供多种资源包，供用户选择购买；所述方法包括：在用户选定并购买某一资源包后，saas 服务平台为用户生成并记录相应的资源包订单；接收到用户通过http/https协议发送的调用大模型api的请求后，检验api调用权限和资源包余额：判断需要调用的大模型是否与用户所购买的资源包包含的大模型匹配、且该资源包是否存在剩余使用次数；若检验通过，则saas 服务平台调用相应的大模型api，执行用户请求的操作，并从用户名下的资源包订单中按照调用大模型api的次数进行实时扣费；若检验不通过，则生成相应的提示信息返回给用户。本发明实施例将saas大模型api服务根据功能进行包装,形成不同的服务包。用户只需选择需要使用的服务包,并根据实际使用次数进行付费，就可以使用saas大模型api提供的服务功能。这种按次计价的方式大大简化了计费逻辑。用户无需了解内部功能细节和价格结构，只需根据自己的需求进行服务包的选择和使用即可。同时，按次计费能更好反映用户实际使用情况，避免了以往按token计费给用户带来不确定成本的问题。