TypeSafe AI 的官方文档页面,介绍其模型 Jev 的使用方式与相关规则。
用途:该文档面向需要使用 TypeSafe AI 模型 Jev 的开发者,说明如何调用、收费、限流以及输入处理。
主要能力:
- 定价方式:按输入 token 收费,输出 token 免费。Btok 为十亿 token,Mtok 为百万 token。
- 速率限制:以每秒 token 数和每秒请求数衡量;超过任一限制会返回 429 Too Many Requests。官方客户端 SDK 默认使用退避重试,并在响应带有 retry-after 头时遵守该头。若直接调用 HTTP API,需参考“Handling rate limits”自行处理。
- 上下文长度:Jev 会一次读入状态,并针对该状态并行评估每个问题。64k 预算覆盖状态与所有问题合计;32k 预算覆盖状态加上单个最长问题。文档还提到 Speculative fan-out 用于把多个问题打包进一次请求,以及 Jev 1.13 jaggedness 说明准确率随状态增长的变化。
- 输入类型:Jev 评估自然语言文本。图像、音频、视频、二进制等非文本输入需先预处理为文本或结构化字段,再作为 state 发送;支持的状态形状见 State 文档。
- 自定义方式:可把专有内容、记录和参考资料放入 state 字段;在问题中的 instructions 和 criteria 里编码领域规则和边界情况;把宽泛判断拆解为原子问题,再在代码中组合输出。文档还提到 Composite scoring 与 AutoResearch cookbook,用于在 Jev 的概率输出上训练下游经典模型。
- 文档还包含语言支持、数据处理和模型列表相关章节。
使用方式:通过 state 字段提供待评估内容,并以问题形式提交需要判断的事项;可结合官方客户端 SDK 或直接调用 HTTP API。文档提供了 /llms.txt 作为完整文档索引获取入口。
适用场景:需要以自然语言文本为输入、针对给定状态并行回答多个问题的评估、判断或打分类任务;需要把领域规则和边界情况编码进问题、并对输出进行代码层组合的场景。
限制:非文本输入必须预先转换为文本或结构化字段;速率限制按每秒 token 数和每秒请求数分别约束,超出会收到 429;上下文预算存在 64k 与 32k 两种口径;价格、模型列表、语言支持和数据处理的具体细节需以文档对应章节为准。