SuperAPI AI 工具集

guidance

智能体与模型

查看项目

更新于 10-16 07:23

技能介绍

用途:Guidance 用于约束大语言模型的生成过程,让输出符合指定语法或格式,例如保证生成合法的 JSON、XML、代码,或固定为日期、邮箱、ID 等结构化字段。适合需要稳定结构化输出、多步工作流或工具调用流程的场景。

主要能力:支持正则约束、select() 固定选项、基于可组合函数或 Pydantic schema 的 JSON 语法生成;内置 token healing 自动修复提示与生成之间的 token 边界;提供 @guidance 装饰器定义可复用、可带状态的生成函数,并可用 Python 上下文管理器(system/user/assistant)组织对话式流程。

安装:pip install guidance;按后端可选 pip install guidance[transformers] 或 pip install guidance[llama_cpp]。

必要用法与限制:约束生成需要本地 logit 访问,正则、select() 和语法约束仅适用于本地后端(Transformers、LlamaCpp);远程 API 后端(OpenAI 及 Azure 变体)只支持无约束的 gen()/chat,无法执行 token 级约束;guidance 0.3.x 没有 models.Anthropic 类。grammar= 模板字符串形式不属于当前 guidance,应使用可组合函数或 guidance.json()。

适用场景:结构化数据抽取、分类、JSON 生成、多步推理、ReAct 智能体等。资源:文档 https://guidance.readthedocs.io,GitHub https://github.com/guidance-ai/guidance。