SuperAPI AI 工具集

guidance

通用与其它

查看项目

更新于 10-15 21:06

技能介绍

用途:Guidance 用于约束大语言模型的生成过程,让输出符合指定语法或格式,从而保证 JSON、XML、代码等结构化结果有效,并减少无效输出带来的重试。

主要能力:支持正则约束(如邮箱、日期、电话格式)、select 固定选项、上下文无关语法(CFG)生成复杂嵌套结构;内置 token healing 自动修复提示与生成之间的 token 边界;提供 system/user/assistant 上下文管理器组织对话;可用 @guidance 装饰器封装可复用生成函数,并配合 Python 控制流构建多步推理、ReAct 智能体、数据抽取等流程。

使用方式:安装基础包 pip install guidance;按后端可选 pip install guidance[transformers] 或 pip install guidance[llama_cpp]。通过 models.OpenAI、models.Anthropic、Transformers、LlamaCpp 加载模型,用 gen() 配合 regex、max_tokens、stop 等参数生成,用 select() 限定候选值。

适用场景:需要严格格式校验的结构化输出、分类任务、多步推理、工具调用智能体、实体抽取,以及本地模型部署场景。

限制:资料未提供具体收费与价格信息;Pydantic 校验需借助其他方案;约束过严可能变慢或失败,需在约束强度与可用性之间平衡。