SuperAPI AI 工具集

outlines

编程与开发

查看项目

更新于 10-30 06:44

技能介绍

Outlines 是由 dottxt.ai(原 .txt)开源的 Python 库,定位为「结构化文本生成」工具,GitHub 星标 8,000+。其核心思路是把 JSON Schema、Pydantic 模型或正则表达式转换为上下文无关文法(CFG),再转换为有限状态机(FSM),在每一步 token 采样时过滤掉不合法的 token,并在只有唯一合法 token 时快进,从而在不增加额外开销的情况下保证输出结构合法。

一、主要能力

  1. 结构化生成器:提供 choice(固定选项)、json(JSON/Pydantic 模式)、regex(正则约束)、integer/float(数值类型)等生成器。
  2. Pydantic 集成:直接将 Pydantic 模型作为输出模式,支持嵌套模型、Enum、Literal、Field 约束(如 min_length、ge/le、pattern 等),生成结果保证是该模型的实例。
  3. 后端支持:Transformers(Hugging Face)、llama.cpp(GGUF 模型)、vLLM(高吞吐生产部署),以及有限的 OpenAI API 支持。
  4. 性能特性:FSM 按 schema 编译一次并缓存;官方描述结构化生成速度与无约束生成相当,且比生成后校验方案快约 1.2–2 倍;无需重试循环,输出 100% 合法。

二、使用方式 安装:pip install outlines;按后端追加依赖,例如 pip install outlines transformers、pip install outlines llama-cpp-python、pip install outlines vllm。 基本流程:先通过 outlines.models.transformers/llamacpp/vllm/openai 加载模型,再用 outlines.generate.choice/json/regex/integer/float 创建生成器,调用生成器并传入 prompt 即得到受约束的输出。 示例(分类):model = outlines.models.transformers("microsoft/Phi-3-mini-4k-instruct");generator = outlines.generate.choice(model, ["positive", "negative", "neutral"]);sentiment = generator(prompt)。 示例(Pydantic):定义 class User(BaseModel) 后,generator = outlines.generate.json(model, User),生成结果为 User 实例。 后端配置:Transformers 可指定 device 与 model_kwargs;llama.cpp 可设置 n_ctx、n_gpu_layers、n_threads;vLLM 可设置 tensor_parallel_size 与 quantization(如 awq、gptq)。

三、适用场景 数据抽取(从文本中提取公司、用户、实体等信息)、文本分类(二分类/多分类、带置信度的分类)、结构化表单填充、多实体抽取、代码结构生成、批量结构化处理,以及需要本地模型、低延迟、严格输出格式的生产场景。

四、限制与注意事项 官方对比表显示,Outlines 不提供自动重试机制;对 API 模型(如 OpenAI)的支持有限,部分特性不可用;需要最大推理速度、本地模型、Pydantic 支持或 token 级控制时更适合选用 Outlines。若需要 API 模型自动重试可考虑 Instructor,若需要 token healing 与复杂工作流可考虑 Guidance,若偏好声明式查询语法可考虑 LMQL。

五、资源 文档:https://outlines-dev.github.io/outlines;GitHub:https://github.com/outlines-dev/outlines;Discord:https://discord.gg/R9DSu34mGd;博客:https://blog.dottxt.co。仓库内另有 references/json_generation.md、references/backends.md、references/examples.md 等参考材料。