SuperAPI AI 工具集

hamilton-llm

智能体与模型

查看项目

更新于 11-03 10:54

技能介绍

Hamilton-llm 是 Apache Hamilton 项目提供的一套 LLM 与 AI 工作流模式,用于在 Hamilton 框架下组织检索增强生成(RAG)、嵌入、向量库查询和提示词工程等环节。

用途方面,资料给出的 RAG 流水线示例按顺序覆盖:异步抓取文档文本、按块大小与重叠切分文档、调用 OpenAI 嵌入模型生成向量、将向量写入 Pinecone 索引、为查询生成嵌入、从向量库取回相关块、拼接带上下文的提示词,最后调用 LLM 生成回答。索引阶段执行 vector_store_ids,查询阶段执行 llm_response。

主要能力包括:提示词模块化,每个提示词组件是可测试的函数;依赖追踪,从数据到嵌入、检索、生成形成清晰谱系;异步并行,多个独立 LLM 调用并发进行;缓存,通过 hamilton.function_modifiers 的 cache 装饰器避免重复的昂贵 API 调用;可观测性,可跟踪调用、成本与性能;测试,可分别对提示词、检索和生成做单元测试。另有 Pydantic 结构化输出解析、多供应商(OpenAI 与 Anthropic)通过 config 切换、以及基于工具选择的 Agent 模式。

使用方式上,资料示例通过 async_driver.Builder() 装载模块并执行指定输出节点,使用 inputs 传入初始参数,使用 with_config 切换 provider 等配置;多供应商与工具分支用 config.when、config.when_in 等修饰器区分。运行前需自行安装 openai、aiohttp、pinecone、anthropic、pydantic、pytest 等依赖,并配置相应 API 凭据与向量库,资料未提供具体安装命令。

适用场景包括:构建 RAG 问答应用、对文档做摘要/关键词/情感等多路分析、需要缓存与成本控制的 LLM 批处理、需要结构化抽取结果的场景、以及带工具调用的简单 Agent。

限制方面,资料仅提供代码模式示例,未给出完整部署方案、性能基准或定价信息;示例中的模型名称(如 gpt-4、text-embedding-3-small、claude-sonnet-4-6)与向量库需按实际环境准备;异步与缓存行为依赖 Hamilton 版本支持。更多异步与可观测性内容,资料指向 /hamilton-scale 与 /hamilton-observability,示例位于 github.com/apache/hamilton/tree/main/examples/LLM_Workflows。