Graphlit Agent Harness Lab 是一个基于 Next.js 的可视化示例应用，用于比较不同代理框架（agent harness）在共享同一 Graphlit 上下文层和 Graphlit 智能体工具的情况下，如何回答同一个提示词。项目在 GitHub 上开源，地址为 https://github.com/graphlit/agent-harness-lab。
用途： 该工具主要面向需要评估或对比不同代理框架表现的用户。用户可以同时运行多个代理通道，观察它们在工具选择、回答流式输出、来源引用、耗时与 Token 消耗等方面的差异。
主要能力：
- 并行运行多个通道：应用会并行运行选中的通道，包括 Graphlit（始终启用的基线通道和共享上下文层）、OpenAI Agents SDK、Claude Agent SDK 等。其他通道可在输入框中切换启用。
- 统一工具界面：所有通道获得相同的只读 Graphlit 工具集，包括 analyze_prompt（每轮路由与证据规划的必需首次调用）、retrieve_contents、inspect_content（按 id 或 contents://... resourceUri 检查已检索的 Graphlit 内容）、inspect_page（以 Markdown 形式检查公共网页而不将其摄取到 Graphlit）。
- 可比较内容：各通道如何流式输出回答文本和工具事件；各通道调用了哪些工具（包括 web_search 的搜索提供商标识）；来源、工具调用参数与结果、原始通道事件、耗时和 Token 用量；在支持的情况下跨 OpenAI、Anthropic 和 Google 的提供商/模型选择；提供商默认提示词与实验室优化的、框架中立的系统提示词对比；当至少两个通道成功完成时的 LLM-as-judge 评分。
- 共享项目上下文：输入框中的文件和 URL 按钮是连接 Graphlit 项目的设置控件。文件上传会将所选文件发送到应用服务器，然后调用 Graphlit 文件摄取；URL 摄取会将 URL 发送到应用服务器并调用 Graphlit URI 摄取。应用会等待 Graphlit 处理完成后，新内容才被视为可检索。就绪后，该内容成为下一次比较运行中每个启用通道的共享上下文。
- 会话状态：每个通道保留自己的会话状态，因此可以随时间比较多轮行为。每次发送会为每个启用的通道创建一个轮次。
- 故障隔离：通道故障保持隔离，一个提供商不会阻塞其他提供商。
- 重置功能：重置会清除提示词、通道记录、会话状态和裁判输出，下一次发送开始全新的比较。
使用方式：
- 环境要求：使用 Node.js 20.9.0 或更新版本。
- 创建 Graphlit 项目：在 graphlit.dev 注册或登录。新 Graphlit 账户不需要信用卡，并包含 100 个免费积分用于运行实验室。创建或打开一个 Graphlit 项目，从侧边栏打开项目环境面板，复制所需环境的环境变量。
- 配置凭证：需要 Graphlit 项目凭证，并至少配置一个模型提供商密钥。提供商密钥保留在服务端。可选默认值可通过 NEXT_PUBLIC_DEFAULT_LANES 设置；如果未设置，所有具有所需凭证的通道默认启用。当 Graphlit 凭证和至少一个提供商密钥可用时，Graphlit 保持为基线通道。
- 提供商密钥：OPENAI_API_KEY 启用 OpenAI 模型和 OpenAI Agents SDK 通道；ANTHROPIC_API_KEY 启用 Anthropic 模型和 Claude Agent SDK 通道；GEMINI_API_KEY 启用 Google Gemini 模型和 Google ADK 通道。Graphlit、Vercel AI SDK、LangGraph 和 Mastra 在匹配的 API 密钥可用时使用选定的提供商偏好；OpenAI Agents SDK、Claude Agent SDK 和 Google ADK 使用其原生提供商密钥。
- 部署到 Vercel：可使用仓库中的部署按钮将仓库克隆到 Vercel 账户。Vercel 会在首次部署前提示输入 Graphlit 变量和模型提供商 API 密钥字段。
- 运行：首次加载时，应用会验证 Graphlit 项目并引导 Graphlit 基线和裁判所使用的模型规范。向每个启用的通道发送相同提示词，各通道独立运行并流式输出自己的事件、回答文本、工具调用、来源、耗时和 Token 用量。如果至少两个通道成功完成且裁判已启用，裁判会比较完成的结果。
适用场景：
- 需要比较不同代理框架在同一上下文和工具条件下的行为差异。
- 评估多轮对话中不同框架的会话保持与工具使用模式。
- 观察工具调用参数、来源、耗时和 Token 消耗等细粒度指标。
- 测试提供商默认提示词与自定义优化系统提示词的效果差异。
限制：
- 代理通道在比较期间不能摄取、删除、丰富或变更项目内容；它们只能通过只读工具进行检索、检查内容、检查公共页面、计数、列出、读取、搜索和映射。
- 上传的文件和摄取的 URL 会持久保存在配置的 Graphlit 项目中，直到在 Graphlit 中管理或删除；重置实验室只清除本地比较记录和通道会话，不会删除 Graphlit 中的项目内容。需使用 Graphlit Studio 在实验室外查看或管理项目内容。
- 应用为长时间运行的研究提示使用 15 分钟的通道和裁判超时；AGENT_HARNESS_LAB_GRAPHLIT_TIMEOUT_MS 可覆盖 Graphlit 引导/API 操作使用的超时。
- 裁判只比较成功完成的通道运行；如果少于两个通道成功完成，则跳过裁判。
- 运行需要 Graphlit 项目凭证和至少一个提供商密钥；未提供时部分功能可能不可用。
- 优化系统提示词默认启用，要求每个框架先调用 analyze_prompt，然后遵循返回的路由计划进行检索、网络搜索、检查和合成；可在 UI 中关闭以比较提供商/框架默认行为。
以上信息均来自项目官方说明，未提及的收费、价格、平台、效果或具体使用步骤暂未提供。理解项目时请以官方仓库和文档为准。
