用途
confident-eval-setup 用于将一个 LLM 应用准备为可在 Confident AI 平台上评估的状态。关键难点在于“AI 连接”——即一份保存下来的描述，说明如何调用应用端点，使 Confident AI 能向应用发送每条 golden 的输入并读回答案。该技能从应用自身代码中构建这个连接，用 ping 证明其可用，上传数据集，并把数据集页面链接交给用户。所有操作都通过 Confident AI MCP 服务器完成，不会向用户代码库添加任何内容。
适用场景
- 用户希望团队成员从 Confident AI 仪表盘评估、对比或红队测试应用，这需要 Confident AI 能调用该应用。
- 用户的 AI 连接返回 inactive 状态。
- 用户希望将测试用例作为 Confident AI 数据集上传。
如果用户只想在自己的机器上运行评估，则不需要 AI 连接，其代码可以直接调用应用；此时应告知用户这一点，仅在用户仍希望配置平台时继续。
前提条件
- Confident AI MCP 服务器已连接到编码智能体。若缺少其工具（如 list_projects、create_ai_connection 等），应停止并参考 references/mcp-setup.md 提供对应客户端的配置方法。该服务器使用 OAuth 登录，无需 API key。
- 一个 Confident AI 可访问的端点：https://，WebSocket 应用则为 wss://。localhost 和私有主机不可达。对于位于防火墙后的应用，可参考 Confident Agent 文档（https://www.confident-ai.com/docs/llm-evaluation/ai-connections/confident-agent）。
工作流程
- 选择项目：调用 list_projects。若存在多个项目，询问用户使用哪个；后续每次调用都携带其 project_id。
- 先复用再创建：调用 list_ai_connections 和 list_datasets。若已有连接指向同一端点，则直接 ping 它，而不是创建重复连接；若已有数据集包含用户测试用例，则复用。
- 阅读应用调用方式：找到该端点的请求处理程序、路由或客户端代码，弄清 URL 是否为已部署的 https:// 地址；应用期望的 HTTP 请求体以及哪个字段承载用户消息（多轮应用则为对话）；所需请求头（如认证、Content-Type）；应用如何回复（纯 JSON、服务器发送事件、NDJSON 或 WebSocket）以及答案位于响应的哪个位置；RAG 应用中检索到的文档在哪里；智能体应用中调用了哪些工具。不得编造代码中未显示的值；向用户索取已部署 URL 和任何密钥，且绝不回显密钥。
- 创建连接：使用 create_ai_connection。参考 references/ai-connections.md 了解 payload 令牌、响应模式和键路径。payload 通过诸如 "golden.input" 的令牌把请求体绑定到测试数据；{{input}} 不是令牌，会被按字面发送。
- 用 ping 验证：调用 ping_ai_connection，它发送一个示例测试用例并返回 active。ping 失败仍是一次成功的调用：读取 active、error、statusCode、response、rawResponse 和 actualOutput，用 update_ai_connection 修正配置后再次 ping，重复直到 active 为 true，或直到问题只能由用户解决（主机不可达、凭证过期），此时明确告知用户需要更改什么。故障排查表见 references/ai-connections.md。
- 上传数据集：使用 push_dataset，把用户测试用例转为 goldens：单轮 golden 需要 input（通常还需要 expectedOutput）；多轮 golden 需要 scenario（通常还需要 expectedOutcome）。向用户展示 goldens，确认后以 finalized: true 推送，因为只有 finalized 的 goldens 才会被评估。参见 references/datasets.md。
- 交接：把 push_dataset 返回的数据集链接交给用户（形如 https://app.confident-ai.com/project/<projectId>/datasets/<datasetId>，或 EU、自托管对应地址），告知其打开链接、按下 Evaluate、选择刚创建的 AI 连接和指标集合，然后启动运行。
核心原则
- 目标是获得一个 ping 返回 active: true 的连接；在此之前不得交接。
- 仅依据证据：每个端点、请求头、请求体字段和键路径都来自用户代码或用户本人；无法看到的内容应省略。
- 把承载用户消息的字段绑定到 "golden.input"；模型名、标志和路由值保持应用使用的字面值。
- headers、queryParams、prompts、authentication 和 cloudProvider 在更新时是整体替换；应先用 get_ai_connection 读取连接，并重新发送所有需要保留的条目。
- 创建、更新和 ping 连接都会调用用户端点，优先使用预发布（staging）部署。
- 不要自行启动评估；由用户在数据集页面上选择指标并运行。
最终报告
向用户说明：AI 连接的名称及其 ping 已通过；数据集的别名、包含多少 goldens 及其链接；下一步是打开链接、按下 Evaluate、选择连接和指标集合；以及留给用户的事项，例如需要轮换的凭证或需要部署的端点。
参考资料
- references/mcp-setup.md：将 Confident AI MCP 服务器连接到编码智能体。
- references/ai-connections.md：payload 令牌、响应模式、键路径、配方及 ping 故障排查。
- references/datasets.md：golden 字段、CSV 与 JSON 映射以及 push_dataset。