SuperAPI AI 工具集

ai-agent-observability-evaluation

智能体与模型

查看项目

更新于 10-16 03:40

技能介绍

用途:该技能面向 AI 智能体(agentic AI)的可观测性与评估工作,用于设计评测方案、任务成功率指标、轨迹追踪、回放、证据采集和回归门禁;为智能体运行埋入事件、步骤日志、产物和客户可见状态;并将执行证据转化为 QA、审计、事故或产品质量信号。

主要能力:围绕智能体运行建立可观测性与证据链,产出面向执行的交付物,如架构、实施计划、审计、策略、运行手册、UX 流程、测试策略或运营模型。强调具体契约、清单、表格、schema、运行手册和决策记录,并保留租户隔离、可审计性、成本控制、安全门禁与运营证据。

使用方式:先阅读 SKILL.md;再加载 references/routing.md,将已退休的子技能 slug 映射到整合后的参考模块,并选择与当前任务匹配的子参考;仅加载当前请求所需的子参考文件。输出时应明确列出所用参考文件,并在相关时给出假设、风险、证据与后续行动。

适用场景:需要为 AI 智能体任务设计评测指标、追踪执行轨迹、回放运行、采集证据、设置回归门禁,或把执行证据用于质量、审计、事故与产品判断的工作。

限制:不适用于非 AI 或非智能体 AI 的工作;若更窄的保留 AI 父技能更匹配,则不应使用本技能。禁止默认加载全部子参考;不应把 AI 特有的计费、合规、安全或 UX 问题当作通用 SaaS 工作处理;不得隐藏已退休技能名称,旧 slug 需通过 routing.md 保持可发现。

必要输入:与 AI 工作流相关的产品、租户、用户、数据、风险与运营上下文;目标产物(设计、实施计划、审计、测试策略、UX 流程、商业策略或运行手册);来自安全、隐私、可靠性、计费、支持与合规方的约束。具体安装命令与代码示例暂未提供。