SuperAPI AI 工具集

omni-ai-eval

智能体与模型

查看项目

更新于 10-15 21:40

技能介绍

用途:通过 Omni CLI 驱动 Omni 内置评测系统(AI Hub 的 Prompt sets 与 Eval runs),衡量 Omni AI 回答准确率。官方建议优先使用该原生系统而非自建评测框架。

主要能力:提示集(prompt set)是绑定单一模型、最多 25 条自然语言提示的可复用命名列表,每条可带可选 expectation 参考期望;评测运行(eval run)针对模型分支或 main 执行提示集,每条提示作为完整异步智能体任务运行,再由固定准确率评判模型给出通过/失败、置信度与理由。评判针对高影响分析错误(幻觉、日期时间过滤、行数限制处理、心算、环比错误、主题错误),不评判措辞与格式。

使用方式:先确认 CLI 已安装并含 ai-eval 命令,用 omni config show / omni config use <profile-name> 选择配置,omni whoami 确认鉴权。创建提示集:omni ai-eval prompt-sets-create --compact --body '{...}',需 model_id、name、slug 等字段。发起运行:omni ai-eval runs-create --compact --body '{...}',省略 run_config.branch_id 即对线上共享模型运行,指定 branch_id 则对分支运行。用 runs-get 轮询至 COMPLETE 或 CANCELLED,读取 results[] 中的 score、error_reason、cost、timing_ms、agentic_job.conversation_id,并用 omni ai conversation-detail <conversationId> --compact 查看评判理由。

适用场景:A/B 对比分支与 main 的准确率变化、回归覆盖、发布前验证模型上下文改动。

限制:同时最多 2 个评测运行,429 表示达到上限,503 表示组织暂停评测;评判模型固定不可配置;助手文本保留 30 天;评测会话不出现在 conversations-list;需模型至少 Querier 权限且至少一个主题已为 AI 优化。其余细节暂未提供。