SuperAPI AI 工具集

omniroute-cli-eval

通用与其它

查看项目

更新于 10-15 21:10

技能介绍

用途:OmniRoute CLI Evals 是 OmniRoute 的命令行评测功能,用自动化测试套件对 LLM 输出按预期答案或评分标准打分,套件与运行结果保存在本地数据库。需先安装 omniroute CLI,安装方式与全局参数见 CLI 入口技能。

主要能力:管理评测套件(列出、查看、创建);运行评测并支持实时 TUI 进度(--watch);查看运行详情、逐样本结果与完整评分卡;取消运行;对多个模型运行同一套件以比较表现;可接入 CI。

使用方式:列出套件用 omniroute eval suites list(可加 --json),查看用 omniroute eval suites get <suiteId>。创建套件用 omniroute eval suites create --name "code-quality" --rubric "exact-match" --samples-file ./samples.jsonl,评分标准可选 exact-match、contains、llm-judge、regex;样本文件为 JSONL,每行含 input 与 expected_output。运行用 omniroute eval suites run <suiteId> --model claude-sonnet-4-6,可加 --watch 实时查看。运行是异步的,可轮询 omniroute eval get <runId>。管理运行用 omniroute eval list、get、results、scorecard、cancel。评分卡可加 --output json,逐样本返回 id、score、passed、input、output、expected。比较模型可循环对多个模型运行同一套件并提取 model 与 score。CI 中可提取 score 并在低于阈值时失败。

限制与错误:创建套件时评分标准无效需改用上述四种之一;运行返回 model not found 时用 omniroute models --search <name> 核对模型 ID;状态为 failed 时用 omniroute logs --search eval 查看错误;评分卡结果为空可能因运行尚未完成,需轮询至 completed。其余安装细节与全局参数暂未提供。