SuperAPI AI 工具集

opik-online-eval

测试与质量

查看项目

更新于 10-16 05:03

技能介绍

用途:在 Opik 项目上把评估器(judge 或 Python 指标)以在线规则形式接入生产流量,只写 Opik,不修改应用代码。入口为 /opik-online-eval <要评分的内容>,或紧接 /opik-evaluate 之后把已验证的 judge 上线,也可传项目名。

主要能力:创建 LLM-as-judge 在线规则(trace 默认;span 针对单次 LLM/工具调用;thread 针对整段会话,需等会话不活跃,默认 15 分钟),或用 Python 指标处理机械性检查(如 JSON 合法性)。支持采样率(约每日 1k trace 以下默认 1.0,否则 0.1–0.2)、过滤器(如 tags 包含 production)、变量到字段路径的映射(点号表示嵌套,如 output.answer)、成本上限 max_cost_usd。

必要用法:确认 Opik 可达(~/.opik.config 或 OPIK_API_KEY),从 trace 或名称解析 project_id;没有高层 SDK 封装,使用 REST 客户端创建。创建后须用真实新 trace 验证反馈分数非空,而非以创建调用成功为准。规则名会成为 feedback score 名,建议下划线而非连字符。

限制:每条规则只针对一个失败模式;验证未出现新 trace 时状态为 live_unverified;未验证的 judge 不应视为真实结论;变量用字段路径,不用 {{ }} 模板;须设置采样率与成本上限;不得修改应用代码。opik 技能未安装时应报告并参考官方文档。