SuperAPI AI 工具集

opik-evaluate

智能体与模型

查看项目

更新于 10-15 20:14

技能介绍

用途:为仓库中的应用或提示构建一次 LLM 评估并运行,最终在 Opik 中产出一个带分数、链接和可行动分数摘要的实验。入口为 /opik-evaluate、/opik-evaluate <对象> 或 /opik-evaluate <数据集>。

主要能力:先读取真实 trace 做错误分析(client.search_traces),再选择形态——智能体/聊天机器人用测试套件(opik.run_tests),需要精确匹配或内置指标(Hallucination、AnswerRelevance、RAG ContextPrecision/ContextRecall)用数据集加 evaluate(),被测对象是提示版本时走服务端 execute_experiment。评分优先用代码指标(Equals、Contains、RegexMatch、IsJson、JsonSchemaMatch、LevenshteinRatio),再按失败模式各写一个二元判定,判定器需用人工标签校准(TPR/TNR)。

使用方式:确认 Opik 可达(~/.opik.config 或 OPIK_API_KEY),复用已有套件/数据集,用 get_or_create_test_suite 或 get_or_create_dataset 建用例并保留 source_trace_id;运行器写成仓库外的临时文件,不运行会写入、发送或花钱的生产入口;结果用 get_experiment_by_id 读回,汇总各分数均值与通过率,指出最差条目及其原因。

限制:不改动应用代码;判定器缺少 provider 密钥时不会报错,而是每项 0 分且 scoring_failed=True,需视为阻塞;创建数据集/套件时必须传 project_name,evaluate(project_name=…) 已弃用;get_experiment_by_name 已弃用。遇到阻塞只返回一个下一步。若未安装 opik 技能,应说明并参考官方文档。