SuperAPI AI 工具集

rag-eval

数据与分析

查看项目

更新于 10-16 03:47

技能介绍

用途:该技能用于按 NVIDIA RAG Blueprint 的文件系统约定评测 RAG 的检索与答案质量,基于固定数据集、基线和可复现的评分流程。不适用于部署或修复服务、无 corpus/ + train.json 布局的 API 评测、通用机器学习实验、生产监控告警,以及延迟/吞吐压测(后者应使用 rag-perf 技能)。

主要能力:准备数据集目录(每个目录含 corpus/ 与 train.json);运行 scripts/eval/evaluate_rag.py;通过 --top_k/--vdb_top_k、重排与查询改写开关、--temperature、--top-p、--max-tokens 等参数对比检索与生成配置;解读 RAGAS JSON 输出;按错误信号表排查 HTTP/流式错误、空上下文、集合不匹配、评审 API 等问题。

使用方式:需先克隆仓库并从仓库根目录执行命令;Python 3.11+ 与 uv;安装评测依赖 uv sync --project scripts/eval;需可访问的 RAG 服务与 ingestor(默认常为 localhost:8081 / 8082);设置 NVIDIA_API_KEY,可选 RAG_EVAL_JUDGE_MODEL。最小示例:uv sync --project scripts/eval 后运行 uv run --project scripts/eval python scripts/eval/evaluate_rag.py --dataset-paths /path/to/my_dataset --host localhost --port 8081。查看摘要:python3 -m json.tool results/my_dataset/rag_my_dataset_evaluation_summary.json。

限制与注意:评测行为固定于文件系统约定与 evaluate_rag.py,不能替代自定义离线评审或非 RAG 基准;向量库与嵌入选择由已部署的 ingestor 和 RAG 环境决定,本 CLI 不覆盖;分数依赖检索质量、评审模型可用性与 NVIDIA_API_KEY,空上下文会导致部分 RAGAS 指标缺失。须从仓库根目录运行;--ingestor_server_url 只传 http://host:port,不要带 /v1;旧集合数据会残留,可用 --force_ingestion 或唯一 --collection 隔离对比。跨客户端可在 GitHub Copilot、Claude Code、Codex 中使用,Codex 可同步到 $CODEX_HOME/skills/rag-eval。