用途:指导代理完成 NVIDIA RAG Blueprint 的磁盘 RAG 评测,准备 corpus/ 与 train.json,运行 scripts/eval/evaluate_rag.py,调优检索与生成参数以比较质量,解读 RAGAS JSON 输出,并排查常见故障。延迟、吞吐与负载测试请改用 rag-perf 技能。
不适用:部署或修复服务(用 rag-blueprint)、没有 corpus/ + train.json 布局的 API 评测、与该评测器无关的通用 ML 实验、生产监控告警、延迟/吞吐基准测试。
前提:已克隆仓库并从仓库根目录运行命令;Python 3.11+ 与 uv,依赖用 uv sync --project scripts/eval 安装;RAG 服务和 ingestor 可达(默认常为 localhost:8081 / 8082);RAGAS 需要 NVIDIA_API_KEY,可选 RAG_EVAL_JUDGE_MODEL;传给 --dataset-paths 的每个数据集根目录都含 corpus/ 和 train.json。
主要能力与用法:准备数据需符合 references/dataset-and-conversion.md 的布局与 train.json 规则,公开链接来源需将文档落盘到 corpus/,多模态内容优先 PDF,CSV/JSONL 等按该文档转换。运行评测:uv sync --project scripts/eval,然后 uv run --project scripts/eval python scripts/eval/evaluate_rag.py 并传入 --dataset-paths、--host、--port。质量调优可调整 --top_k / --vdb_top_k、重排与查询改写开关,以及 --temperature、--top-p、--max-tokens。结果分析见 references/result-analysis.md,可快速查看 results/<dataset>/rag_<dataset>_evaluation_summary.json。
限制与注意事项:评测器行为固定于文件系统契约和 evaluate_rag.py,不能替代自定义离线评判或非 RAG 基准;向量库与嵌入选择由部署的 ingestor 与 RAG 环境决定,此 CLI 不覆盖。必须从仓库根目录运行,否则导入会静默失败;--ingestor_server_url 只传 http://host:port,不要带 /v1,代码会自动追加;旧集合数据会残留,除非用 --force_ingestion 或 --collection 指定唯一名称;若生成的上下文全为空,RAGAS 只给 nv_accuracy,其余两项留空。密钥应通过 gitignore 的 env 文件或密钥管理器加载,避免提交 .env。