该技能提供一套脚本,用于在 SAP AI Core 上运行生成式 AI 评估,以测试数据集为基准,对 LLM 和提示词进行评分。支持三种评估类型:提示注册表(评估提示模板与多个模型)、编排注册表(评估编排配置中的提示模板化)、以及带接地(RAG)的编排注册表。评估指标包括系统定义指标(如逐点简洁性、答案相关性、指令遵循、正确性、RAG 上下文相关性、RAG 接地性等)和自定义 LLM-as-judge 指标。使用前需设置 AI Core 凭据环境变量,所有脚本通过 uv run 执行。工作流程包括:注册对象存储密钥、上传数据集、注册数据集工件、确保编排部署运行、选择或创建指标、创建待评估对象、创建评估配置、启动执行、轮询状态至完成、获取聚合结果,可选下载 SQLite 数据库进行逐行分析。适用场景包括基准测试提示词和模型、评估 RAG 管道质量等。限制包括:需要有效的 AI Core 凭据和对象存储凭据;必须使用 genai-evaluations-simplified 可执行 ID;数据集无参考列时不能选择需要参考的指标;需遵循指定技能分工,不重复实现共享生命周期管理。详细工作流和接地设置请参考 references 目录下的文档。
genai-hub-prompt-evaluation
智能体与模型
更新于 10-22 19:49