用途:该技能用于生成评估 SageMaker 模型的 Python 代码,面向 SageMaker Serverless Model Customization 的评估功能,可评估其支持的任何基础模型或微调模型,包括 Llama、Mistral、Qwen 等开源模型以及 Nova 模型。
主要能力:提供两种评估类型。LLM-as-Judge 由 LLM 为模型回答打分,仅支持开源模型,不支持 Nova。Custom Scorer 通过 Lambda 函数进行程序化评估,包含内置的数学与代码评分器,开源模型和 Nova 模型均可用,但 Nova 仅支持自定义 Lambda。
使用方式:使用前需先确认 SDK 环境(SDK 版本、区域、执行角色)已验证,否则应先激活 sdk-getting-started 技能。工作流分两步:先确定评估类型,若用户不确定,需阅读 references/evaluation-type-guide.md 后再引导选择;随后进行校验并交接给评估工作流。LLM-as-Judge 校验需确认模型类型(可通过训练任务 ARN 的 list-tags 查找 sagemaker-studio:jumpstart-model-id 标签,或通过 Model Package ARN 的 describe-model-package 判断)且用户需有评估数据集。Custom Scorer 校验同样要求评估数据集。校验通过后,LLM-as-Judge 读取 references/llmaaj-evaluation.md,Custom Scorer 读取 references/custom-scorer-evaluation.md,并按其中说明执行。
限制:两种评估类型都要求用户提供评估数据集,缺少数据集则无法进行模型评估。LLM-as-Judge 不支持 Nova 模型。若用户请求评估 SageMaker Serverless Model Customization 不支持的模型,应说明该技能不支持。具体命令、代码示例与更多细节暂未提供。