用途:在 Microsoft Foundry 上微调模型,支持 SFT(监督微调)、DPO(偏好优化)、RFT(带评分器的强化微调),覆盖数据准备、校验、格式化、训练任务提交与监控、诊断、评分器校准、部署与评估,也涉及蒸馏、合成数据生成、数据集质量评分、训练数据大文件上传及微调资源清理。不适用于不微调的通用模型部署、智能体创建、无训练的提示词优化。
主要能力:提供工作流文档,包括快速开始、完整流水线、数据创建、迭代训练、结果不佳诊断;参考文档涵盖训练类型选择、超参数、数据格式、RFT 评分器设计、奖励黑客、带工具的 Agentic RFT、部署、训练曲线、评估、视觉微调、大文件上传与平台注意事项。脚本包括提交训练、轮询监控、校准 pass_threshold、分析曲线与检查点、经 ARM REST API 部署、LLM 评委评估、SFT/DPO/RFT 格式转换、生成蒸馏数据、数据集质量评分、清理旧文件与部署,以及 SFT/DPO/RFT 数据校验与统计。
使用方式:例如校验 SFT 数据 python scripts/validate/validate_sft.py data.jsonl;提交 SFT 任务 python scripts/submit_training.py --model gpt-4.1-mini --training-file train.jsonl --validation-file val.jsonl --type sft;监控 python scripts/monitor_training.py --job-id ftjob-xxx;分析曲线 python scripts/check_training.py --job-id ftjob-xxx;部署 python scripts/deploy_model.py --model-id ft:gpt-4.1-mini:... --name my-eval;评估 python scripts/evaluate_model.py --deployment-name my-eval --test-file test.jsonl。
规则与限制:先做基线评估再微调;提交前校验数据;RFT 评分器校准目标为基础模型 25%–50% 失败率;评估检查点而非盲目部署最终版;比较模型时同时衡量 token 成本与准确率。已知问题包括旧版 openai SDK 在 /v1/ 端点报 API 版本不支持(需升级至 openai>=1.0)、OSS 模型需 globalStandard(可用 --use-rest 或自动回退)、RFT 任务卡在训练后评估(需扩容工具端点到 S2+ 并开启 Always On)、ARM 成功后 DeploymentNotReady(删除重建并等待约 5 分钟)、部署时内容安全拦截(因训练数据 PII 密集,需移除问题文档类型)。具体平台费用与配额暂未提供。