用途:面向强化学习的机器学习系统工程,聚焦 RL 训练平台与分布式基础设施,而非算法理论。适用于设计 RL 训练平台(控制器、工作进程、资源调度)、实现 rollout 采集(向量化环境、异步 actor、轨迹缓冲区)、运行分布式训练(数据并行、参数服务器、梯度同步)、管理回放缓冲区(优先级、存储、大规模采样)、检查点恢复、实验跟踪集成、模拟器接入、策略导出,以及调试训练不稳定(NaN、奖励尺度、worker 失同步、拖尾 GPU)。
主要能力:围绕六类核心工作流展开——RL 系统框架(环境契约、on/off-policy、规模目标)、训练平台架构、环境与 rollout、回放/检查点/实验、评估与策略导出、可靠性与可观测性。产出包括架构文档(actor/learner 拓扑、数据流、故障域)、环境 API 规范、运行手册、配置模板、指标看板规范与策略导出包。
原则:可复现(固定环境种子、记录配置哈希、锁定模拟器版本)、采样与学习分离、确定性恢复、观测 MDP(记录奖励分量)、失同步快速失败。
使用方式:资料未提供安装命令或具体代码示例,仅给出 references 目录下的参考文档路径,如 references/rl_systems_framing.md、references/training_platform_architecture.md、references/environments_rollouts.md、references/replay_checkpoints_experiments.md、references/evaluation_policy_export.md、references/reliability_observability_rl.md。
适用场景与限制:适合 RL 系统工程与平台侧工作。不适用于监督学习与统计评估(data-scientist)、生产 LLM/agent/RAG(ai-engineer)、安全推理网关(ml-infrastructure-engineer-safeguards)、安全分类器研究、通用 CI/CD 与 K8s 运维、数据中心 GPU 供给、无 RL 背景的 HTTP API p99 优化、纯 RL 算法理论。具体价格、平台、部署细节暂未提供。