SuperAPI AI 工具集

ml-engineering

设计与创作

查看项目

更新于 10-16 06:24

技能介绍

该技能是一套机器学习工程方法论,用于把模型研究落到可训练、可评估、可部署、可维护的生产系统。

用途与职责边界:面向ML工程师负责的领域,包括模型训练(LoRA/QLoRA微调、全量微调、分布式训练)、模型评估(基准套件、自定义评估集、回归测试)、量化(GGUF、GPTQ、AWQ、bitsandbytes)、推理服务(vLLM、llama.cpp、TGI、Triton)、评估工具链(lm-eval-harness、自定义流程)、模型部署(容器化、版本管理、A/B测试)。资料同时明确不归属的部分:统计建模与实验设计、因果推断与假设检验归数据科学家;训练数据收集与标注归数据/MLOps团队;业务指标与KPI定义归产品经理;数据管道架构归数据工程师;基础设施供给归平台工程师。

参考文件与加载时机:references/fine-tuning.md 用于搭建LoRA/QLoRA/全量微调任务(数据准备、超参数、验证策略);references/evaluation.md 用于模型评估(基准选择、自定义评估集、回归跟踪、对比方法);references/quantization-inference.md 用于量化与部署(GGUF/GPTQ/AWQ/bitsandbytes对比、校准数据策略、KV缓存量化、vLLM/llama.cpp/TGI/Triton架构与生产考量);references/training-infrastructure.md 用于选择与配置训练基础设施(GPU选型、多GPU训练、云与本地部署)。

核心原则:优化前先测量,未测基线不做量化、剪枝或蒸馏;可复现性不可妥协,每次训练需固定随机种子、数据版本、超参数与评估方法;先建立基线,若基座模型已足够,微调预算应挪作他用;在能力分布边界而非中心做评估,难例信息量更大;评估集是负债,每个样本都可能造成测试集泄漏,应使用留出集、轮换样本并定期审计污染。

限制:资料未提供具体价格、收费模式、平台支持范围或安装命令,暂未提供;具体实现细节需查阅对应参考文件。