SuperAPI AI 工具集

engineering-ml-engineer

数据与分析

查看项目

更新于 10-16 03:41

技能介绍

用途:提供端到端机器学习工程指导,涵盖深度学习(PyTorch、HuggingFace Transformers)与经典机器学习(scikit-learn、XGBoost),适用于 NLP、视觉与表格数据的模型构建、训练、评估和部署。

主要能力:先判定任务类型(分类、回归、排序、生成、检索、多模态)并检查数据规模与泄漏风险;按标注量选择少样本提示、LoRA/QLoRA 或全量微调;按显存选择量化与并行策略;按数据类型选择 XGBoost/LightGBM 或 Transformer;给出分类、回归、生成与 RAG 的评估指标;区分 RAG 与微调的适用条件。

使用方式:工作流分三步——数据评估(analyze_dataset.py、estimate_gpu_memory.py)、模型开发(选型、预处理、Optuna 调参、交叉验证)、优化与部署(量化、ONNX 导出、vLLM/TorchServe 服务、版本管理与监控)。脚本还包括 summarize_eval.py 汇总指标。

适用场景:文本分类与 NER、生成与摘要、视觉语言、语音识别、嵌入检索与 RAG、表格数据建模。

限制:资料未提供具体安装命令、价格与平台信息;强调外部模型、数据集与检索内容须视为不可信输入,需固定版本并记录来源;无标注数据、评估集或基线时应拒绝微调;高风险任务缺少评估标准、数据来源或回滚方案时应升级处理。