SuperAPI AI 工具集

ai-ml-development

智能体与模型

查看项目

更新于 10-16 10:39

技能介绍

用途

该技能面向 AI 与机器学习开发,适用于构建从原型到生产环境的 AI/ML 系统,涵盖构建 ML 模型、训练流水线、微调 LLM 以及实现 AI 功能等场景。资料以代码示例和技术对比表为主,帮助开发者在具体框架、库和架构之间做出选择并落地实现。

主要能力

框架概览

资料对比了四类框架:PyTorch 适合研究与灵活性,生态包括 Hugging Face、Lightning;TensorFlow 适合生产与移动端,生态包括 TFX、TF Lite、TF.js;JAX 面向高性能与 TPU,生态包括 Flax、Optax;scikit-learn 用于经典机器学习,特点是简单、开箱即用。

模型训练

提供 PyTorch 的模型定义(如 ConvNet)与完整训练循环代码,包含优化器(AdamW)、损失函数、验证准确率计算。还提供 PyTorch Lightning 的写法(LightningModule、training_step、validation_step、configure_optimizers)以及 torchmetrics 的 Accuracy 用法。

微调与文本分类

给出 Hugging Face Transformers 的文本分类流程:加载 tokenizer 与模型、加载数据集、预处理、使用 Trainer 与 TrainingArguments 训练。并给出使用 PEFT 的 LoRA 微调 LLM 示例,包括 LoraConfig 参数(task_type、r、lora_alpha、lora_dropout、target_modules)以及 4bit 加载、device_map 设置、SFTTrainer 引用。

LLM 集成

包含 OpenAI API 的对话补全与函数调用(Function calling)示例、Anthropic Claude API 调用示例,以及 LangChain 的 prompt | llm | parser 链式写法。

向量数据库与 RAG

给出 Pinecone(托管云)与 ChromaDB(本地)的 upsert、query、add 代码。向量数据库对比表涵盖 pgvector(PostgreSQL 扩展)、Pinecone(托管云)、Chroma(本地/嵌入式)、Weaviate(自托管/云,多模态、GraphQL)、Qdrant(自托管/云,高性能、过滤),并附 pgvector 结合 SQLAlchemy 的相似度搜索示例。RAG 架构部分演示了文档切分、embedding 存储、MMR 检索、提示模板与检索链组合的完整代码。

MLOps

包括使用 MLflow 进行实验跟踪与模型注册(log_params、log_metrics、pytorch.log_model),以及用 FastAPI 提供模型推理服务(/predict 端点、Pydantic 请求模型)。

LLM 应用开发

提供提示工程模式(系统提示、少样本提示、推理任务提示)、结构化输出(Anthropic 的 messages.parse 与 OpenAI 的 chat.completions.parse)、工具调用与智能体循环(agentic loop,含工具结果回传)、Claude API 的流式输出与视觉(图像 base64 输入)用法、LangChain LCEL 与 LlamaIndex 文档问答。

使用方式

资料通过代码示例展示使用方式,涉及的主要依赖与接口包括:torch、torch.nn、torch.utils.data、pytorch_lightning、transformers、peft、trl、openai、anthropic、langchain、llama_index、chromadb、pinecone、mlflow、fastapi、pgvector 等。向量数据库需要相应 API Key(如 PINECONE_API_KEY)。文档未提供统一的安装命令或安装步骤。

适用场景

适合需要构建和训练深度学习模型、微调大语言模型的开发者;适合实现 LLM 集成功能(对话、函数调用、结构化输出、工具调用)的应用开发;适合搭建 RAG 问答系统的场景;适合需要模型实验跟踪、版本管理与在线服务的 MLOps 流程。

限制

资料仅提供代码示例与技术选型参考,未说明各框架或服务的具体收费与价格,未提供统一的安装命令,也未给出效果指标或性能承诺。部分接口名称与模型名(如 claude-sonnet-5-5、messages.parse、output_config effort 等)来自资料原文,实际使用时需以对应服务的最新文档为准。资料未涵盖完整的部署配置细节。