SuperAPI AI 工具集

llm-integration

智能体与模型

查看项目

更新于 10-15 22:34

技能介绍

用途:把 LLM 集成到生产应用,提供函数调用、流式响应、本地推理、微调、上下文优化、评估与提示工程的可复用规则,每条规则在 rules/ 下按需加载。

主要能力:函数调用(严格模式 schema、并行执行、输入校验);流式(SSE 端点、结构化流式、背压处理);本地推理(Ollama 安装、模型选择、GPU 优化);微调(LoRA/QLoRA、数据集准备、评估);上下文优化(窗口管理、压缩、缓存);评估(LLM-as-judge、RAGAS、质量门禁);提示工程(CoT、few-shot、版本管理、DSPy 优化、ReAct)。

用法示例:函数调用使用 strict: true 工具定义;流式用 FastAPI 返回 EventSourceResponse;本地推理用 ChatOllama(model="deepseek-r1:70b", base_url="http://localhost:11434");微调用 Unsloth 的 FastLanguageModel.from_pretrained(...) 与 get_peft_model(model, r=16, lora_alpha=32)。

关键取舍:工具链上先放约 5-15 个,其余通过非延迟搜索工具配合 defer_loading: true;流式协议 Web 用 SSE、双向用 WebSocket;缓冲区 50-200 tokens;本地模型推理选 deepseek-r1:70b、编码选 qwen2.5-coder:32b;微调优先 LoRA/QLoRA,先尝试提示工程;LoRA 秩 16-64,训练 1-3 轮;上下文压缩用锚定迭代(60-80%),触发阈值 70%、目标 50%;质量阈值生产 0.7、草稿 0.6。

限制:需先穷尽提示工程与 RAG 且拥有 1000+ 高质量样本才建议微调;部分工具变更能力为特定厂商 API 测试特性;具体收费、价格与效果数据资料未提供。