SuperAPI AI 工具集

llm-ops

智能体与模型

查看项目

更新于 10-16 08:05

技能介绍

用途:LLM-Ops 聚焦把 AI 原型变成可运营的生产产品,涉及 RAG、embedding、向量数据库、fine-tuning、高级提示工程、LLM 成本、质量评估与生产级 AI 架构。

主要能力:完整的 RAG 架构(文档→分块→embedding→向量库;查询→语义检索→Top K→LLM 生成回答);文档分块与索引管线;向量数据库选型(Chroma 本地开发免费、pgvector 复用 PostgreSQL、Pinecone 托管生产、Weaviate 多模态、Qdrant 高性能);pgvector 建表与 ivfflat 索引、余弦相似度检索示例;提示词结构(身份、规则、能力、限制、个性化)与 Chain-of-Thought 分析;语义缓存以相似度阈值命中历史回答;按模型输入输出价格估算月度成本;基于模型的响应质量评估框架,输出 0-10 分与理由的 JSON。

使用方式:提供命令包括 /rag-setup(配置完整 RAG 管线)、/embed-docs(索引文档到向量库)、/prompt-optimize(优化提示质量与成本)、/cost-estimate(估算月度 LLM 成本)、/eval-run(运行质量评测套件)、/cache-setup(配置语义缓存)、/model-select(选择适用模型)。资料未提供安装命令。

适用场景:实现 RAG、创建 embedding 管线、使用 Pinecone/Chroma/pgvector、微调、提示工程、降低 LLM 成本、评测、语义缓存、流式输出与智能体。

限制:不适用于与 LLM 运维无关的任务,或可由更简单专用工具处理的请求,也不适合仅需通用协助而无领域经验的场景。应用建议前应结合自身项目上下文审阅,避免在未理解具体环境时直接用于生产代码。资料中未提供官方安装方式、收费或额外平台信息,暂未提供。