用途:为 AI 系统实现、LLM 集成、提示工程与生产环境部署提供工程指导,适合在用户提到 AI engineering、LLM、deployment、production 等场景时使用。
主要能力:
- LLM 集成与编排:统一客户端、多供应商回退、流式响应、函数/工具调用、上下文窗口管理。
- RAG:文档切分、嵌入、向量库(如 Chroma)索引,检索问答与相似度搜索。
- 提示工程:思维链、少样本示例、系统/用户消息设计与输出格式约束。
- 智能体:工具定义与转换、基于函数调用的多轮循环执行。
- 生产化:FastAPI 服务、限流、熔断、重试退避、日志监控、密钥环境变量管理与提示注入防护。
使用方式:文档以 Python 代码示例说明实现路径,涉及 openai、anthropic、langchain 等库,以及 FastAPI 与 circuitbreaker 的部署写法。对外提供 /chat 接口,支持 stream 与非流式返回。
限制与注意:需遵循最佳实践,避免无错误处理、无限流与成本控制、硬编码密钥、无监控日志、忽略 token 上限、不测试提示等反模式。关于收费、价格、具体平台与效果,资料暂未提供。