用途:该技能面向生产级 LLM 应用与 AI 系统开发,适合在集成 LLM API、构建 RAG 系统、创建 AI 智能体、搭建向量数据库、优化 token 用量等场景使用。
主要能力:
- LLM 集成:通过 anthropic 客户端调用消息接口,示例使用 model="claude-sonnet-4-20250514"、max_tokens 与 system 参数,并用 tenacity 的 @retry(stop=stop_after_attempt(3), wait=wait_exponential(min=1, max=10)) 做重试与错误处理。
- 结构化输出:将 schema 与文本拼入提示词,要求仅返回有效 JSON,再用 json.loads 解析。
- 文档处理:使用 langchain 的 RecursiveCharacterTextSplitter,参数 chunk_size=1000、chunk_overlap=200,分隔符为 ["\n\n", "\n", ". ", " "]。
- 向量存储:使用 qdrant_client,可连接本地内存或 url="http://localhost:6333",创建集合 vectors_config=VectorParams(size=1536, distance=Distance.COSINE),并支持 upsert 与 search。
- RAG 问答:先向量检索 top_k(默认 5)条相关片段,拼接上下文后交给 LLM 生成答案。
- 成本优化:缓存高频查询、简单任务用更小模型、尽量批处理请求、按功能跟踪 token 用量、合理设置 max_tokens。
使用方式:按需组合上述代码模式——先配置 LLM 客户端并加入重试,再对文档分块并生成嵌入写入向量库,检索后拼上下文调用对话函数;结构化抽取时约定 JSON schema 并解析返回。
适用场景:为应用添加 AI 对话、基于文档的问答、信息抽取与智能体功能。
限制:资料未提供具体的定价、模型可用性、部署环境要求或效果指标;示例依赖 anthropic、tenacity、langchain、qdrant_client 等外部库,嵌入函数 embed 在资料中未给出实现,需自行补充。生产使用前应结合自身数据与合规要求验证。