用途:为 Claude 提供一套结构化诊断框架,用于识别、分类并修复 LLM 智能体软件中的缺陷。该框架源自对 Stack Overflow、GitHub 与 Hugging Face 论坛上 1187 份真实缺陷报告的研究,覆盖 LangChain、LangGraph、CrewAI、AutoGen、LlamaIndex、Semantic Kernel、Hugging Face Transformers Agents 及自研实现。
主要能力:按组件划分失效模式——Agent 核心(占全部缺陷 58%,负责 LLM 调用、提示构造与响应路由)、工具(外部集成,常表现为工具被静默忽略或参数模式不匹配)、规划(占无限循环的 66.6%)、记忆(占无状态交互缺陷的 57.1%)。每个缺陷沿三个维度分类:类型(11 种,如逻辑、配置、初始化、参数、解析、提示、API、引用、可用性、模型、资源限制)、根因(9 类,如 API 误用、参数缺失、数据格式错误、控制流缺失、指令错误、API 限制、组件不匹配、需求冲突、环境外部问题)与可观察现象(崩溃、错误输出、空响应、输出倾泻、无状态交互、部分输出、工具被忽略、慢输出、警告、挂起、不确定循环、资源过度占用、静默失败)。
使用方式:先识别可观察现象以缩小范围,再定位受影响组件,接着分类缺陷类型与根因,检查框架特有模式(如 LangChain 的 langchain-core 与 langchain-community 版本对齐、CrewAI 的 role/goal/backstory 格式、LangGraph 的节点与边定义),阅读完整错误堆栈,提出针对性修复,并补充一项防御性检查。
适用场景:智能体崩溃或报错、返回空响应或忽略工具、多步推理中陷入死循环或挂起、LLM 输出解析失败、框架升级后原有代码失效、对话上下文丢失,以及主动审查智能体代码以提前发现常见缺陷模式。
限制:分类法基于截至 2025 年初的缺陷报告,多智能体协作与长时运行工作流等新类别可能尚未覆盖;框架特有模式对 LangChain 与 CrewAI 最可靠;非确定性缺陷较难分类;不涵盖提示质量导致的“可用但无益”行为,也不涵盖底层 LLM 自身的幻觉或指令遵循失败。参考论文:arXiv:2601.15232v1。