SuperAPI AI 工具集

llm-debugger

智能体与模型

查看项目

更新于 10-16 03:16

技能介绍

LLM Debugger 是一个面向 LLM 输出失败的诊断与修复工具,来源为 patricio0312rev/skillset。其核心是把失败归类到明确的失败分类中,包括幻觉、格式违规、约束破坏、推理错误、工具误用、意外拒绝和输出不完整,并据此给出根因分析。

主要能力包括:诊断函数会检查输出是否为合法 JSON、是否缺少必需字段、是否超出长度约束,以及是否包含常见的幻觉标记;提示词修正按失败类型提供不同指令模板,例如强制 JSON 格式、要求基于上下文回答、限定字数与风格、要求逐步推理;工具 schema 改进可将参数标记为 REQUIRED 并补充示例,以减少工具误用;测试用例生成会从失败输入创建回归测试,覆盖同类失败与相似输入。

使用方式上,调用 debug_llm_output 传入 prompt、output 和 expected,即可获得诊断、修正后的 prompt、修正是否验证通过、测试用例与建议;也可使用交互式调试模式逐步输入提示词与预期输出。最佳实践强调多次运行以稳定复现、每次只改一个变量、检查少样本示例是否清晰、确保约束足够明确、测试边界条件并记录输入输出与问题。

限制方面,资料中部分函数如 llm、has_same_issue、is_valid_json、generate_similar_inputs、generate_recommendations 未给出完整实现,需使用者自行补充;幻觉检测依赖正则标记,覆盖范围有限。具体收费、安装命令与平台信息暂未提供。