SuperAPI AI 工具集

eval-driven-dev

编程与开发

查看项目

更新于 10-15 21:52

技能介绍

用途:为 Python 大语言模型应用建立自动化评估流水线,像真实用户一样端到端运行应用,再用评估器打分并给出通过/失败结果。测试对象是应用代码本身(请求处理、上下文组装、路由、响应格式化),而非模型。

主要能力:先分析项目与入口点、定义评估标准;在数据边界加 wrap() 埋点以注入受控输入并捕获输出;编写 Runnable 让评测框架调用真实入口;捕获参考 trace;定义评估器(内置、agent 评估器或自定义函数);构建数据集;运行 pixie test;最后分析结果并产出行动方案。

使用方式:先激活项目虚拟环境,再运行技能资源中的 setup.sh,它会更新技能与 pixie-qa 包、初始化 pixie 工作目录并后台启动 Web 服务器。随后按步骤 1–6 顺序执行,每步读取对应参考文件并产出检查点文件(如 pixie_qa/00-project-analysis.md、reference-trace.jsonl、datasets/<name>.json、results/<test_id> 下的分析文件)。

限制:应用自身的 LLM 调用必须走真实 LLM,禁止 mock、stub 或拦截;外部数据源可用埋点替换为测试值。缺少环境变量或配置、核心模块导入失败、入口点不明确时应停下求助;缺包、端口冲突、权限问题需自行解决。pixie-qa 未安装且安装失败、pixie init 或 pixie start 失败时必须停止。每个成功测试会生成独立 results 目录并开启新一轮分析,需先完成上一轮分析再改动或重跑。具体命令与完整代码示例以原始资料为准,此处未提供。