SuperAPI AI 工具集

qai-consultant

QAI Consultant 是一个开源 AI 智能体,扮演资深 QA 架构师角色。它基于 ISTQB、OWASP、IEEE、ISO 26262、A-SPICE、ISO/IEC 25010 及欧盟 AI 法案等 QA 标准,通过 RAG 从简单项目描述自动生成测试策略、风险登记册、工作量估算报告和测试计划,并提供确定性的 QA 文档质量评审、测试结果分析和 QA 成熟度评估。支持 Streamlit Web UI、CLI 和本地 MCP 服务器(供 Claude Code、Claude Desktop 等 MCP 客户端使用)。

访问官网

工具介绍

QAI Consultant 是一个开源 AI 智能体,定位为资深 QA 架构师,旨在解决从零创建测试策略耗时且需要深厚 QA 专业知识的问题。它结合成熟的 QA 方法论、行业标准(ISTQB、OWASP、ISO 26262、A-SPICE)和专家知识,通过 RAG(检索增强生成)自动生成 QA 文档。

主要能力:

  • 从 11 个问题的项目发现对话中,自动生成四份文档:测试策略、风险登记册、工作量估算报告和测试计划。
  • 在四个输出标签页上方提供执行摘要(Executive Readout),确定性汇总整体风险、QA 工作量范围、团队容量、置信度和前三大风险,无需额外 LLM 调用。
  • 确定性 QA 文档质量评审:基于 ISTQB/IEEE-829 评分标准评审现有测试计划/策略/测试用例列表,可选 AI 叙述。
  • 测试结果分析:从 JUnit XML/CSV 中提取不稳定、持续失败、最慢、失败聚类等指标,将风险登记册建立在真实执行数据上。
  • QA 成熟度评估:确定性 TMMi 过程成熟度信号(10 个过程域,指示级别 1-3),以及针对 AI/ML 项目的欧盟 AI 法案第 9-15 条就绪度评分。
  • 所有输出保存为 Markdown 文件,并可下载 PDF。

知识基础:

  • ISTQB:14 个认证大纲(CTFL、CTAL-TA、CTAL-TM、CTAL-TAE、CT-AI 等)
  • OWASP:WSTG v4.2、MASTG、Top 10 2021
  • ISO 26262:汽车功能安全(ASIL 等级、HARA、V&V)
  • A-SPICE:汽车 SPICE 过程参考模型(SWE.4、SWE.5、SWE.6)
  • IEEE 829:测试文档标准
  • ISO/IEC 25010:软件产品质量模型
  • 欧盟 AI 法案:风险层级、提供者/部署者义务、第 50 条透明度、第 9-15 条测试影响
  • 测试方法论:敏捷、BDD/TDD、探索性、基于风险的测试、测试金字塔
  • 审计与过程评估:TMMi、CMMI、ISO/IEC 33002、ISO 19011、OWASP ASVS、ISO 27001、SOC 2,以及公开失败案例研究(Knight Capital、Boeing 737 MAX MCAS、CrowdStrike 2024)
  • AI 测试规划:17 个真实 AI SDLC 案例研究(2024-2025)
  • 专家知识:来自实践者的真实 QA 场景和经验教训

使用方式:

  • 在线应用:quality-ai-consultant.streamlit.app(无需设置)
  • 本地运行:需参考 INSTALL.md,需要四个 API 密钥(均有免费层),LLM 调用使用 Mistral API(ministral-14b-2512)作为主要提供者,OpenRouter 免费模型(Nemotron 3 Super → GLM 5.2)作为自动回退。
  • MCP 服务器:uvx qai-consultant-mcp,无需 API 密钥和 Pinecone,本地运行,通过 stdio 通信(需要 uv)。可在 Claude Desktop 的 claude_desktop_config.json 中配置。提供提示词:qa_project_interview、risk_register_structure、test_strategy_structure、test_plan_structure,以及工具:retrieve_qa_knowledge、review_qa_document、analyze_test_results、assess_qa_maturity。
  • CLI:支持 --review、--results、--maturity 等参数。

适用场景:

  • 需要结构化测试策略指导的 QA 工程师
  • 需要工作量估算和资源规划的工程经理
  • 没有专职 QA 架构师的开发团队
  • 希望加速交付的 QA 顾问

限制与注意事项:

  • 云托管版本依赖 Mistral API 和 Pinecone,需要 API 密钥。
  • MCP 服务器本地运行,但知识库中的 ISTQB 和 OWASP PDF 因许可原因未捆绑。
  • 匿名使用遥测默认开启(自 v3.7.0 起),可通过 QAI_TELEMETRY=0 或 DO_NOT_TRACK=1 关闭;仅发送工具名称/成功/持续时间/类别、版本和操作系统家族,使用每次服务器运行随机生成且不存储的 ID,不发送查询文本或项目细节。
  • 提交的文本可能被 LLM 提供者记录并用于训练。
  • 公开应用有服务器端每日生成限制(全局每日上限和每位访客上限,以及每会话 3 次运行上限)。
  • 项目采用 Apache 2.0 许可证。
  • 版本历史显示持续迭代,最新版本为 v3.6.2,主要模型切换为 Ministral 14B,输出预算提升至 6,500 tokens。