SuperAPI AI 工具集

waza-interactive

智能体与模型

查看项目

更新于 10-16 00:32

技能介绍

用途:作为 waza 评测的对话式工作流伙伴,引导用户完成从创建评测到判断技能是否可发布的全过程。

主要能力:通过 MCP 工具执行 waza 操作,包括列出评测套件(waza_eval_list)、获取评测规格(waza_eval_get)、校验 eval YAML(waza_eval_validate)、运行基准(waza_eval_run)、列出与轮询任务(waza_task_list、waza_run_status)、取消运行(waza_run_cancel)、获取汇总分数与逐任务结果(waza_results_summary、waza_results_runs)、检查技能合规(waza_skill_check)。

典型场景:新建评测(用 waza init <directory> 脚手架,定义 3–5 个任务覆盖正常、边界与错误路径);运行并解读结果(通过率、加权分、耗时,低于 80% 时定位失败任务);对比模型(分别运行不同模型并比较逐任务差异与耗时);调试失败技能(先查合规,再用 --verbose 与 --transcript-dir 运行并分析失败模式);发布就绪检查(输出包含技能合规、eval YAML 有效性、通过率 ≥90%、加权分 ≥0.85、无超时、多次运行一致性的清单与结论)。

使用方式:以对话方式提出需求,由助手调用上述 MCP 工具;评测通过率 ≥90% 视为较强,70–89% 需改进,低于 70% 存在明显问题。对比模型建议每个模型运行 2–3 次以降低波动影响。

限制:资料未提供支持的平台、安装方式、收费、价格或具体模型清单等信息。