SuperAPI AI 工具集

quality-flywheel

测试与质量

查看项目

更新于 10-15 21:54

技能介绍

用途:Quality Flywheel 是面向 GenAI 评估的专家技能,帮助用户使用 Google GenAI Evaluation SDK(google.genai / vertexai)评估并迭代改进模型与智能体。适用场景包括:用 client.evals.evaluate() 评估智能体或模型、创建合成数据集或导入会话轨迹、选择配置或编写自定义评估指标、分析评分与失败模式、根据评估结果提出代码或提示改进建议。

主要能力:支持单轮模型评估(EvalCase 加 prompt,可用 client.evals.run_inference 填充模型响应)与多轮智能体评估(AgentData、ConversationTurn、AgentEvent)。缺少多轮数据时,可用 client.evals.generate_user_scenarios 生成场景,并用 run_inference 配合 user_simulator_config 模拟交互至 max_turn。指标方面提供预定义 RubricMetric(服务端 AutoRater,无需评审模型)、自定义 LLM-as-a-judge(LLMMetric 或 MetricPromptBuilder)以及自定义代码指标(CodeExecutionMetric 远程沙箱,或 Metric 本地执行)。

使用方式:先获取 GCP Project ID 与 Location(检查 GOOGLE_CLOUD_PROJECT、GOOGLE_CLOUD_LOCATION,缺失则询问用户;较新 Gemini 模型可能仅 global 区域可用)。随后按工作流:创建并格式化数据集、选择或定制指标、生成并执行完整 Python 评估脚本(client.evals.evaluate(dataset=..., metrics=...)),脚本需以可解析格式(JSON)打印结果。再读取 stdout/stderr,仅分析实际返回的 summary_metrics 与 eval_case_results,进行损失模式分析,提出具体改进,然后复测并对比迭代。

限制与规则:不得编造分数或结果,只能分析脚本实际返回内容;写脚本前先输出计划,逐步执行而非一次完成;使用标准 Python 导入,不确定 SDK 类型或指标时应查源码而非猜测;执行报错需分析、修复并重跑。官方资料未提供具体收费、价格、平台支持范围或效果保证等信息。