用途:这是 Google ADK 的评估指南,用于指导如何对 ADK 智能体运行评估并迭代改进。若项目由 /adk-scaffold 生成,已含 make eval、tests/eval/evalsets/ 与 tests/eval/eval_config.json,可从 make eval 开始;否则直接用 adk eval。
主要能力:覆盖 8 项评估指标,包括 tool_trajectory_avg_score、response_match_score、final_response_match_v2、rubric_based_final_response_quality_v1、rubric_based_tool_use_quality_v1、hallucinations_v1、safety_v1 等,支持匹配类型、自定义指标与评判模型配置。提供 evalset 结构(eval_set_id、eval_cases、conversation、intermediate_data.tool_uses、session_input.state 等)与 eval_config.json 配置示例。
使用方式:运行 make eval EVALSET=tests/eval/evalsets/my_evalset.json,或 adk eval ./app <evalset.json> --config_file_path=<config.json> --print_detailed_results;可指定用例 adk eval ./app my_evalset.json:eval_1,eval_2,或用 --eval_storage_uri 存到 GCS。评估集管理用 adk eval_set create 与 adk eval_set add_eval_case。
适用场景:回归测试与 CI/CD、语义响应正确性、无参考答案的响应质量、工具使用推理、幻觉检测、安全合规、多轮对话与多模态输入评估。
限制与注意:评估是迭代过程,通常需 5-10 次以上;多轮对话需为每一轮指定 tool_uses;App 名称必须与目录名一致,否则报 Session not found;session_input.state 会覆盖 Python 初始化,注意类型匹配;启用 thinking 的模型可能跳过工具调用;google_search 等模型内置工具会导致轨迹指标失效。更多细节见 references/criteria-guide.md、user-simulation.md、builtin-tools-eval.md、multimodal-eval.md。