EvalKit 是面向 AI 智能体的对话式评估框架，通过自然语言引导用户使用 Strands Evals SDK 创建评估。用户可直接说“为我的 QA 智能体创建评估计划”“生成边缘用例”“运行评估并展示结果”“分析结果并给出改进建议”。流程分四阶段：计划（解析智能体路径与评估要求，分析架构，定义评估领域与指标，写入 eval/eval-plan.md）；测试数据生成（生成 JSONL 用例，保存为 eval/test-cases.jsonl，并更新计划进度）；评估执行（创建 requirements.txt，用 uv 建虚拟环境并安装依赖，实现 eval/run_evaluation.py，运行实验，结果存入 eval/results/，并写 eval/README.md）；结果分析（分析结果并给出建议，生成 eval-report.md）。
约束：所有评估产物必须放在与目标智能体目录同级的 eval/ 文件夹内，不得嵌套在智能体目录中；须检查智能体目录存在、验证 Python 3.11+、在评估项目目录下使用相对路径、优先遵循用户要求。技术默认包括 Strands Evals SDK、Amazon Bedrock、JSON/JSONL、Python 智能体直接导入；核心组件为 Case、Experiment、OutputEvaluator、TrajectoryEvaluator、InteractionsEvaluator。实现前必须获取最新 Strands Evals SDK 文档：优先使用 context7；若不可用则必须停止并让用户安装 context7 MCP（@upstash/context7-mcp）或克隆源码：git clone https://github.com/strands-agents/evals strands-evals-source。资料未提供收费、价格、平台支持范围及独立安装命令，暂未提供。