SuperAPI AI 工具集

verify-samples-tool

智能体与模型

查看项目

更新于 10-16 00:30

技能介绍

用途:verify-samples 是 dotnet/eng/verify-samples/ 下的自动化工具,用于运行 Agent Framework 仓库中的示例项目,并验证其输出。适用于新增、更新或运行示例验证时。

主要能力:支持运行全部示例、按类别(如 02-agents、03-workflows)或按名称运行指定示例;可控制并行度(默认 8);支持确定性检查(MustContain、MustNotContain)与 AI 验证(ExpectedOutputDescription);可输出日志、CSV 和 Markdown 摘要;自动检查并跳过缺少环境变量的示例。

使用方式:默认需先构建解决方案,再运行工具。构建命令:cd dotnet 后执行 dotnet build agent-framework-dotnet.slnx -f net10.0。运行示例:dotnet run --project eng/verify-samples -- --log results.log --csv results.csv。可按类别运行:--category 02-agents;按名称运行:直接列出示例名;控制并行:--parallel 8;运行中构建:--build(可能因并行构建产生冲突,需谨慎)。

环境变量:工具自身需要 AZURE_OPENAI_ENDPOINT,AZURE_OPENAI_DEPLOYMENT_NAME 可选(默认 gpt-5-mini)。各示例可能还需自己的环境变量,如 FOUNDRY_PROJECT_ENDPOINT。

输出文件:--log 生成逐示例详细日志;--csv 生成表格摘要;--md 生成 Markdown 摘要,适合 GitHub PR 评论。

示例定义:在对应配置文件中以 SampleDefinition 定义,关键属性包括 Name、ProjectPath、RequiredEnvironmentVariables、OptionalEnvironmentVariables、SkipReason、MustContain、MustNotContain、IsDeterministic、ExpectedOutputDescription、Inputs、InputDelayMs。类别在 VerifyOptions.cs 的 s_sampleSets 中注册。

限制:默认需预构建;--build 可能冲突;SkipReason 仅用于结构性问题(如不退出、多进程、需外部基础设施),不用于缺少环境变量;交互式示例需提供 Inputs 并设置 InputDelayMs;AI 验证描述应语义灵活,避免精确措辞。具体收费、平台等信息暂未提供。