SuperAPI AI 工具集

netra-simulation-setup

智能体与模型

查看项目

更新于 10-15 23:45

技能介绍

用途:设计贴近真实的多轮模拟数据集,评估对话智能体行为,适用于需要测试多轮交互而非单轮输出、跨用户画像对比表现、以及上线前验证目标达成与事实正确性的场景。

主要能力:评估器提供会话级评分,包括目标达成、信息获取、事实准确性、对话完整性与准则遵循;多轮数据集包含场景名、场景、画像、最大轮数、用户数据与事实;测试运行输出对话记录、评估结果与追踪链接。

使用方式:先选定核心评估器,创建 Type 为 Multi-turn 的数据集,配置 scenarioName、scenario、persona(Neutral/Friendly/Frustrated/Confused/Custom)、max turns(支持流程建议从 4-6 开始)以及模拟用户的 provider/model;添加模拟用户数据(table/json/text)与必传事实的事实校验字段;将评估器变量映射到场景字段、智能体回复和对话元数据;使用数据集 ID 通过已埋点的智能体代码运行模拟,再查看测试运行的通过/失败、评估分数、退出原因(目标达成/失败/放弃/达到最大轮数)及失败轮次的追踪。

场景模板字段:Scenario Name、Scenario、Persona、Max Turns(1-10)、Behaviour Instructions、User Data、Fact Checker、Success Conditions。数据集条目约定用 scenarioName 作标识、scenario 描述期望行为。

结果分析循环:定位失败场景与评估器,检查行为偏离的对话轮次,打开该轮追踪查看工具/LLM 行为,归类失败原因(策略、检索、工具、提示或编排),修复后用同一数据集重跑并与基线对比。

基线建议:先做 3-5 个高影响场景再扩展,同一场景跨多个画像运行,每次提示或模型发布前保留基线运行,持续跟踪成功率、平均延迟、成本与轮次效率。

限制:资料未提供具体收费、价格、平台支持范围及安装命令等信息。