用途:当用户想测试另一款 LLM 模型如何处理现有 Agentforce 智能体会话时,执行此离线实验工作流。它从 Data Cloud STDM 获取会话轨迹,通过 SFAP AI Gateway REST API 重放提示(含结构化工具调用),并按四项指标评分:话题一致性、函数名准确率、函数参数准确率(LLM 评判)、文本回复质量(LLM 评判),最终生成 CSV 与 HTML 报告,附带 SAFE/REVIEW/UNSAFE 判定徽标。
主要能力:按依赖顺序提供读、校验、写操作。读操作包括 discover-data-space、verify-stdm-availability、discover-agents、resolve-agent-label、list-available-models、find-sessions、get-conversation-details、get-llm-step-details;校验操作 obtain-sfap-token;读操作 replay-turn-prompts、score-exact-matches、judge-function-args、judge-text-responses;写操作 generate-csv-report、generate-html-report。
使用方式:工作流为 discover-data-space → verify-stdm-availability → discover-agents → resolve-agent-label → list-available-models(如需帮助选模型)→ find-sessions → get-conversation-details → get-llm-step-details → obtain-sfap-token → replay-turn-prompts → 三项评分(可并行)→ generate-csv-report → generate-html-report。工作流门禁:在确认组织别名(自动从已认证组织发现)、智能体 API 名称(自动从 STDM 发现)与目标模型 ID(需询问用户)之前,不得越过阶段 0。目标模型 ID 使用 llmgateway__ 前缀。
前置条件:组织已预配并启用 Data Cloud;Data Cloud 中 Agentforce Activity 数据流已激活;组织已配置 Einstein LLM / GenAI Gateway;用户对目标组织有已认证会话。
限制:SFAP JWT 约 2 小时后过期,20 个以上会话重放需在批次间刷新令牌。每次 SFAP 重放调用约 1–3 秒,建议控制在 20 个会话以内,预计运行 10–30 分钟(10 个会话)。精确匹配评分瞬时完成,LLM 评判每轮增加约 1–2 秒。部分操作状态为 proposed(提议中),另有一些标记为 implemented(已实现)。收费、价格与具体部署细节暂未提供。