SuperAPI AI 工具集

signal-config

智能体与模型

查看项目

更新于 10-16 03:49

技能介绍

用途:Signal Config 为 agent 模拟实验生成 YAML 信号配置。信号即对一次 agent 运行的具名观察项,例如是否出现幻觉、token 数量、错误类型。配置声明信号、如何提取以及如何跨运行聚合。

主要能力:配置格式为 version: 1.0,包含三个顶层键:version、signals、aggregates。可定义信号类型(boolean、number、category)、提取方式(pattern、stats、llm)与作用域(run 或 message);message 作用域需加 fold 函数将逐消息值折叠为每次运行的标量;通过 aggregates 生成实验级指标。

使用方式:前置条件为安装 tpc CLI(tpc --version 检查),缺失时执行 curl -fsSL https://cli.promptingco.com/install.sh | bash;如需附加到实验需认证,执行 tpc auth login,可用 tpc auth whoami 检查。生成流程:先询问用户想测量的行为、指标或质量;为每个测量确定信号类型、提取方式与作用域;必要时加 fold;添加 aggregates;用生成清单与 tpc sim experiment validate-signal-config 校验并循环修复错误;将校验通过的配置写入文件。触发关键词包括生成信号配置、创建信号、编写信号 YAML、追踪特定指标(幻觉、token 用量、错误、拒绝、模糊表述)、为模式/LLM 评判/内置统计设置提取、配置跨运行聚合、测量不同环境下的 agent 行为差异。

适用场景:定义 agent 模拟实验中要追踪哪些信号、如何从运行中提取、如何跨运行聚合的场合。

限制:生成前必须先明确用户想测量的内容;应从回答用户问题所需的最少信号开始,避免过度埋点;内置指标(tokens、duration、cost)优先用 stats,正则可检测项优先用 pattern,仅在需要语义理解时才用 llm;生成的每个配置必须通过工作流文件中的生成清单校验。资料未提供 config 的完整字段细节与更多限制说明。