SuperAPI AI 工具集

nemo-relay-tune-adaptive-hints

智能体与模型

查看项目

更新于 10-16 02:34

技能介绍

用途:当自适应插件已配置完成,应用需要消费自适应输出(模型请求提示、并行指导、ACG 诊断)时使用本技能。若需首次设计自适应上线或从零配置插件,应先用 nemo-relay-tune-performance 或 nemo-relay-tune-adaptive-config。

主要能力:处理注入到外发模型请求的 adaptive_hints 元数据;延迟敏感度与请求本地指导;并行组或工具并行指导;上线期间的 Adaptive Cache Governor 报告与诊断。

提示语义:自适应提示属于请求拦截行为,可把元数据注入配置的 header 或 body 路径,默认 body 路径为 nvext.agent_hints。提示配置包含 priority、break_chain、inject_header、inject_body_path,priority 值越小越早执行。工具并行可运行于 observe_only、inject_hints 或 schedule;在理解工具幂等性与竞态行为前应使用 observe_only。ACG 输出是提供商特定的提示缓存规划指导;缓存规划不稳定时可增加样本、提高稳定性阈值或切换为 passthrough。set_latency_sensitivity(...) 是请求本地执行提示,不是持久化自适应配置。正常自适应运行时行为应来自显式配置对象,而非环境变量;NEMO_RELAY_ACG_DEBUG 用于缓存治理诊断,NEMO_RELAY_RUN_REDIS_TESTS 用于 Redis 后端测试。

默认路径:确认自适应遥测与配置校验正常;确定提示在所选绑定中注入或暴露的位置;除非消费 API 定义了更强语义,否则保持提示为建议性;测试无预测或提示时的行为;启用提示后与基线对比应用输出;仅在理解幂等性与竞态行为后,才从提示升级到调度。

需避免的失败模式:不要让应用正确性依赖预测存在;不要在没有运行时证据时用自适应提示隐藏行为变化;不要为非幂等或顺序敏感工具启用调度;不要在未检查其他请求拦截的情况下调整拦截优先级。

相关技能:nemo-relay-tune-performance、nemo-relay-tune-adaptive-config、nemo-relay-debug-runtime-integration。