SuperAPI AI 工具集

nemo-relay-tune-performance

智能体与模型

查看项目

更新于 10-16 02:34

技能介绍

用途:当应用已完成 NeMo Relay 基线埋点,并希望依据运行时信号改善延迟、并行度、提示缓存行为或模型请求行为时使用本技能。若应用尚未埋点,应先使用 nemo-relay-instrument-calls 或 nemo-relay-start。

主要能力:通过第一方插件组件 kind adaptive 配置自适应行为,依赖已有的 NeMo Relay scope、受管工具或 LLM 调用及生命周期事件。主要配置领域包括 state、telemetry、adaptive hints、工具并行度、Adaptive Cache Governor(ACG)与 rollout policy。状态后端有 in_memory 和 redis;工具并行度模式有 observe_only、inject_hints、schedule;ACG 提供方有 passthrough、anthropic、openai,未需要提示缓存规划时可省略 ACG。辅助 API 存在于 Rust nemo_relay_adaptive、Python nemo_relay.adaptive、Node.js nemo-relay-node/adaptive;Go 与原始 FFI 属于源码优先或高级接口。

使用方式:先确认应用已发出预期的 scope、工具与 LLM 事件;捕获目标工作流的基线;以内存状态启用自适应遥测;运行代表性流量并查看报告或运行时事件;选择一个调优面(hints、工具并行度或 ACG);在配置中启用最小的行为变更;与基线对比并保留回滚路径。默认原则是先观察、对比基线,再一次只启用一项行为变更,优先使用自适应插件组件而非自建调优逻辑或逐调用点手工注册。

适用场景:本地开发先用内存状态与仅遥测行为;仅当学习信号需跨重启保留或跨 worker 共享时才迁移到持久状态;在代表性运行时事件表明应变更什么之后,再添加主动行为。

限制与注意:工具幂等性与竞态行为未知前不要启用调度;提供方负载稳定前不要启用提示缓存规划;除非消费路径明确定义该契约,不要把自适应 hints 当作强制指令;不要用环境变量作为主要自适应配置模型;不要基于单次运行或非代表性流量调优。需要精确配置形态用 nemo-relay-tune-adaptive-config,需在应用逻辑中消费 hints 或调度指引用 nemo-relay-tune-adaptive-hints,需构建可复用插件行为用 nemo-relay-build-plugin。