SuperAPI AI 工具集

nemo-relay-instrument-calls

编程与开发

查看项目

更新于 10-16 02:34

技能介绍

用途:当应用已自有工具函数或模型/服务商调用点,需要按 NeMo Relay 的方式运行这些调用,并在保持原有可调用行为稳定的同时加入 Relay 生命周期捕获时使用本技能。

主要能力:在自然的智能体、请求、工作流或图边界外放置作用域;优先使用受管执行 API,Rust 为 tool_call_execute(ToolCallExecuteParams::builder()...)、llm_call_execute(LlmCallExecuteParams::builder()...),Python 为 tools.execute(...)、llm.execute(...),Node.js 为 toolCallExecute(...)、llmCallExecute(...),Go 为 tools.Execute(...)、llm.Execute(...) 或顶层包装器。工具调用是带 JSON 兼容参数的命名操作,业务逻辑仍由原工具可调用对象负责,Relay 管理生命周期事件、中间件与元数据。LLM 调用使用由元数据加内容构成的 LLMRequest,必要时传入模型名与稳定调用标识。

运行时语义:受管工具与 LLM 执行先在原始输入上运行条件执行护栏,若被拒绝则发出独立 mark 事件,不运行请求拦截或可调用对象。请求拦截在条件护栏之后运行,改写真正到达执行拦截与回调的输入。清理请求护栏只影响发出的开始事件负载,不改写调用方可见的请求或参数。执行拦截以中间件 next 模式包裹回调,可通过返回自身结果短路。清理响应护栏只影响发出的结束事件负载,应用代码得到的仍是原始回调或执行拦截结果。若开始事件发出后执行失败,仍会发出不带语义输出负载的结束事件。

用法与限制:仅当宿主框架无法被受管执行辅助包装时,才使用手动生命周期 API,此时每个 start 调用都需要匹配的 end 或错误路径并显式提供语义负载。request_intercepts(...)、conditional_execution(...) 等部分中间件 API 面向高级适配器。流式 LLM 包装器收集分块并在流结束时完成响应,过早丢弃流可能导致终结器与订阅者看不到完整输出。若跨线程或异步任务跳转,需要处理上下文传播。建议先确定作用域边界,再包裹工具函数与 LLM 调用,并附加可选元数据、属性或模型名。相邻任务应改用其他技能,如可观测性与导出、运行时集成调试、上下文隔离、插件构建等。

资料未提供具体安装命令、配置示例、收费与价格信息。