SuperAPI AI 工具集

nemotron-retrieval-recipes

部署与运维

查看项目

更新于 10-16 04:33

技能介绍

用途:该技能用于处理公开的 Nemotron 嵌入(embed)与重排序(rerank)检索配方,适用于源码检出或已安装包。它将用户遇到的检索失败路由到正确的配方族,并给出具体的预览、执行和运行报告命令。

主要能力:区分嵌入与重排序两类配方;根据失败模式选择调优对象——相关文档未进入候选集时优先微调嵌入,相关文档已被检索但排名靠后时优先微调重排序;识别意图(规划运行、执行阶段、调试、调参、解读指标、导出/部署、检查配置、提出 dotlist 覆盖);在行动前检查当前公开接口(配方文件、CLI 文件、默认配置),并支持 dry-run 验证。

必要用法:使用 Bash 进行仓库范围内的检查、帮助、干跑和经用户批准的执行命令。常用命令包括 uv run nemotron <family> --help、uv run nemotron <family> <stage> --help、uv run nemotron <family> <stage> -c default -d、uv run nemotron <family> run -c default -d --from <stage> --to <stage>。优先使用 dotlist 覆盖而非编辑默认配置。若指定 GPU ID,需为每个阶段命令设置 CUDA_VISIBLE_DEVICES=<ids>。

前置条件:仓库环境需 uv sync --all-extras 或最小相关 extra;Stage 0 SDG 需 NVIDIA_API_KEY;Stage 1-4 GPU 工作需 CUDA/NVIDIA 驱动与足够显存;Stage 4 导出使用 TensorRT 时需 NeMo Export-Deploy 容器;Stage 5 部署需 Docker、NGC 访问与 NGC_API_KEY;远程执行需根 env.toml profile。

限制:除非用户明确要求,不应运行 API、GPU、Docker、Slurm、NIM 等长时任务;不提供数据集、检查点、凭证、GPU 容量、Docker 镜像或 NIM 服务;捆绑参考为精简快照,执行前需对照当前检出验证命令、标志、默认值和输出路径。