用途:nnsight 用于解释与操纵神经网络内部结构,支持任意 PyTorch 模型。核心特点是“一次编写,随处运行”:同一份代码可本地跑小模型,也可通过 NDIF 远程跑 70B+ 大模型,只需设置 remote=True。
主要能力:通过 LanguageModel 包装器加载 HuggingFace 模型;使用 model.trace() 追踪上下文收集计算图;用 Proxy 对象记录对模块输出、注意力等的访问与修改,并用 .save() 保存结果供上下文外读取。支持激活分析、激活补丁、跨提示激活共享、梯度分析(标准执行下)。支持任意架构(Transformers、Mamba、ViT、CLIP、自定义 nn.Module)。
使用方式:安装 pip install nnsight,vLLM 支持用 pip install "nnsight[vllm]"。远程执行需在 login.ndif.us 注册获取 API key,并设置 NDIF_API_KEY 或 CONFIG.API_KEY。远程追踪可加 remote=True 和 timeout 参数;生成干预用 tracer.invoke() 与 model.generate()。
适用场景:需要研究超出本地 GPU 能力的大模型内部、跨架构可解释性实验、多 token 生成干预、在不同提示间共享激活;若只需跨模型一致 API 可选 TransformerLens,声明式可分享干预可选 pyvene,训练 SAE 可选 SAELens。
限制:梯度访问不支持 vLLM 或远程执行;远程操作可能超时;保存大量激活会占用内存;不同模型模块路径不同,需先确认结构。分类归入智能体与模型。文中涉及的费用、价格、平台与效果等细节暂未提供。