nnsight-remote-interpretability
nnsight 是一个用于解释和操控神经网络内部结构的 Python 库,支持任意 PyTorch 模型,并可通过 NDIF 远程执行在 70B+ 大模型上运行相同的解释性代码。它提供延迟执行的 trace 上下文、代理对象和激活保存机制,支持激活分析、激活修补、跨提示激活共享和基于梯度的分析等实验。用户只需切换 remote=True 即可在本地小模型与远程大模型之间复用代码。安装方式为 pip install nnsight,远程执行需在 login.ndif.us 注册获取 API 密钥。