transformer-lens-interpretability
TransformerLens 是面向 GPT 类语言模型机制可解释性研究的标准库，由 Neel Nanda 创建、Bryce Meyer 维护。它通过 HookedTransformer 在每一层激活上提供 HookPoint，让研究者能够检查并干预 Transformer 内部状态。主要能力包括：缓存中间激活（残差流、注意力输出、MLP 输出、注意力模式、Q/K/V 向量等）；激活修补与因果追踪实验；注意力模式与信息流分析；电路分析（如归纳头、IOI 电路）；直接 logit 归因。支持 GPT-2、LLaMA、Pythia、Mistral、phi、qwen、opt、gemma 等 50 多个模型，并可与 SAELens 集成做稀疏自编码器分析。安装方式为 pip install transformer-lens。该库面向机制可解释性研究，不适用于非 Transformer 架构（可考虑 nnsight 或 pyvene）、训练稀疏自编码器（用 SAELens）或超大规模模型远程执行（用 nnsight 配合 NDIF）。