用途：TransformerLens 是面向 GPT 类语言模型的机制可解释性研究工具，用于逆向分析模型学到的算法、执行激活补丁（因果追踪）、研究注意力模式与信息流、分析电路（如 induction heads、IOI 电路）、缓存并检查中间激活、应用直接 logit 归因。由 Neel Nanda 创建，Bryce Meyer 维护，代码仓库为 TransformerLensOrg/TransformerLens。
主要能力：核心类 HookedTransformer 在每层激活上提供 HookPoint；支持 50+ 模型（GPT-2、LLaMA、EleutherAI、Mistral、phi、qwen、opt、gemma 等）。通过 model.run_with_cache 缓存激活，可访问 resid_pre、resid_mid、resid_post、attn_out、mlp_out、pattern、q、k、v 等键。内置 patching 模块支持激活补丁；get_head_contribution 等方式做直接 logit 归因；可用注意力模式检测 induction heads。
使用方式：安装 pip install transformer-lens，开发版 pip install git+https://github.com/TransformerLensOrg/TransformerLens。典型流程为 from transformer_lens import HookedTransformer 加载模型，再调用 run_with_cache 或 run_with_hooks 与 fwd_hooks 进行干预。门控模型需设置 HF_TOKEN 环境变量。可用 names_filter 选择性缓存以节省内存。与 SAELens 集成可进行稀疏自编码器分析。
适用场景：机制可解释性研究、电路发现、注意力与信息流分析、激活补丁实验。
限制：面向 transformer 架构；非 transformer 架构建议用 nnsight 或 pyvene；训练或分析稀疏自编码器用 SAELens；超大规模模型远程执行用 nnsight 与 NDIF；更高层因果干预抽象用 pyvene。需注意 hook 调试后要 reset_hooks，分词可能不一致，分析时需考虑 LayerNorm，大模型注意显存。v2.0 移除 HookedSAE（迁至 SAELens），v3.0 alpha 提供 TransformerBridge。