SuperAPI AI 工具集

neural-mechanism-research

写作与研究

查看项目

更新于 10-16 09:28

技能介绍

用途:解释神经架构与训练方法为何有效,说明计算实际使什么成为可能、学习如何发现它、解释有多可靠。读者应能重建小例子并预测设计改变后的结果。

主要能力:从真实问题出发,先引用用户原始表述并重建核心疑问;梳理少量关键因果关系,覆盖前向计算(输入、形状、参数、中间状态、输出)、几何与信息(投影、秩、基变换、非线性边界、混合、路由、压缩、不变性)、反向计算(从目标沿链式法则到参数,说明更新奖励或抑制什么)、学习动力学(初始化、对称破缺、特征学习、梯度冲突、饱和、条件数、优化噪声)、物理或动力学解释(仅在方程支持时使用能量、吸引子、扩散等语言)、工程与历史(区分有用归纳偏置与经验选择、实现便利、资源权衡或历史惯例)。

使用方式:对每个决定性论断,按“日常语言含义→小例子→精确机制→证据/反例/限制”的链条解释;类比必须映射到真实变量或操作。跨时间与替代方案收集证据,使用原始论文、原始实现、发布的模型配置与作者研究报告,对决定性来源固定版本或日期,区分原始动机与后来解释。比较设计时明确固定预算(总参数、激活参数、训练 token、训练 FLOPs、推理延迟、内存或墙钟时间)。当推导或解释可低成本检验时,构造最小反例、计算相关雅可比或对比自动微分与手推梯度。

适用场景:研究神经架构与训练方法的机制、撰写机制解释报告、评估因果证据强度、在明确预算下比较设计。

限制:玩具实验只能反驳有界主张,不能确立前沿规模下哪个模型学得最好;不得用引用数或实现流行度推断共识;不得把宽度等同于信息、神经元数等同于事实数、梯度范数等同于有用学习;不得把注意力权重、激活相关性、线性探针、消融与权重编辑视为等价因果证据;不得在无证据时给坐标、头或神经元赋予固定人类含义;不得把定理外推到假设之外或把小模型结果外推到所有大模型;不得为便利的数学类比声称物理定律;不得用后来的可解释性工作完全解释历史设计;不得把训练后剪枝当作较小模型从头训练同样好的证明。具体安装命令与代码示例暂未提供。