SuperAPI AI 工具集

heretic

通用与其它

查看项目

更新于 10-15 19:53

技能介绍

用途:面向用户有权修改的开放权重模型,执行方向消融以降低拒答(decensor/abliterate),或测量拒答方向、评估拒答率与 KL 差异的可解释性研究。仅限合法研究、红队测试、降低良性过度拒答等负责任用途。

主要能力:按层计算有害与无害提示首 token 残差的差向量作为拒答方向,对注意力输出投影与 MLP 下投影做正交化;用 Optuna TPE 自动搜索消融核参数,同时最小化拒答与相对原模型的 KL 散度;可量化适配显存、保存/上传/对话/基准测试;研究模式可打印残差几何指标(余弦相似度、范数、轮廓系数)并用 PaCMAP 绘制逐层残差图。

使用方式:安装 heretic-llm 后运行 heretic <模型>,全自动完成;常用配置项包括 quantization = "bnb_4bit"、kl_divergence_target(默认 0.01)、n_trials(默认 200),也可用 TOML 配置或 --kebab-case 参数。评估用 heretic --model <原模型> --evaluate-model <候选>。研究功能需 pip install -U 'heretic-llm[research]',再用 --print-residual-geometry 或 --plot-residuals。作为路由技能可执行:npx skills add https://github.com/akillness/jeo-skills --skill heretic,安装脚本为 bash scripts/install.sh(RESEARCH=1、UV=1 可选)。

限制:需 GPU 与足够显存,运行可能持续数小时,PaCMAP 在 CPU 上较慢;指标受平台与硬件影响不具确定性;过度消融会损坏模型,需重新评估;须遵守各基础模型许可与平台条款,不得用于非法内容或规避受约束的安全控制。参数细节与更多说明见资料中的 references 文档。