用途
本仓库是论文《No Token Left Behind: Explainability-Aided Image Classification and Generation》的 PyTorch 实现。项目聚焦于利用可解释性方法辅助图像分类与生成任务。
主要能力
仓库包含以下 Notebook 和运行说明:
- 空间条件图像生成 Notebook
- 图像编辑 Notebook
- 图像生成 Notebook
- 提示工程运行说明
使用方式
首先,按照 DATASETS.md 安装数据集。然后创建所需环境(具体命令官方资料中未提供完整内容)。接着,在 external 目录下克隆并安装 dassl。最后运行实验(具体运行命令官方资料中未提供完整内容)。
适用场景
适用于研究可解释性辅助图像分类与生成、空间条件生成、图像编辑、提示工程等方向的研究人员和开发者。
限制与依赖
项目依赖多个外部项目:图像操控代码基于 StyleCLIP,图像生成代码基于 FuseDream,空间条件图像生成代码基于 VQGAN+CLIP 和 VQGAN,提示工程代码基于 CoOp 和 Dassl,可解释性方法代码基于 Transformer-MM-Explainability。示例代码遵循 LICENSE 条款发布。部分具体运行命令、环境配置细节在官方资料中暂未提供。