SuperAPI AI 工具集

ml-no-token-left-behind

本项目是苹果公司发布的 PyTorch 实现,对应论文《No Token Left Behind: Explainability-Aided Image Classification and Generation》。仓库提供了可解释性辅助的图像分类与生成示例代码,包含空间条件图像生成、图像编辑、图像生成等 Notebook,以及提示工程运行说明。代码基于 StyleCLIP、FuseDream、VQGAN+CLIP、VQGAN、CoOp、Dassl 和 Transformer-MM-Explainability 等项目构建。使用前需按 DATASETS.md 安装数据集,并在 external 目录下克隆安装 dassl,随后运行实验。适用于对可解释性辅助图像分类和生成感兴趣的研究与开发场景。

访问官网

工具介绍

用途

本仓库是论文《No Token Left Behind: Explainability-Aided Image Classification and Generation》的 PyTorch 实现。项目聚焦于利用可解释性方法辅助图像分类与生成任务。

主要能力

仓库包含以下 Notebook 和运行说明:

  1. 空间条件图像生成 Notebook
  2. 图像编辑 Notebook
  3. 图像生成 Notebook
  4. 提示工程运行说明

使用方式

首先,按照 DATASETS.md 安装数据集。然后创建所需环境(具体命令官方资料中未提供完整内容)。接着,在 external 目录下克隆并安装 dassl。最后运行实验(具体运行命令官方资料中未提供完整内容)。

适用场景

适用于研究可解释性辅助图像分类与生成、空间条件生成、图像编辑、提示工程等方向的研究人员和开发者。

限制与依赖

项目依赖多个外部项目:图像操控代码基于 StyleCLIP,图像生成代码基于 FuseDream,空间条件图像生成代码基于 VQGAN+CLIP 和 VQGAN,提示工程代码基于 CoOp 和 Dassl,可解释性方法代码基于 Transformer-MM-Explainability。示例代码遵循 LICENSE 条款发布。部分具体运行命令、环境配置细节在官方资料中暂未提供。