用途
txt2mask 是一个为 Stable Diffusion 图像修复(inpainting)自动创建遮罩的插件。它作为 AUTOMATIC1111 Stable Diffusion Web UI 的附加组件,允许用户在 img2img 模式下输入一段文本字符串,自动生成对应的图像遮罩,从而替代手动使用画笔工具进行遮罩绘制。该工具由 clipseg 提供支持。
主要能力
- 在 img2img 模式下,通过 Mask Prompt 字段输入要搜索的文本,自动在图像中生成遮罩。
- 提供 Mask Precision 字段,用于调整遮罩的置信度;数值过低可能导致选中超出预期的区域。
- 支持使用 | 作为分隔符搜索多个对象,例如输入 face|a tree|a flower,clipseg 会独立处理这些项目并将子遮罩叠加为最终遮罩。
- 提供 Mask Padding 选项,用于扩大选区边界,适用于遮罩未完全覆盖目标(如红色衬衫)的情况。
- 支持 Negative mask prompt,从 Mask prompt 选中的区域中减去指定内容,例如 Mask prompt 为 face、Negative prompt 为 eyes,则遮罩会选中脸部但不包含眼睛。
- 支持 Brush mask mode 设置,可将文本遮罩与画笔工具或上传的图像遮罩结合使用。
使用方式
- 克隆或下载该仓库,并将文件放入 AUTOMATIC1111 Web UI 的基础目录中。
- 在 img2img 界面中,选择 txt2mask 作为活动脚本。
- 在 Mask Prompt 字段中输入要在图像中搜索的文本。
- 调整 Mask Precision 字段以增加或减少遮罩的置信度。
- 点击 Generate 即可生成遮罩。
适用场景
适用于需要在 Stable Diffusion 图像修复中快速、自动地生成遮罩的用户,尤其是希望避免手动使用画笔工具、希望通过自然语言描述目标区域的场景。
限制与注意事项
- 该脚本已被作者的新扩展 Unprompted 取代,后者具有相同的遮罩功能及更多特性。作者不计划更新原脚本,且无法保证其在新版本 A1111 WebUI 中继续工作。
- 该脚本仍处于积极开发阶段(根据原始资料描述)。
- 遮罩时通常“少即是多”:与其尝试遮罩“a one-armed man doing a backflip off a barn”,不如写“a man”可能效果更好。
- Mask Precision 值过低可能导致选中超出预期的区域。