ControlNet
AI图像工具ControlNet 是一种神经网络结构,用于为扩散模型(如 Stable Diffusion)添加额外条件控制。它通过复制神经网络块的权重为“锁定”副本和“可训练”副本,让可训练副本学习条件,锁定副本保留原模型,从而在不破坏预训练扩散模型的前提下实现条件控制。其核心创新是“零卷积”,即权重和偏置初始化为零的 1×1 卷积,训练前输出为零,不会造成失真。ControlNet 支持多种条件输入,如 Canny 边缘、M-LSD 直线、HED 边界、用户涂鸦、人体姿态、语义分割、深度图、法线图等,并提供 9 个 Gradio 应用演示。它可复用 Stable Diffusion 编码器作为强大骨干,计算高效,支持低显存模式,并可通过插件与其他社区模型结合。