Word-As-Image 是一种语义排版(semantic typography)技术,其目标是将一个单词自动转化为能够可视化该词含义的插图,同时保持文字的可读性。例如,单词“bird”的字母形状可能会被调整为带有鸟类特征的轮廓,但整体仍然可以识别为“bird”这个词。
主要能力:
- 自动根据单词的语义调整字母的几何形状,使文字插图能够表达词义。
- 保持文字的易读性,并保留原始字体的风格。
- 专注于简洁、黑白的几何设计,不改变颜色或纹理,不使用装饰。
- 可处理多种语义概念,并支持多种字体。
- 也可应用于中文字符(一个汉字可代表一个词)。
使用方式(基于官方描述的技术流程):
- 对输入单词的每个字母单独处理,将每个字母表示为封闭的矢量形状。
- 给定字母的控制点集合 P 和语义概念,通过迭代优化变形后字母的新位置 P̂。
- 每次迭代使用可微分光栅化器(DiffVG)将基于光栅的损失梯度反向传播到形状参数。
- 将光栅化后的变形字母增强后输入预训练的冻结 Stable Diffusion 模型,利用 Score Distillation Sampling(L_sds 损失)驱动字母形状体现语义概念。
- 同时使用两个额外损失函数:L_tone 通过比较低通滤波器(LPF)后的结果与原字母,保留局部色调和结构;L_acap 通过约束字母形状三角剖分(D)上的变形尽量保形,来规整形状修改。
- 还可使用 Stable Diffusion 2 的 Depth-to-image 作为后处理步骤,为结果添加颜色和纹理。
适用场景:
- 创意设计中的文字插图、标志、海报等需要将文字与图像含义结合的场合。
- 字体设计、语义排版研究。
- 需要黑白色调、简洁风格且强调可读性的文字视觉化。
限制:
- 官方描述中强调其刻意不改变颜色或纹理、不使用装饰,因此默认输出为黑白几何风格;如需颜色和纹理,需额外的后处理步骤。
- 具体可用性、收费方式、平台支持、安装部署细节等暂未提供。