SuperAPI AI 工具集

Prompt Engineering: From Words to Art

本文介绍提示工程在AI艺术生成中的应用,提出跨模型的五项核心原则:给出方向、指定格式、提供示例、评估质量和分工。以Midjourney等工具为例,说明如何通过详细描述、格式定义、示例参考、质量评估和多步拆分,提高图像生成的可控性和质量,并给出具体操作建议及注意事项。

访问官网

工具介绍

这篇内容围绕“提示工程:从文字到艺术”展开,面向使用AI图像和文本生成工具(如Midjourney、ChatGPT)的用户,介绍如何通过系统化的提示词方法获得可靠、理想的生成结果。

一、用途与背景 文章指出,AI艺术和提示工程正成为一项重要技能。生成式AI的输出具有非确定性,有时会随机产生不理想的结果,因此需要通过优化提示词来稳定输出。作者提出了“五项提示原则”,作为跨模型、长期有效的工作框架,而不仅仅依赖短期技巧。

二、五项原则

  1. 给出方向:详细描述期望的风格,或引用相关人物/角色。对于图像生成,这尤其重要,因为Midjourney等工具熟知各种艺术家和艺术风格。可以使用种子关键词来偏向AI搜索的潜在空间,从而影响结果。如果缺乏艺术词汇,可以利用Midjourney的Describe功能,上传喜欢的图片,获取可能生成类似图像的四个提示词。
  2. 指定格式:定义要遵循的规则和响应的结构。这对于将AI集成到生产工具中尤为重要,因为不一致的格式会影响可靠性。文本模型可以输出JSON、YAML等结构化数据;图像模型则可以输出照片、油画、冰雕等任何格式。有时格式与风格会冲突,需要实验。作者还开发了一个免费的视觉提示构建器工具,列出常见的格式和风格。
  3. 提供示例:插入多样化的正确完成任务的测试用例。示例可以显著提高响应质量,但要注意AI可能过度学习示例,导致创造力下降。提供示例类似于“微调”AI。如果提示长度有限,可以使用LlamaIndex与Pinecone DB注入上下文。在图像示例中,作者使用了电影《了不起的盖茨比》的剧照作为参考,并通过在提示后添加:: 0.1来将其权重降低90%。需要注意版权问题。
  4. 评估质量:识别错误并评分响应,测试哪些因素驱动性能。由于LLM的随机性,不同提示的稳健性不同。建议多次运行提示,甚至与其他LLM对比。可以使用LangChain启用跟踪,将结果导入LangSmith进行分析。对于图像生成,可以尝试大量不同词汇并手动检查结果,或使用Midjourney的Shorten功能分析提示词中哪些部分最重要。
  5. 分工:将任务拆分为多个步骤,链接起来完成复杂目标。由于提示长度限制(约4k token),建议将任务分解为多个提示。例如,先让模型生成选择,再让模型根据标准评估这些选择。使用Langchain等工具可以串联多个操作。不同模型各有擅长,例如DALL-E 3擅长图像上的文字和构图,Midjourney美学出色且擅长奇幻风格,background.bg擅长去除背景。

三、使用方式与适用场景 文章提供了可直接使用的提示工程模板,并逐步解释模板如何工作。适用于使用AI进行艺术创作、设计、写作等创意工作的场景。作者还分享了自己使用AI艺术为自己的书配图的案例研究。

四、限制与注意事项 提示工程技巧可能快速过时。OpenAI CEO Sam Altman认为五年后可能不再需要提示工程(指寻找“魔法词”),但“想法的质量和理解你想要什么”始终重要。因此作者强调五项原则是 timeless 的,可跨模型迁移。此外,使用示例时要注意版权,商业用途需谨慎。模型的能力和限制各不相同,需要实验和评估。

五、其他信息 作者在Udemy上开设了课程《Prompt Engineering Principles: ChatGPT & DALL-E》,并受O'Reilly委托撰写相关书籍,预计2024年出版,未编辑版本可在网上预发布。更多学习资源可查看Vexpower的提示工程课程。