DALL·E 2

概述

DALL·E 2是OpenAI开发的人工智能系统，能够根据自然语言描述生成逼真的图像和艺术创作。该系统于2022年4月推出，是2021年1月发布的DALL·E系统的后续版本。据官网介绍，DALL·E 2可以结合概念、属性和风格，生成更逼真、更准确的图像，分辨率是前代的4倍。

核心功能

根据OpenAI的DALL·E 2预览系统卡，该模型以文本提示和/或现有图像作为输入，并生成新图像作为输出。除了文本到图像的生成外，DALL·E 2还可以根据文本描述修改现有图像（称为“修复”），并可以输入现有图像以生成创意变体（称为“变体”）。独立报道还描述了用户友好的编辑功能：用户可以选择和编辑现有图像的特定区域，添加或删除元素及其阴影，将两张图像混合成单个拼贴画，并生成现有图像的变体。

技术架构

DALL·E 2的研究论文《Hierarchical Text-Conditional Image Generation with CLIP Latents》（arXiv:2204.06125）描述了一个两阶段模型：一个先验模型，根据文本标题生成CLIP图像嵌入；以及一个扩散解码器，根据该图像嵌入生成图像。作者报告称，显式生成图像表示可以提高图像多样性，同时最小化照片真实感和标题相似度的损失，并且基于图像表示的解码器可以生成保留语义和风格但改变非必要细节的图像变体。CLIP联合嵌入空间还支持零样本的语言引导图像操作，解码器使用扩散模型。

安全与限制

DALL·E 2的安全缓解措施包括限制其生成暴力、仇恨或成人图像的能力，方法是从训练数据中删除最露骨的内容，并使用先进技术防止生成真实人物（包括公众人物）的照片级真实图像。OpenAI的内容政策不允许用户生成暴力、成人或政治内容，当过滤器识别出可能违反政策的文本提示或图像上传时，系统会拒绝生成，并辅以自动化和人工监控系统。OpenAI自己的系统卡指出，DALL·E 2继承了训练数据中的各种偏见，其输出有时会强化社会刻板印象，输入过滤是核心缓解措施，预览阶段还限制了访问权限。

发布与访问

DALL·E 2最初作为研究项目，仅向受信任的用户提供有限预览，随后于2022年7月进入测试阶段，当时OpenAI表示将邀请约100万人从其候补名单中试用。在测试版发布时，OpenAI将DALL·E 2改为基于积分的收费结构（每月免费积分加付费积分包），并授予用户将其创建的图像商业化的全部使用权，包括重印、销售和商品化的权利。OpenAI还表示，更广泛的访问得到了减少偏见和毒性的技术的支持，包括拒绝包含逼真人脸和试图创建公众人物肖像的图像上传。

当前状态

DALL·E 2已不再作为积极支持的提供：OpenAI的API模型文档将DALL·E 2标记为已弃用并从API中移除，推荐使用GPT-Image-2进行当前的图像生成和编辑。微软的Azure OpenAI服务也于2025年1月27日退役了DALL·E模型版本2，此后该模型版本不再可用或可操作，促使受影响的客户迁移到更新的受支持模型版本。这些退役通知使DALL·E 2主要成为OpenAI图像生成模型系列中的历史研究里程碑，而不是当前产品。