PixArt-α

项目简介

PixArt-α（样式化为 PIXART-α）是一个开源的、基于 Transformer 的文本到图像（T2I）扩散模型。其官方项目页面位于 pixart-alpha.github.io，提供了论文、在线演示、ControlNet 和 DreamBooth 示例以及 BibTeX 引用信息。该模型的相关论文（arXiv:2310.00426）由华为诺亚方舟实验室及学术合作伙伴的研究人员撰写。

核心特性

根据论文，PixArt-α 声称在图像生成质量上可与 Imagen、SDXL 甚至 Midjourney 等最先进的生成器相媲美，达到接近商业应用的标准，同时支持高达 1024×1024 像素的高分辨率合成，且训练成本远低于先前的大规模 T2I 系统。

技术设计

PixArt-α 的核心设计包括三个方面：

• 训练策略分解：分别优化像素依赖性、文本-图像对齐和图像美学质量，在不同阶段进行训练。
• 高效的 T2I Transformer：将交叉注意力模块注入 Diffusion Transformer（DiT）架构，同时简化类条件分支。
• 高信息量数据：使用大型视觉-语言模型自动标注密集的伪标题（发布的 SAM-LLaVA-Captions），以改善文本-图像对齐学习。

模型与发布

PixArt-α 被 ICLR 2024 接收为 Spotlight 论文（于 2024 年 1 月宣布）。PixArt-alpha/PixArt-alpha GitHub 仓库是官方代码库，发布了 PyTorch 模型定义、预训练权重以及训练/推理代码，并包含 PixArt-δ 技术报告、DreamBooth/LCM/ControlNet 代码、SA-Solver 和 SAM-LLaVA-Captions 数据集等发布内容。

该项目提供了多种分辨率的 PixArt-α 检查点：256×256、512×512 和 1024 多尺度变体（如 PixArt-XL-2-1024-MS）。每个检查点都是一个 0.6B 参数的扩散 Transformer，配对一个约 4.3B 参数的 T5 文本编码器和一个 80M 参数的 VAE。权重以原始 .pth 文件形式提供，也提供 Hugging Face diffusers/safetensors 格式，并在 OpenXLab 上有镜像。

生态与工具支持

Hugging Face diffusers 集成使 PixArt 易于运行：开发人员可以通过 PixArtAlphaPipeline 加载检查点（例如 “PixArt-alpha/PixArt-XL-2-1024-MS”），并使用提示词调用管道以保存图像。该集成支持在约 11GB GPU 显存下进行批量大小为 4 的生成，可选 DALL-E 3 一致性解码器 VAE 和 SA-Solver 调度器，并可通过内存优化在 8GB GPU 显存下运行。

PixArt-δ 为 PixArt-α 添加了潜在一致性模型（LCM）加速，仅需 2-4 步采样即可生成高质量图像：在 A100 上生成 1024×1024 图像约需 0.5 秒（比 PixArt-α 快约 7 倍），在 V100 上约 0.8 秒，在 T4 上约 3.3 秒（批量大小为 1）；使用 8 位推理时，所需 GPU 显存小于 8GB。

PixArt-δ 还引入了一种新颖的 ControlNet-Transformer 架构，为基于 Transformer 的扩散模型带来细粒度的结构控制（例如 HED 边缘条件）。该生态系统支持定制工作流，包括 DreamBooth 微调、LoRA 和 LCM-LoRA 训练脚本，以及 Gradio 演示和用于本地或服务器部署的 Dockerfile。

PixArt 模型拥有广泛的工具支持：ComfyUI 添加了 PixArt 支持（由社区成员 city96 贡献），英特尔官方的 OpenVINO 笔记本演示了将 PixArt-LCM 管道转换为 OpenVINO IR 并使用 NNCF 进行量化，以便在英特尔硬件上进行高效的 CPU/GPU 部署。

社区定位

PixArt 被定位为 AIGC 社区和初创企业的可访问基础，作者表示目标是帮助团队从零开始构建自己的高质量、低成本的生成模型。PixArt-δ 报告进一步指出，其一致性蒸馏训练可以在 32GB V100 GPU 的内存中一天内完成，使该系列模型在大型工业集群之外也具有实用性。