Falcon

Falcon 简介

Falcon（又称 Falcon LLM）是由阿联酋阿布扎比技术创新研究所（Technology Innovation Institute，简称 TII）开发的一系列开源大语言模型。TII 是阿布扎比先进技术研究委员会（ATRC）的应用研究机构。Falcon 系列模型以开放源代码或开放访问的形式发布，供研究和商业使用。

模型家族

Falcon 系列包含多种模型，覆盖不同参数规模和架构设计。当前系列包括 Falcon Perception、Falcon-H1、Falcon-H1-Tiny-R、Falcon H1R 7B、Falcon-H1-Arabic、Falcon Arabic、Falcon-E、Falcon 3、Falcon Mamba 7B、Falcon 2，以及 180B、40B、7.5B 和 1.3B 参数模型，并包含 REFINEDWEB 数据集。

Falcon 3

Falcon 3 是 TII 开发的解码器专用开放基础模型系列，参数规模从 1B 到 10B（包括 1B、3B、Mamba-7B、7B 和 10B 基础模型）。其中 7B 模型在 1024 块 H100 GPU 芯片上使用 14 万亿 token 的网络、代码、STEM 和多语言数据进行了单次大规模预训练。10B 模型通过深度上采样创建，1B/3B 模型通过剪枝和知识蒸馏获得。所有模型均提供 Instruct、GGUF、GPTQ-Int4、GPTQ-Int8、AWQ 和 1.58-bit 等变体，基于 Transformer 的模型与 Llama 架构兼容。

Falcon-H1

Falcon-H1 是一系列开放权重混合头语言模型，参数规模从 0.5B 到 34B，每个模型都有基础版和指令微调版。该系列将基于 Transformer 的注意力机制与 Mamba-2 状态空间模型（SSM）头相结合。混合设计实现了更快的推理、更低的内存占用和强大的泛化能力，模型支持高达 256K 的上下文长度，并原生支持包括阿拉伯语、中文、印地语、日语和俄语在内的 18 种语言，可扩展至 100 多种语言。Falcon-H1 紧凑型模型旨在匹配或超越至少两倍规模的模型，该系列基于 Apache 2.0 的宽松许可证发布。

Falcon H1R 7B

Falcon H1R 7B 是一款紧凑型 70 亿参数模型，在数学、编码、逻辑和指令遵循方面具备高级推理能力，并针对速度、低内存使用和低能耗进行了优化，可匹配或超越规模大 2 至 7 倍的推理模型。它使用一种名为 Deep Think with confidence（DeepConf）的置信度感知方法，利用模型自身的置信度分数修剪低质量的推理轨迹。

Falcon-H1 Arabic

Falcon-H1 Arabic 是 TII 发布的阿拉伯语模型，在开放阿拉伯语 LLM 排行榜（OALL）上领先。其 34B 模型在 OALL 上得分 75.36%，超越了 Qwen2.5 72B 和 Llama-3.3 70B 等更大的 70B+ 模型，同时也能处理主要的区域阿拉伯语方言。

Falcon Mamba 7B

Falcon Mamba 7B 是 TII 发布的首个开源状态空间语言模型（SSLM），据 Hugging Face 独立验证，它是全球性能领先的开源 SSLM。SSLM 架构具有低内存成本，生成任意长的文本块时无需额外内存。Falcon Mamba 7B 的性能优于 Meta 的 Llama 3.1 8B 和 Mistral 的 7B 等传统 Transformer 模型。后续的 Falcon3-Mamba-7B 在额外 1.5 万亿 token 的高质量数据上进行了训练，并支持更长的 32K 上下文长度。

Falcon Perception

Falcon Perception 是 TII 推出的多模态 AI 模型，使系统能够通过自然语言提示查看、阅读和理解图像，在单一架构中结合了视觉和语言能力。Falcon 3 系列扩展了 Falcon 的多模态能力，首次支持视频和音频数据，并且模型可以在笔记本电脑等轻量级基础设施上运行。据 TII 研究人员称，Falcon 模型可以部署在比通常小约十倍的基础设施上，甚至可以在移动设备上离线运行，支持扫描文档的 OCR、图表解释和交互式视频查询。

早期模型与许可证

早期的 Falcon 版本确立了该系列在规模和开放性方面的声誉。Falcon 40B 在 400 亿参数和一万亿 token 上训练，是首个以 Apache 2.0 宽松许可证发布权重供研究和商业使用的本土开源 LLM。Falcon 180B 是一个 1800 亿参数模型，在 3.5 万亿 token 上训练，曾位居 Hugging Face 预训练开放大语言模型排行榜榜首。Falcon 180B 在基于 Apache 2.0 的免版税许可证下可免费下载、使用和集成到应用程序中，但限制非法或有害使用，并要求提供共享托管实例的托管服务提供商向 TII 寻求单独许可。

Falcon 基金会

在 2024 年 2 月的世界政府峰会上，TII 推出了 Falcon 基金会，这是一个致力于推进开源生成式 AI 模型开发并围绕开源 AI 项目建立可持续生态系统的非营利实体，TII 作为创始成员承诺投入 3 亿美元。该基金会支持针对特定行业和部门定制 Falcon 模型，为持续研发提供开放计算资源，并汇聚开发者、学术界、行业和 Falcon 基金会大使，以加速 AI 的民主化。