AlpacaEval

项目简介

AlpacaEval 是一个自动评估器，用于评估指令跟随语言模型（如 ChatGPT）的性能。根据官网介绍，它旨在提供一种快速、廉价、可复现的评估方法，并与人类评估结果高度相关。AlpacaEval 2.0 版本引入了长度控制的胜率（length-controlled win-rates），据称与 ChatBot Arena 的 Spearman 相关系数达到 0.98，同时成本低于 10 美元，运行时间少于 3 分钟。

核心功能

AlpacaEval 提供以下主要功能：

• 排行榜：在 AlpacaEval 评估集上展示常见模型的排行榜。
• 自动评估器：一个与人类评估高度一致的自动评估器，通过测量强大语言模型（如 GPT-4）偏好目标模型输出相对于参考模型输出的频率来评估模型。
• 评估器构建工具包：提供简单接口，用于构建高级自动评估器（支持缓存、批处理、多注释器等），并分析其质量、价格、速度、统计功效、偏差、方差等。
• 人类评估数据：包含 20K 条人类偏好数据，其中 2.5K 条为交叉注释（4 名人类注释相同的 650 个示例）。
• AlpacaEval 数据集：AlpacaFarm 评估集的简化版本，将“指令”和“输入”合并为一个字段，参考输出更长。

快速开始

根据官网说明，可以通过 pip 安装稳定版：pip install alpaca-eval，或安装 nightly 版本：pip install git+https://github.com/tatsu-lab/alpaca_eval。使用前需设置 OpenAI API 密钥，然后运行命令：

alpaca_eval –model_outputs ‘example/outputs.json’

该命令会将排行榜打印到控制台，并将排行榜和注释保存到与模型输出文件相同的目录。主要参数包括：

• model_outputs：模型输出的 JSON 文件路径，每个字典应包含 instruction 和 output 键。
• annotators_config：使用的注释器配置，推荐使用 weighted_alpaca_eval_gpt4_turbo（AlpacaEval 2.0 默认），其与人类注释数据的一致性较高。
• reference_outputs：参考模型的输出，默认使用 GPT-4 Turbo。
• output_path：保存注释和排行榜的路径。

如果尚未生成模型输出，可以使用 evaluate_from_model 命令，传入本地路径、HuggingFace 模型名称或标准 API（OpenAI、Anthropic、Cohere 等）的模型。

排行榜与指标

AlpacaEval 提供两个主要排行榜：“AlpacaEval 2.0”和“AlpacaEval”。前者使用 weighted_alpaca_eval_gpt4_turbo 作为注释器，gpt4_turbo 作为基线；后者使用 alpaca_eval_gpt4 作为注释器，text_davinci_003 作为基线。胜率（Win Rate）衡量模型输出被自动评估器偏好于参考模型输出的频率。标准误差（Standard Error）是胜率的标准误差（按 N-1 归一化）。

评估器比较

官网提供了不同自动评估器的比较表格，包括人类一致性、价格（每 1000 个示例的美元数）、时间（每 1000 个示例的秒数）、Spearman 相关系数、Pearson 相关系数、偏差、方差和偏好更长输出的概率等指标。例如，alpaca_eval_gpt4 的人类一致性为 69.2%，价格为 13.6 美元/1000 示例，时间为 1455 秒/1000 示例，Spearman 相关系数为 0.97。官网建议根据这些指标选择合适的评估器，并推荐 weighted_alpaca_eval_gpt4_turbo 作为质量、价格、时间、方差和长度偏差之间的良好权衡。

使用场景

AlpacaEval 适用于需要快速、廉价评估简单指令跟随任务的场景，例如模型开发过程中的多次评估。但官网明确指出，它不应替代高风险决策中的人类评估，例如决定模型是否发布。其局限性包括：评估集中的指令可能无法代表高级用法；自动评估器可能存在偏好风格而非事实的偏差；AlpacaEval 不衡量模型可能造成的风险。

贡献指南

AlpacaEval 接受新模型、评估器、评估集和完成函数的贡献。贡献者需先 fork 仓库，安装源码包，然后按照指南添加配置、运行评估并提交 PR。对于模型验证，核心维护者仅对排行榜前 5 名的模型进行验证，且需要贡献者提供临时 API 密钥。

局限性

官网详细列出了 AlpacaEval 的局限性，包括：指令可能不代表真实使用情况；自动注释器存在偏好更长输出和列表的偏差；缺乏安全评估，仅评估指令跟随能力而非模型可能造成的危害。此外，验证流程本身也存在局限，如众包工作者可能偏好风格而非事实，以及 16 名众包工作者的偏好不能代表所有人类。