FastChat

FastChat 简介

FastChat 是一个用于训练、部署和评估基于大语言模型的聊天机器人的开源平台。根据其 GitHub 仓库介绍，FastChat 为 Vicuna 和 Chatbot Arena 的发布仓库，并支持多种模型和功能。

核心功能

FastChat 的核心功能包括：

• 提供先进模型的训练和评估代码，例如 Vicuna 和 MT-Bench。
• 提供分布式多模型服务系统，支持 Web UI 和 OpenAI 兼容的 RESTful API。

支持的模型

FastChat 支持多种模型，包括 Llama 2、Vicuna、Alpaca、Baize、ChatGLM、Dolly、Falcon、FastChat-T5、GPT4ALL、Guanaco、MTP、OpenAssistant、OpenChat、RedPajama、StableLM、WizardLM、xDAN-AI 等。用户可以通过命令行界面与这些模型进行交互。

安装方法

FastChat 提供两种安装方式：

• 使用 pip 安装：运行 pip3 install “fschat[model_worker,webui]”。
• 从源码安装：克隆仓库并运行 pip3 install -e “.[model_worker,webui]”。

模型权重

FastChat 提供了 Vicuna 模型的权重，基于 Llama 2，并需遵循 Llama 的模型许可。用户可以通过命令行自动下载权重。此外，FastChat 还发布了 LongChat 和 FastChat-T5 模型。

命令行推理

用户可以使用命令行界面进行模型推理，支持单 GPU、多 GPU、CPU、Metal 后端（Mac）、Intel XPU 和 Ascend NPU 等平台。对于内存不足的情况，可以启用 8-bit 压缩或 CPU 卸载。

Web GUI 服务

FastChat 提供 Web UI 服务，需要三个组件：Web 服务器、模型工作器和控制器。用户可以通过 Gradio 启动 Web 服务器，与模型进行交互。

Chatbot Arena

FastChat 支持启动 Chatbot Arena 的本地实例，这是一个并排比较 LLM 的界面。FastChat 支持 OpenAI、Anthropic、Gemini、Mistral 等 API 模型。

API

FastChat 提供 OpenAI 兼容的 RESTful API 和 SDK，可作为 OpenAI API 的本地替代品。它兼容 openai-python 库和 cURL 命令。

评估

FastChat 使用 MT-bench 进行模型评估，这是一组具有挑战性的多轮开放性问题。评估过程使用 GPT-4 等强 LLM 作为裁判，自动评估模型回答质量。

微调

FastChat 提供了微调代码，基于 Stanford Alpaca 并支持多轮对话。用户可以使用自己的数据或示例数据进行微调。训练代码支持多种平台和 LoRA。

引用

FastChat 的代码主要基于论文《Judging LLM-as-a-judge with MT-Bench and Chatbot Arena》开发，用户可以在 GitHub 仓库中找到引用信息。