CLUE中文语言理解基准测评

CLUE中文语言理解基准测评简介

CLUE中文语言理解基准测评（CLUE）是一个面向中文语言理解测评的综合性平台。据官网介绍，其内容体系包括代表性的数据集、基线（预训练）模型、语料库、论文、工具包和排行榜。CLUE的定位是为更好地服务中文语言理解、任务和产业界，作为通用语言模型测评的补充，通过搜集整理发布中文任务及标准化测评等方式完善基础设施，最终促进中文NLP的发展。

SuperCLUE大模型测评

SuperCLUE是CLUE在大模型时代的延续与发展，官方将其使命表述为“精准量化AGI进展，定义人类迈向AGI路线图”。SuperCLUE面向中文可用通用大模型，主要回答三类问题：中文大模型在不同任务上的效果如何、相较国际代表性模型做到什么程度、以及与人类效果相比如何。

据官网介绍，SuperCLUE当前包括三大基准：OPEN多轮开放式基准、OPT三大能力客观题基准、琅琊榜匿名对战基准，并按月度更新。其基础能力结构包含语言理解与生成、知识理解与应用、专业能力、环境适应与安全性四个能力象限，细化为语义理解与抽取、闲聊、上下文对话、生成与创作、知识与百科、代码、逻辑与推理、计算、角色扮演、安全等十项基础能力。

专项测评基准

SuperCLUE持续扩展评测体系，在通用基准之外发布了覆盖多个垂直领域与专项能力的基准，包括：

• SuperCLUE-Agent（智能体）
• SC-Safety（安全）
• SuperCLUE-Auto（汽车行业）
• SuperCLUE-Industry（工业）
• SuperCLUE-Science（科学推理）
• SuperCLUE-Long（长文本）
• SuperCLUE-Image（文生图）
• SuperCLUE-Video（文生视频）
• SuperCLUE-V（多模态理解）
• SuperCLUE-Role（角色扮演）
• SuperCLUE-RAG（检索增强生成）
• SuperCLUE-SWE（软件工程）

此外，官网还展示了金融大模型测评、RAG检索增强、200K超长文本、Code3代码生成、Math6数学推理、Auto汽车基准、Agent中文场景、Safety安全对抗、OPEN多轮开放式、OPT三大能力客观题、Llama2中文版基准等测评项目。

排行榜与报告

CLUE平台提供多个排行榜，包括SuperCLUE琅琊榜、KgCLUE1.0、分类排行榜、阅读理解榜、总排行榜、DataCLUE榜、语义匹配榜、小样本学习榜、零样本学习榜、NER排行榜、自然语言推理榜、小模型榜等。平台还发布大模型年度报告、月度报告和半年度报告，例如《中文大模型基准测评2024年度报告》等。

社区与资源

CLUE社区提供关于CLUE的介绍、联系方式、常见问题、论文、项目地址和数据集搜索等功能。SuperCLUE项目以CLUEbenchmark/SuperCLUE开源托管在GitHub上，官方页面提供能力示例、排行榜和技术报告链接，并公布联系邮箱用于测评交流。