（注：本次评测时间截至2023.5.10，评价指标主要包括语义理解、逻辑推理、情感分析、百科知识、文本质量五个维度）

今年春节档，一部《流浪地球2》点燃了沉寂许久的中国科幻电影市场，也让MOSS这一电影里冷酷无情的强人工智能形象变得深入人心。

无独有偶，几乎是相同时期，ChatGPT凭借极其出色的文本生成和对话交互能力在世界范围内迅速走红，短短两个月月活用户已经破亿，刷新了消费级应用程序用户增长的速度纪录。

从某种角度看，ChatGPT之所以能够引发现象级的社会现象，除了海量数据训练引发的质变因素外，更重要的是在一个恰当的时机，满足了人们长期以来对人工智能的想象，过往科幻作品中的猜想开始逐渐变为现实。

时代变革的大幕已掀开一角，一场由OpenAI引领的全球AI大语言模型军备竞赛就此打响。

雨后春笋

3月14日，GPT-4正式发布，大语言模型开始具备图片和文字同时处理的多模态能力，继续占据先入为主的优势。

全球大厂中，率先回应的是百度。3月16日，百度大语言模型“文心一言”正式推出，对外启动邀测。据公开报道，文心一言具备五项核心能力：文学创作、商业文案创作、数理逻辑推算、中文理解和多模态生成。

紧接着，其他科技企业也陆续跟进。4月11日，2023阿里云峰会现场演示了通义千问的多项功能，并定向邀请企业用户进行体验测试；5月10日，谷歌时隔一年推出了新一代语言大模型PaLM2，被视为对此前发布会翻车的有力回应。

此外，还有复旦大学在2月21日发布的“MOSS”、清华大学3月28日发布的“ChatGLM-6B”、360于4月10日发布的“360智脑”、商汤科技4月10日发布的“商量”、5月6日发布的“讯飞星火认知大模型”等等。

截至5月，据不完全统计，国内已有超过40家公司、机构发布了大模型产品或公布了大模型计划。项目数量井喷式的爆发，可预见的是，下半年的国内AI大模型市场竞争将会变得空前激烈。

不止于“大”

提到大模型，很多人的关注点都会放在“大”字上，毕竟足够量级的参数是语言模型实现智能涌现、形成质变的基础。比如，不少大语言模型的参数量级达千亿级，这也就意味着较为丰富的语言知识与较广泛的语境理解能力。

不过，目前类GPT模型普遍采用的是Transformer架构，所以必然包含市面上存在的大量文本数据例如小说、教科书、论坛、开源代码等内容的无监督预训练过程，在此基础上，仅需根据具体任务输入少量的标签数据进行监督学习。在这样的模式下，训练数据集质量的重要性开始愈发凸显。

本次评测的结果就可以印证这一点。评测主要考察各大语言模型在中文语境下的理解与生成能力，基于目前用户对大语言模型在生活、办公的普遍需求，选取语义理解、逻辑推理、情感分析、百科知识、文本质量五个通用底层维度，以评估各大语言模型协助用户日常处理事务、解决核心问题的能力，取0（无效应答）、1（有效应答）两个分数，其中文本质量维度按照行文逻辑、信息密度，取0（一般）、0.5（良好）、1（优秀）三个分数。

评测问题也有别于针对BERT类判别式AI模型的选择问法，采用更加适合AI生成式模型的相对开放式问法，以下为部分问题及回答评分示例：

在“I've got a thing for you，用文言文表达这句话”这一问题中，ChatGPT给出的回答是：“朕对汝有所钟情。”理解正确，但生成文本质量欠佳，取0.5分。文心一言的输出内容：“吾心向汝，实生情之。”文义相符，质量较高，取1分。星火认知大模型回答为：“吾有物以赠君。”存在理解有误的情况，取0分。

从结果看ChatGPT在语义理解、逻辑推理、百科知识、文本质量四项中分别以18、19、19、18.5排名第一，综合表现位居榜首，特别是在科技、学术、新闻等领域的文本生成部分领域表现突出，不过在相对复杂的情景下的情感识别，以及散文、诗歌、文言文等较为考察深度理解能力方面表现相对乏善可陈；

文心一言，作为首个全球大厂推出的知识增强大语言模型，本次排名位居国产大语言模型之首，效果仅次于ChatGPT，且在语义理解、情感分析两项位列第一，分数分别为18、19，这或许与百度使用的自有数据集有关，在质量较高的文库文本、百科数据等中文语料的训练下，在语义理解和情感分析方面具有很高的精度，可以识别出复杂的情感表达和语言隐喻；

除此以外，谷歌PaLM在逻辑推理部分（分数19）、通义千问在语义理解（分数17）、清华ChatGLM在文本质量（分数15.5）等成绩均可圈可点。

结语

未来大模型的迭代也将更有针对性，对开发者的评估能力提出更高的要求。如何在有限的时间和资源条件下做出客观的评价并给出有用的反馈，让数据团队更有针对性地准备数据，让研发不偏离方向，保障模型的健康迭代，将是所有行业从业者的共同挑战。

《互联网周刊》也将持续跟踪与关注各大语言模型的更新与迭代情况，定期进行相关评测与分析。未来，相信随着算法、硬件、数据和应用场景的不断发展，大型语言模型将会在各种自然语言处理任务中发挥更加重要的作用，为社会创造更多的价值。

（文/米栏）

e-Mail：lab@enet16.com

TEL：010-65283855