science 9 分钟阅读

韩国组建国家AI团队,基准测试冠军却落选

韩国政府为国家级AI基础模型项目选定三支团队,而唯一在全球基准测试中夺冠的参赛队伍却被排除在外。当数字与评审结论相悖时,究竟会走向何方?

  • Facebook
  • 韩国
  • 科技政策
  • Artificial Analysis
  • 基础模型

从第一到垫底的那个人

Motive Technology 在 Artificial Analysis 的「综合人工智能指数」(AAII)上获得了 47 分——在韩国国家 AI 基础模型竞赛的所有参评作品中位居榜首。紧随其后的对手 Upland 得到了 37 分。两者相差整整 10 分,这是一个在基准测试标准下足以称为鸿沟的差距。

然而,Motive 最终却排名垫底。

政府评审委员会综合了三类分数:基准表现(占比 40 分)、专家评审(35 分)和用户测试(25 分)。在综合指标上,Motive 的模型——名为 Motive 3——位列最后。最终只有三支队伍晋级:Upland、SK Telecom 和 LG AI Research。Motive 不在其中。

8 月 27 日,Motive 提交了正式申诉,要求公开详细的评分明细、基准权重的计算方法,以及专家评审所依据的标准。该公司还抛出了一个更为尖锐的问题:为何"外资股东占比"会成为一项相关的评估标准?

紧接着,Motive 投下了一颗重磅炸弹:无论申诉结果如何,该公司都不会参加第三轮评估。公司首席执行官林正焕(Lim Jeong-hwan)表示,他将在没有政府支持的情况下,独立打造韩国最强的前沿模型,并在全球舞台上证明自己。

基准测试与评审专家之间的对立

矛盾极为鲜明。同一款在独立全球基准测试中力压所有韩国参评作品的模型,却被执掌评判大权的评审专家判定为"不够格"。

科学信息通信部的解释直白而冷酷:Motive 的模型缺乏推理能力和实用价值。副大臣柳悌荣(Ryu Je-myung)称该技术在技术上具有潜力,但在实际应用方面落后于竞争对手。

这一解释与基准测试数据形成了刺耳的对照。Artificial Analysis 衡量的是开放式推理、编程、数学和综合智能——这些类别无法被简单还原为聊天机器人的流畅度或界面打磨水平。如果一个模型在 AAII 上拿到 47 分,而评审专家却称它不会推理,那么问题就在于:评审专家衡量的究竟是和基准测试相同的东西,还是别的东西?

Motive 还指出了一个更为刺眼的矛盾:在基准测试中得分最低的模型——LG 的 31 分——据报道却在专家评审中排名第一。公司要求科技部解释这是如何可能的,但至今未收到任何详细的评分明细。

这正是此次争议的核心谜团。问题不仅仅是 Motive 输了,而是决定它输掉的那套机制缺乏透明度,且差距之大已足以引发每一个正在举办 AI 竞赛的国家都应准备好的问题:究竟由谁来定义"什么是好的"?

隐藏在评估背后的问题:外资介入

Motive 申诉中最令人不适的细节之一,是它在评估过程中被问及了自己的股权结构。

据该公司称,在专家评审环节,他们收到了一份书面问卷,询问外国资本是否持有重大股份。问卷并未涉及技术能力、训练数据或推理质量,而是问了谁拥有这家公司。

Motive 现在要求解释这个问题是如何影响评估结果的。这种担忧并非空穴来风。2024 年和 2025 年,韩国政府采取措施限制外国资本对核心科技领域的投资,并明确表示希望确保由国家支持的 AI 模型保持在韩国本土控制之下。但问题是:一项商业性质的评估——即便由政府出资——是否应当将股权结构作为衡量质量的指标?

如果一个模型在基准测试中拿到 47 分,却因为股权结构输掉了竞赛,那么基准测试从来就不是真正的考验。另有其物。

为何此事超出韩国范畴

韩国的国家 AI 基础模型项目旨在选拔两支团队,为其提供 GPU 资源和持续的政府支持。 stakes 极高:进入最终轮的队伍将贴上"国家 AI"的标签,获得补贴硬件、政策优待,以及承载"韩国的 OpenAI 或 Google DeepMind"这一政治分量的期许。

但此次事件引发的疑问远远超出了首尔的边界。全世界都在关注 AI 能力如何被衡量,而当前的衡量基础设施是脆弱的。基准测试分数已成为行业内默认的可信度货币,它们出现在新闻稿、融资路演和政策文件中,塑造着哪些实验室会被邀请参与哪些对话。

然而,韩国的案例表明:基准测试的权威性,取决于信任它的那个体系。当一个政府评审委员会能够无视一个在全球知名基准测试中十之差的巨大优势,而不公布其推理过程时,基准测试就失去了一种至关重要的东西:合法性。

这并不是一个新鲜问题。AI 基准测试污染已被广泛记录——用包含基准测试集的数据训练出的模型,往往会在测试中虚高得分。评审专家深知这一点,这也是许多竞赛会在自动基准测试之外辅以人工评估的原因。但人工评估引入了自身的扭曲:偏见、不一致性、不透明,以及坐在评审席上的人所代表的权力关系。

Motive 一案所揭示的,是两套体系同时失效时会发生什么。基准测试说的是一个答案,人说的是另一个答案,双方都没有公布足够的细节来说服对方。最终的结果看起来是任意的——而这正是韩国政府现在不得不应对的印象。

接下来会发生什么

科技部表示,将审查申诉并尽快完成第二轮结果,再进入第三阶段。这一流程预计很快结束,但信任的损害已经造成。

Motive 退出下一轮是最具分量的后果。该公司是唯一一家在独立全球基准测试中表现优于所有其他参评作品的队伍。通过退出,它主动切断了原本可能将政府资源引向其研发的通道。它选择在没有国家背书的情况下竞争——无论有意与否,这都在传递一个信号:现行体制不可信。

三支晋级的队伍现在承载着"国家"的标签。他们将获得 GPU 配额,并在政府监督下继续研发。他们是否是正确的选择——抑或只是恰好满足了某套隐形标准的人——将不会被任何公众有望看到的数据所解答。

对于全球 AI 社区而言,此案是一个警示:选择国家冠军不仅仅是一个国内政策问题,更是一个信誉问题。如果世界第二大经济体都无法解释为何得分最高的模型落败,那么教训将不会局限于韩国,而会回荡在随后的每一次评估、每一场比赛、每一份领导力宣称之中。