韩国AI评估危机：最强模型落选

当赢家被要求离场

韩国科学技术信息通信部开展了一项看似直接的国内AI基础模型评估。结果本应清清楚楚。由Motif Technology开发的Motif 3在政府所衡量的每一项主要全球基准测试中均获最高分。

但它依然落选了。

围绕"独裁AI基础模型"(Dokpamo，독자 AI 파운데이션 모델)第二轮评估引发的争议，暴露出的远不止是一场分数纠纷。它揭示了一个令所有正试图建设自主AI的国家的根本困境：当全球领先者客观上更出色时，你该如何加冕本土赢家？你又该如何设计一个不会奖励披上爱国主义外衣的平庸之作的计划？

以下是官方评分的构成。基准测试部分共40分——其中25分来自AAII（一个全球AI综合能力指数），15分来自国家信息与通信技术研究院(KICS)自有测试。专家评估贡献35分，用户评估25分。

Motif 3在AAII上得分47分。最接近的竞争对手Upstage得37分，SK Telecom得35分，LG AI Research得31分。

在基准性能上，Motif遥遥领先。然而却被淘汰出局，而所有三个低分模型却全部晋级。

Motif于8月27日通过正式申诉提交异议，这不仅仅是在抱怨落选，而是在系统性质疑评估体系本身的架构。

Motif提出的最技术性论据，关乎基准分数如何被换算为评估得分的问题。政府的评分规则将AAII最高分上限锁定在25分。据报道，OpenAI等全球领先者的模型在相同基准上得分约为63分。按照政府公式，63分折算后仅有约15.75分——不到基准满分分配的三分之二。

这意味着世界最佳AI与韩国次佳AI之间的距离被压缩进了一段狭窄的分数区间。真正世界级水平的模型和只是尚可的模型，在纸面上看起来相差无几。评估设计反而惩罚了表现突出的选手，而非给予奖励。

Motif的论点不是这套公式有多残酷，而是如果目标是识别最强的模型，这套公式毫无意义可言。如果你想要最好的AI，就不应该构建一个让最好看的AI显得平庸的系统。

更深的问题存在于专家评估环节——据报道，在基准测试中得分最低的LG AI Research竟排名第一。这是Motif提出最尖锐批评的部分。

据报道，LG将其模型规模较首轮评估翻倍，但并未实现有意义的基准提升。一个规模大幅增长但客观测试成绩几乎未改进的模型，却获得了人类专家的最高评分。Motif称此令人费解，并要求公布该排名的具体理由。

该部通过媒体渠道回应，称问题并非仅关乎基准分数，而是关于推理能力和实际效用。一位高级官员据报道告诉记者，Motif 3相比其基准分数，在实际推理表现上不足，且缺乏可用性和适用性。

这些都是合理的评估维度。问题是，它们在评估前从未作为正式标准被公开。Motif是通过新闻报道得知这些标准的，而非通过官方框架。

Motif申诉中最耐人寻味的细节或许涉及用户评估环节。Motif指出，品牌知名度极易污染用户评估——鉴于LG和SK Telecom在韩国是家喻户晓的名字，而Motif在巨人的阴影下运营，这一观察毫不意外。

该公司要求披露是否采用了盲评方法。这在临床试验和学术同行评审中是标准做法，正是鉴于人类评分者容易受先入印象影响。当用户打开浏览器、在页面上看到"LG"或"SK"时，他们在输入哪怕一个提示之前，对界面的参与感就已经发生了改变。这不是猜测。这是有据可查的心理效应。

如果用户评估没有实施盲评，这25分环节几乎不可能被视为衡量模型质量的指标。它更可能成为企业声望的衡量标准。

Motif的正式声明中包含一个引人注目的让步。公司表示，无论结果如何，都不会参加第三轮Dokpamo评估。这很不寻常。大多数对评估提出异议的公司都会奋力争取留在游戏中。选择退出本身就说明了一些事——说明该公司认为规则正走向何方。

但跳出程序争议，更大的故事在于Dokpamo项目本身所代表的一切。韩国与美国、中国、欧盟一样，正试图建设可掌控的AI基础设施。这种担忧真实且有据可查：如果一个国家的核心AI系统运行在外企开发的模型之上，那些系统就携带了难以轻易剥离的嵌入式依赖。

Dokpamo项目是韩国对这种依赖的回应。问题在于，建设自主能力需要前期可能产出落后成果的投资。通过评估设计夸大平庸表现的诱惑几乎不可抗拒——而这正是Motif指责政府正在做的事。

直接输家是Motif——一家打造出似乎是最强本土模型的公司的模型，却在一个它无法看清的过程中被告知不够好。如果评估标准继续保持不透明，该项目将失去公信力。未来在评估中处于劣势的公司将有充分理由质疑：它们究竟是在凭实力竞争，还是在凭政治站队竞争。

政府失去的是一种更难量化的东西：对其自身技术判断的信任。韩国的AI雄心取决于能否让业界相信国家理解好模型与差模型之间的区别。如果评估体系让这个区分显得武断，那么政策本身也会显得武断。

意外的赢家可能是韩国试图减少依赖的全球AI公司。每有一家本土企业目睹自己的最佳模型通过模糊标准输给更弱的对手，它就会注意到：通往认可最稳妥的路径不是建造最好的技术，而是建造政治上最容易被接受的技术。这个教训对OpenAI、Google和Anthropic而言，比首尔任何人都更有利。

Motif的申诉现已递交至科学技术信息通信部。政府可以选择公布详细评分明细、调整后续轮次的评估方法，或者驳回申诉按计划进行第三轮。

无论选择哪条路，都将发出一个信号：韩国的AI自主计划是否愿意承受诚实竞争的阵痛，还是会满足于被操控结果的舒适区。模型无论如何都会继续变得更好。真正的问题是，这个项目是否会继续变得更好。