开源模型亟需另开一桌
知识图谱摘要
提及实体 (18)
关系 (15)
文中比较百灵与K3在AA榜上的排名和真实性能水平
文中将Mimo刷榜现象与MiniMax当年登顶OpenRouter相提并论
沐秋质疑Mimo宣传图嘲讽同行及刷分行为
MiniMax开发了3.1 Flash模型
小米开发了Mimo开源大模型
月之暗面(Kimi)开发了K3模型
百度开发了文心大模型
蚂蚁集团开发了百灵大模型
阶跃星辰开发了Step 5 Preview模型
沐秋出于尊敬认为百度也算模型厂(反讽或特定语境下的认可)
予彤是Kimi/K3项目的关键负责人
梁圣是DeepSeek的核心领导者
罗福莉在小米负责Mimo模型相关工作
予彤负责K3模型的差异化打法与优化
罗福莉带领团队开发Mimo模型
开源模型到了最危险的时刻。
在结束了三季度的编程能力狂飙后,这两个月来国内模型厂基本上是没活硬整。
国模为了提高一点自己在AA榜的分数,手段可以说是无所不用其极。
由此导致了一个非常幽默的现象,AA榜得分越高的国产模型可能反而越不可用。
因为国模为了刷分都整了雷霆大思考,分数越高,思考过程越长,完成任务速度越慢。
跑分和模型使用体感出现了严重反差,甚至跑分极高成了模型的反向指标。
而你能发现,AA榜单和25年底流行过的OpenRouter调用量一样,都被国产模型刷烂了。
看一下过去几个月的AA榜单排名变化,你会发现除MiniMax以外,没有哪个国产模型刷不上去AA排名。
先是GLM、Kimi和Qwen互刷第一,然后Mimo也能刷穿AA榜,直接刷到开源第一。
沐秋在Mimo登顶AA榜时,不解地问我,Mimo为何在宣传图里暗戳戳嘲讽同行蒸馏,而暗示他们才是踏实本分进步,你都搞出跑分大跃进了,显然也和踏实本分扯不上关系。
我告诉沐秋,这是因为罗福莉特别伟大,在她的带领下,小米Mimo一定能成为进步最快、性价比最高的开源模型。
不过我对此稍有异议的是,我很赞成蒸馏,蒸馏是一件很正义的事情。
套用拜登不等式来说,你不能只在你蒸馏人类知识时支持蒸馏。
蒸馏是反制闭源的工具,你蒸馏全人类,我就要蒸馏你,很合理。要是没有蒸馏,那两家闭源模型厂不就垄断全世界了,岂有此理?
沐秋还是不太满意,他说Mimo刷成AA榜国模第一,说明这玩意跟MiniMax当年登顶OpenRouter一样,指标本身失去意义了。
作为一个米粉,我对此不予置评。
话说回来了。
这么干的也不只小米Mimo。之前稍显沉寂的阶跃,也能交出不错的应试答卷。Step 5 Preview也一度飙升到AA榜开源前三。
更有甚者。
两周前,蚂蚁集团的百灵大模型,Ling-3.1 Flash也一度刷到了AA榜国模第五,比K3还高,超越 Claude Haiku 5.5。
我只能想到两个答案来解释蚂蚁百灵跑分突飞猛进:
一、百灵真实性能跟K3、Qwen 3.8 Max、GLM 5.3一个水平,并且吊打Seed 2.1 Pro等一众国产模型;二、AA榜被刷烂了,纯幽默。
请各位家人在评论区投票选择❤️
只能说,蚂蚁是真的有点惨的,跟K3一个水平大伙都不知道,纯空气。
基于上述种种乱象,我经过严肃思考得出一个结论:AA榜是美国人的星球大战计划,是扰乱国产开源模型训练的工具。
美国厂商做事情的肌肉记忆是定标准,用大义名分建立标准组织搞行业准入。你是跟随者,你就必须费劲力气,耗尽资源,把自己改造成人家的模样,才能获得人家的认可。
这会事实上锁死开源模型赶超的可能性。
因为大模型是一个工程问题,算法架构保下限,性能主要取决于数据和算力。谁有更高质量的训练数据,谁有更大规模的算力,那这家公司就几乎一定能训出更好的模型。
必须要承认的是,国产模型是跟随者,高质量数据供给和算力都远远不如美国同行,这两个月来,国产模型距离OpenAI和Anthropic的差距似乎还在进一步拉大。
如果按照完全相同的竞争策略,那国产模型没有任何赢的可能性。
所以,中国模型厂主导了开源。
开源是最有希望的破局方案,因为开源把竞争从中美叙事,切换到了开源和闭源叙事,占据了大义。并且,开源还让这么多的模型厂集中力量,加速进步。
但只有开源是不够的。
开源模型都去刷AA榜,都以提升几个著名Benchmark为最高目标,这么干的动机还是为了爆一二级市场老登的金币,因为这些老登大都是买办,他们只能看明白最有名的榜单,然后参考Anthropic的1/10给估值,完全没有主体性。
并且,都刷一样的榜,还是在一条赛道正面竞争,那开源不是白开了?没起到啥作用啊。OA两家还是可以靠暴力堆资源遥遥领先,完全没有赢的可能性。
所以,开源是不够的,国产模型必须另开一桌,建立自己的标准。实现你打你的,我打我的,国产模型要有主体性。
那么如何做呢?
首先,AA榜肯定是不能刷了。刷烂了的玩意,你刷到第一也只能说明自己和Mimo、百灵一个水平。纯浪费宝贵算力。
其次,需要有众多贴合真实任务、真实环境的Benchmark,来评估模型能力。
我们必须要承认一个现实是,不可能有任何一个榜单,可以全面充分体现模型性能。
综合性榜单注定没有意义。大模型发展到现在,事实上分出了Flash、Pro两个档位,之后还会按工作领域再细分,跨档位比较毫无意义。
就像是你不可能用百公里加速度、续航等任何指标得出有效的汽车排行榜一样。假如有人拿仰望U8和Model Y比,说明这人是傻福。
我们只能从每个细分领域来评价大模型。
好消息是,经过了这一轮国产模型大跃进后,主流模型的基础性能都远远越过了可用线。
DeepSeek 4.1 Flash又快又能用,MiniMax 3.1 Flash也很快且将近能用。总之,不会有哪个主流模型厂的模型性能会不如Qwen 3.8 27B——除了百度的文心大模型。出于尊敬,沐秋认为百度也算模型厂。
那么,未来方向自然而然出现了,每种工作类型都有自己的SOTA模型。
国产模型要做的不是冲高一个注定无效的综合全面榜单,而是找到自己的赛道,做到赛道第一。
简单来说,要拿回模型性能的定义权,不能被美国老乡牵着鼻子走。
这方面比较神的是梁圣。
一个月前我还不理解梁圣,因为DeepSeek这一年来从来不是摸高选手,而是专注提升推理效率,事实上All in Flash路线。
结果国产模型缺卡问题进一步突出,2T参数模型事实上慢得有点揪心,而梁圣的DeepSeek 4.1 Flash快得飞起,我日常用能跑出150 TPS。
看来梁圣的路线也很创新,就是纯往死里干闭源模型。你发个GPT-6,我就发个速度更快、价格几十分之一的GPT-6平替,并且毛利率还不低。
纯复仇者赛道。
另一个我提了整整三个月的正面案例是K3 。
予彤也很擅长神奇打法,K3专门优化了小游戏、网页的训练数据,做到了前端领域第一,成功hack了人民群众普遍用一次性生成小游戏测试模型能力的基本事实,打穿用户心智,让大伙发自内心感觉Kimi牛逼。
当然,Kimi过于路径依赖也是一个问题。GPT-6开创了大模型炒作3D能力之后,K3.1还想跟进,也想炒作自己3D能力很行,并且价格又是美国人的几分之一。
这就起到反噬。原因很简单,Kimi炒作一次性生成小游戏是创新,创新有奖励;炒作3D能力是跟随,走平替赛道,主要是没活,大伙也不尊敬你,跟随过程中暴露的问题会被放大,开团秒跟。
相信Kimi家人们这两周都深切感受了炎上的滋味😭
有鉴于此,葬AI决定搞一个开源Benchmark社区。用各种来自真实任务、真实环境的题目评估大模型各领域的能力。
我们合作的若干Bench将陆续开源发布,也欢迎各位家人一块合作开发更多狠活Bench。希望和国产模型厂一起有骨气,一起建立主体性!