OpenAI员工指责马斯克Grok 3基准测试结果具有误导性
创始人
2025-02-24 13:48:01
0次
三言科技2月24日消息，据报道，日前，OpenAI一名员工指责马斯克xAI发布的Grok 3模型基准测试结果具有误导性。而XAI联合创始人伊戈尔·巴布什金表示公司并无不当。
xAI 在其博客上发布了一张图表，展示了 Grok 3 在 AIME 2025（一项近期邀请制数学考试中的高难度数学题集）上的表现。图表显示，Grok 3 的两个版本 ——Grok 3 Reasoning Beta 和 Grok 3 mini Reasoning—— 在 AIME 2025 上的表现超过了 OpenAI 当前最强的可用模型 o3-mini-high。
不过，OpenaI的员工指出，xAi的图标并未包含o3-mini-high在“cons@64”条件下的 AIME 2025 得分。“cons@64”是指“consensus@64”，即允许模型在基准测试中对每个问题尝试 64 次，并将出现频率最高的答案作为最终答案。
在 AIME 2025 的“@1”条件下（即模型首次尝试的得分），Grok 3 Reasoning Beta 和 Grok 3 mini Reasoning 的得分低于 o3-mini-high。但是xAI仍然宣传Grok 3 是“最聪明的AI”。
对此，巴布金什回应称，OpenAI曾经也发布过类似的误导性基准测试图表。
相关内容
热门资讯
2.29亿，这笔GP主导的重磅...
香港特别行政区，2025年2月24日—— 全球规模最大的专注于私募资产二级市场投资公司科勒资本（Co...
润丰股份: TO B模式毛利下...
投资者提问：tob模式毛利下降，行业竞争加剧，主要是出口农药的企业增多还是什么原因，tob模式是不是...
成都双流机场1号航站楼“回归”...
中新网成都2月24日电 (单鹏)成都双流国际机场(下称双流机场)1号航站楼24日正式恢复运营。图为成...
双象股份:董秘回答公司相关信息...
投资者提问：如果以后有仿真的人形机器人，公司的产品应该大有作为吧？董秘回答(双象股份SZ002395...
绿城服务(02869)：张玲波...
绿城服务(02869)发布公告，自2025年2月24日起，陈浩先生因拟投入更多时间至个人事务上，辞任...
豪掷上百亿元出海“淘金”，黄金...
21世纪经济报道记者凌晨西安报道金价高位盘旋，矿企筹谋变阵，迎接黎明。2月24日，内蒙古百亿市值金属...
用AI加“数”——广西移动助力...
来源：环球网 截至2月24日，广西已有多个行业成功接入DeepSeek大模型技术。在广西移动的积极推...
什么情况？股价一字板跌停：29...
转自：问理财网八连板终结！股价直接一字板跌停，2900万股牢牢封死“出逃”路，地板价割肉离场都难……...
机构：2024年欧洲智能手机市...
转自：财联社【机构：2024年欧洲智能手机市场恢复增长 小米位居第三】财联社2月24日电，Canal...
黑龙江饶河：正月还没过去 东北...
中新网双鸭山2月24日电(葛春雨 记者姜辉)春节的喜庆氛围还没散去，记者24日从黑龙江出入境边防检查...
投资者提问：贵公司是否持有灵伴...
投资者提问：贵公司是否持有灵伴科技的股份，占比是多少？谢谢董秘回答(电投产融SZ000958)：尊敬...
崇德科技(301548.SZ)...
格隆汇2月24日丨崇德科技(301548.SZ)于投资者互动平台表示，公司的动压油膜滑动轴承产品暂未...
集海资源(02489.HK)完...
格隆汇2月24日丨集海资源(02489.HK)宣布，有关拟收购烟台市牟金矿业52%股权事项，增资的所...
2025年研考国家线发布！
2月24日，教育部发布《2025年全国硕士研究生招生考试考生进入复试的初试成绩基本要求》（国家分数线...
韶能股份：精密制造业务涉及新能...
投资者提问：请问公司精密智能制造业务如何？能应用于智能机器制造？董秘回答(韶能股份SZ000601)...
开源证券：AI技术向终端渗透 ...
开源证券发布研报称，随DeepSeek等生成式AI技术向终端渗透，语音交互正从"被动响应"向"主动智...
研报掘金丨第一上海：翱捷科技芯...
格隆汇2月24日｜第一上海研报指出，翱捷科技(688220.SH)是一家提供无线通信芯片，移动SoC...
大商所以期货市场高质量发展助力...
2月23日，2025年中央一号文件《中共中央 国务院关于进一步深化农村改革 扎实推进乡村全面振兴的意...
研报掘金丨国盛证券：水晶光电今...
国盛证券研报指出，水晶光电(002273.SZ)二十余载深耕光学领域，多元化布局延续增长，研发转型初...
龙虎榜|航锦科技跌停，东方财富...
2月24日，航锦科技（维权）跌停，日振幅值达1.95%，日换手率达6.15%，收盘价36.44元，成...