这份未来AI竞争情势剖析 连马斯克也拍手叫好 一文读懂 (未来这样的时刻,请你记住这首歌)

上周末,社交媒体X上有一条关于“未来AI竞争趋向”的推文惹起了马斯克的兴味,并取得了其“手动点赞”。而且,马斯克旗下的xAI也刚好在上周正式公布了Grok 3大模型。

这篇推文是由美国著名TMT(科技、媒体和通讯)投资人Gavin Baker公布,马斯克对此评论道:“剖析得很好”。那么,上方就让我们来看下Gavin Baker终究表达了什么内容。

先说结论:Baker以为,AI产业格式的革新正在减速,OpenAI在未来的抢先优点将会参与。未来,数据将成为竞争中心,无法取得共同、有价值数据的前沿模型是历史上升值最快的资产。就这一点来看,谷歌、Meta等巨头可以经过垄断数据构建“护城河”。

详细而言,Baker指出,从2022年夏季到2024年春季,OpenAI不时处于抢先位置,但后来谷歌和Anthropic赶上了GPT-4。由于其先发优点,以及积极押注传统的预训练“缩放定律”(Scaling Law),OpenAI公司占据了逾7个季度的主导位置。

Scaling Law也称尺度定律,被业界以为是大模型预训练第一性原理。在机器学习范围,特地是关于大型言语模型而言,模型性能与其规模(如参数数量)、训练数据集大小以及用于训练的计算资源之间存在的一种可预测的相关。

Baker指出,“Scaling Law”的优点窗口正在封锁。

他写道:“Google的Gemini、xAI的Grok-3,以及Deepseek的最新模型,均已抵达与GPT-4相近的技术水平。就连OpenAI开创人奥尔特曼也指出,OpenAI未来的抢先优点将愈加狭窄。微软CEO纳德拉表示,OpenAI在模型才干方面抢先的共同时期行将完毕。”

“在我看来,这就是为什么纳德拉选择不为OpenAI提供1600亿美元的预训练资金。”Baker补充道。

据媒体此前报道,微软外部备忘录显示,由于预训练边沿效益递减,原方案投入160亿美元更新预训练基础设备的方案已被叫停,微软转而专注于为OpenAI提供推理算力以失掉收益。

纳德拉此前也曾表示,数据中心或许树立过剩,租赁优于自建,微软甚至或许会经常经常使用开源模型来支持CoPilot。Baker以为,这预示着单纯依托规模扩张树立壁垒的“预训练时代”已走向终结。

数据“无独有偶”

“我屡次转述EricVishria的话,无法取得共同、有价值数据的前沿模型是史上升值最快的资产,而蒸馏只会加大这一点。”他写道。

大模型蒸馏(Large Model Distillation),方便来说,就是将一个复杂的大模型(教员模型)的知识迁移到一个较小的模型(在校生模型)中。就像教员把自己渊博的知识教授给在校生,让在校生能够在资源有限的状况下,尽或许地表现出和教员相似的才干。

Baker还指出,假定未来前沿模型无法访问YouTube、X、TeslaVision、Instagram和Facebook 等共同而有价值的数据,则或许没有任何投资报答率。共同的数据或许最终成为预训练数万亿或千万亿参数模型的差异化和ROI(投资报答率)的独一基础。

格式变化

Baker总结称,假定这是正确的,那么巨型数据中心只要要2-3个,推理所需算力占95%。AI计算的其他部分将是较小的数据中心,这些数据中心在天文空间上启动了优化,以成功低提早和/或本钱效益推理。

他解释称,本钱效益推理=更廉价的电力(核能的溢价更低),基于量化紧缩技术(如Deepseek R1的1-bit LLM)支撑低本钱推理。

Baker总结称,与之前那种预训练和推理阶段计算资源分配大致各占一半的状况不同,如今会变成预训练占 5%,推理阶段占95%。出色的基础设备将至关关键。

最后,他还提到,假定OpenAI在5年后依然是该范围的指点者,那或许是由于先发优点和规模优点,以及产品影响力。

“时期会证明一切。”他写道。

版权声明

本文来自网络,不代表本站立场,内容仅供娱乐参考,不能盲信。
未经许可,不得转载。

热门