来源：Limitless

作者：Ejaaz

编译及整理：BitpushNews

---

本周，《The Information》透露，OpenAI 发现了一种可以将模型运行成本降低 50% 的方法。这一突破在于模型接收提示词（prompt）以生成答案时的调用方式，即所谓的“推理”（inference）。

因此，过去需要消耗数万个英伟达（Nvidia）GPU 才能运行的免费版 ChatGPT，现在仅需数百个即可运行，这可能每月为他们节省 1000 万到 1 亿美元的开支。

随后在周二，一家名为 Etched 的公司带着超过 10 亿美元的芯片订单从隐身模式中走出，并在最新融资中获得了 50 亿美元的估值，投资方包括 Peter Thiel 等重量级人物。

Etched 凭什么挑战英伟达？

• 极致的“单任务”哲学（ASIC）： 英伟达的 GPU 是通用型“万金油”，能做训练、能做推理、甚至能跑游戏。而 Etched 的旗舰芯片 Sohu 是专门为“Transformer 架构”（大模型的底层逻辑）打造的 ASIC 专用芯片。

• 性能代差： Etched 直接将 Transformer 的计算逻辑“烧录”进硬件电路中。相比于通过软件模拟运算的 GPU，Sohu 芯片在运行推理任务时，吞吐量提升了约 20 倍。

• 以一当百： Etched 声称其一套 8 芯片的服务器，性能足以替代 160 个英伟达 H100 GPU。这直接击中了企业客户对“高昂基础设施成本”的痛点。

这之所以重要，原因有三：

• 成本的节省将释放额外的算力用于训练更优秀的模型。

• 降低成本将带动更多的需求和营收。

• 英伟达的护城河正处于危险之中（推理 > 训练）。

问题在于，每个人似乎都认为推理只是一种削减成本的手段（其实不然），所以我将解释为什么推理是所有 AI 实验室和超大规模云服务商（hyperscalers）唯一应该关心的领域。

智能本身其实并不重要

多年来，我们一直通过模型的“聪明程度”来衡量其优劣，但你可能已经注意到，最近尖端模型与次优模型之间的差距已经非常小了。最好的私有专有模型（Fable 5）与最好的免费开源模型（GLM 5.2）之间的差距目前仅为约 13 周，而且随着每一次新版本的发布，这种差距似乎都在缩小。

真正重要的是运行模型的成本，而让模型变聪明的最好方法，是让它在回答之前进行更多的思考。这种策略使用的推理量比过去模型所使用的要多 5 到 10 倍。推理 = 更多的思考时间 = 更好的答案。这与模型权重（weights）本身有多么令人印象深刻无关。

因此，护城河基本上已经转移到了“你的模型思考得有多有效”上，这意味着最顶尖的 AI 模型将会：

• 最智能地使用推理。

• 以最低的成本实现这一点。

不信吗？

推理目前占据了所有 AI 算力的约三分之二，并且占模型全生命周期成本的 80% 到 90%。它在去年年底超过了数据中心收入中的训练开支。

这一点在 OpenAI 的账本上清晰可见。其第一季度毛利率为 39%，并希望到 12 月达到 52%，更便宜的推理是他们达到该目标的唯一途径。Anthropic 也是如此，他们目前在每一次 Opus 4.8 推理调用上实现了 80% 的毛利率，这很可能使他们成为世界上第一家盈利的 AI 实验室。

杰文斯悖论（Jevon’s Paradox）：希望所在

Token 的价格在三年内下跌了大约 1000 倍，而推理的总支出却在此期间一直上升。每一次成本的降低都意味着此前因成本太高而无法实现的替代用途，现在变得可行了。

智能体（Agents）就是最明显的例子。单个智能体任务使用的 Token 数量是普通聊天的 5 到 30 倍，在某些情况下，甚至在你睡觉时也在运行。高盛预计，到 2030 年 Token 需求将增长 24 倍，达到每月 120 千万亿个。难道真有人认为当它变得更便宜后，我们的使用量反而会减少吗？别开玩笑了。

英伟达「汗流浃背」

好了，如果推理是利润的来源（也是 AI 实验室领先于其他人的方式），问题就变成了谁能收割这些利润。

英伟达之所以是世界上最有价值的公司，是因为它的 GPU 统治了训练领域。CUDA 是本十年内无人能跨越的护城河。

但推理呢？这块市场完全开放，这就是为什么整个领域突然涌入其中，也是为什么我认为像 Etched、Cerebras 和 Groq 这样的公司有很大机会成为“下一个英伟达”的原因。

Etched 声称其一台八芯片服务器的工作效率相当于 160 个 H100 GPU。Groq 和 Cerebras 已经被前沿实验室大规模使用，而现在每一家超大规模云服务商都在内部构建自己的推理芯片——从 OpenAI 的 Broadcom 项目到亚马逊的 Inferentia，再到谷歌的 TPU——纯粹是为了不再向英伟达支付那 80% 的利润。

分析师认为，英伟达在推理市场的份额将从今天的 90% 以上下降到 2028 年的 20% 到 30% 左右。这听起来非常戏剧化，但除非英伟达能提供一种在推理方面显著优于竞争对手的芯片架构，否则他们注定会失去市场份额。

我已经不再单纯关注模型权重带来的“智力”提升。在 AI 的下半场，推理就是一切。谁能将模型“思考”的成本压到极致，谁就是这场竞赛的最终赢家。

在 Token 上下注。

---

Twitter：https://twitter.com/BitpushNewsCN

比推 TG 交流群：https://t.me/BitPushCommunity

比推 TG 订阅： https://t.me/bitpush