值得信赖的区块链资讯!
比推数据  |  比推终端  |  比推英文  |  比推 APP  | 

下载比推 APP

值得信赖的区块链资讯!
iPhone
Android

Token价格打骨折,AI成本依然超过打工人

BitpushNews

来源:Fintech Blueprint

原标题:AI: Are AI employees more expensive than humans?

编译及整理:BitpushNews


算力Token的成本,正在悄悄吞噬企业预算。Token越来越便宜,但你的AI账单却越来越贵。

英伟达已将下一代数据中心平台Vera Rubin投入全面生产。头条新闻是:通过将每颗芯片的显存带宽提升两倍,生成每个Token的成本降低了10倍。

注意,这里的Token指的是AI推理产生的“智能令牌”,而不是什么加密货币。

image.png

英伟达CEO黄仁勋称其为“Token工厂经济学”,他把现代数据中心描述为一台机器,其产出以“每瓦特Token数”来衡量。

然而,就在同一时期,购买这些Token的客户却得出了截然相反的结论。

摩根大通的技术交易部门给客户发了一份报告,标题是 “AI账单正在失控” 。

报告称,一些投资分析师个人的Token预算已高达数万美元,少数甚至超过了10万美元。优步(Uber)的技术总监告诉The Information,他们在四个月内就烧光了公司2026年全年的AI预算……

一家只有四人的初创公司,仅从一个模型提供商那里就收到了月薪11.3万美元的账单。

Token越来越便宜,但AI账单却越来越高——这个鸿沟,正是每家企业必须了解的不分。

核心公式:单价 × 消耗量 = 你的噩梦

大多数关于AI成本的讨论,都把三个关键数字混为一谈了。

第一个数字是单价,它确实在飞速下降。

安德森·霍洛维茨基金的Guido Appenzeller测算,达到特定模型性能水平的成本每年下降约10倍——从2021年的每百万Token 60美元,降至三年后的0.6美元。

image.png

另一家研究机构Epoch AI基于基准数据(而非挂牌价)研究发现,达到固定性能水平的成本大约每两个月减半,具体降幅因任务而异,每年可达9倍到900倍不等。

无论怎么算,“智能”的性价比提升速度,都比PC时代“算力”的提升要快得多。

image.png

第二个数字是消耗量,它的增长速度至少不比单价降得慢。

高盛研究部在5月的一份报告中,从底层开始为“智能体经济”建模,预计到2030年,Token消耗量将增长24倍,达到每月1200万亿(1.2 × 10^17)个Token。

image.png

一个智能体(Agent)会反复读取上下文、调用工具、多轮检查自己的工作,并且常常在无人指令下自主运行。高盛给出的一个软件开发智能体实例显示,它一天内大约要处理600万输入Token和82万输出Token。

第三个数字,才是财务总监真正要看的——账单。

它是前两者的乘积。而因为消耗量上涨的速度超过了价格下降的速度,所以账单每个月都在变得更庞大。

价格由什么决定?钱又流向了哪里?

生成一个Token,很大程度上并不是一个算术问题。模型一次只生成一个Token,而每生成一个,它都需要从显存中读取自己的权重和累积的上下文。相比之下,真正的计算量很小,大头在于搬运数据。因此,运行推理的加速器通常只用到其理论算力的30%-40%,其余时间都在等待数据。

image.png

推理,受限于显存带宽。

模型所持有的上下文,会随着对话长度和同时处理的请求数量而增长,现在它占用的显存常常已经超过了模型本身的权重。几乎所有让Token变便宜的工程技术——从缓存、量化到更智能的批处理——本质上都是在管理显存流量。

这就是为什么英伟达声称Vera Rubin平台带来10倍提升,底气来自显存而非算力。该平台通过HBM4技术将每颗芯片的显存带宽提升至每秒22TB,达到三倍。这一变化贡献了大部分成本节约,因为显存现在已经是AI服务器成本中的最大头,相比上一代上涨了超过400%。

接着是能源消耗。

一篇同行评审论文估算,一次前沿模型的单次查询大约消耗三分之一瓦时(按每瓦时算)。如果推理过程扩展到15倍的Token数量,能耗大约会上升13倍。如果你再把模型包裹成一个会循环调用工具、自我检查答案的智能体,那么单次请求的能耗将是一步到位回复的60倍到140倍。

所以,虽然每个Token在变便宜,但模型正在让每个任务消耗掉多得多的Token。

image.png

人 vs. AI:财务对比

企业搜索公司Glean的CEO Arvind Jain告诉CNBC,这是他职业生涯中第一次看到,技术的成本与人力成本大致相当,而财务团队正被迫在两者之间做选择。英伟达的Bryan Catanzaro也表示,在他领导的深度学习团队中,算力成本早已远远超过了员工薪资。

不过,Gartner预测“到2028年,一个开发者的Token支出将匹配甚至超过一名软件工程师的薪水”,这个预测是基于全球平均月薪2000美元计算的,而不是西方水平。在伦敦或纽约,Token支出还不太可能超过六位数的高薪;但在班加罗尔,它可能已经追平了一名中级工程师的薪资——因为Token价格不随地区变化,但工资水平却天差地别。

image.png

目前主流的企业应用模式是“顾问模式”:用廉价的开放权重模型处理大部分工作,只在遇到困难时才调用顶级前沿模型。仅靠这种路由机制,就能将账单削减一个数量级。

中国的开放权重模型,如DeepSeek和智谱,在智能体基准测试中的得分已逼近西方前沿模型,差距仅在一两个百分点之内,而成本却只有后者的五分之一,甚至更低。

小结

那么,面对“AI可能在削减成本的同时,也在急剧推高成本”这一现实,我们该怎么做?

对投资人:紧盯推理利润率。*、那些AI大模型公司在IPO前喊出的高估值,都基于“定价权”的假设。AI原生软件的推理成本通常占其收入的40%-50%,而传统SaaS模型只有10%-20%。

对创始人:追踪“单次完成任务成本”,而不是“每席位成本”。确保模型层是可替换的。现在,“上下文工程”已经成为一个需要专门人力管理的成本中心。

对运营者:在合规要求最严格的领域,成本影响最明显。因此,请将智能体与人力成本进行比价,并基于一个假设来编制预算——前沿推理的单位成本未来可能并不会下降。

如果边际Token的价格越来越多地由显存带宽和电力决定,而不是由模型本身决定,那么AI驱动型金融的成本优势,将归属于那些掌控电力和路由的人,而不是训练出最聪明模型的人。对于一个两年来一直担心过度依赖少数几家模型供应商的行业来说,价格或许就是那个转折点。

好消息是:AI会带来新的人类工作岗位

image.png

Ramp最新数据显示,在AI上投入更多的公司,其所有岗位的员工人数也在同步增加。

终于有个好消息了——人类还没彻底出局,至少还能给AI当保姆+监工。


Twitter:https://twitter.com/BitpushNewsCN

比推 TG 交流群:https://t.me/BitPushCommunity

比推 TG 订阅: https://t.me/bitpush

说明: 比推所有文章只代表作者观点,不构成投资建议

比推快讯

更多 >>

下载比推 APP

24 小时追踪区块链行业资讯、热点头条、事实报道、深度洞察。

邮件订阅

金融科技决策者们都在看的区块链简报与深度分析,「比推」帮你划重点。