作者：Vaidik Mandloi

编译及整理：BitpushNews

---

前言

一位数据经纪人最近试图向一家AI实验室出售一个数据集，他按TB（terabyte）收费，这是当前的标准做法，因为业界还没有人想清楚如何计算数据的实际价值，而且他在发货前从未亲自打开过这些文件。当实验室打开一看，文件夹最底下埋着大约4000份《冰雪奇缘2》……有人拿迪士尼电影充数，就为了让整个数据集显得体量更大。

我估计那位经纪人再也等不到这家实验室的回音了。但最离谱的是，这根本不是什么见不得光的黑市买卖。过去两年，AI数据经纪已经做成了一个正经的大宗商品市场，核心业务就一件事：把各种各样的专有数据卖给AI实验室，光是其中一家经纪公司，一年营收就有1.44亿美元。

我花了数周时间拆解这个市场如何运作，以下为我的分析。

一个市场如何从无到有

你需要理解的第一件事是，这个市场为什么存在，因为就在几个月前，还没有人能想象它会成为一个市场。

在过去十年里，每一家大型AI实验室都用开放网络训练其模型。他们使用维基百科、Reddit、数字化书籍、旧论坛帖子，任何他们能抓取并喂给机器的东西。GPT-3发布时，它消耗了大约5000亿个token的这类材料，而三年后的GPT-5消耗了数万亿个。

每一代都比上一代更饥渴，而大约在2025年，消耗量超过了可用的新知识库。Epoch AI估计，高质量公共文本将在2026年至2032年之间的某个时间点功能性耗尽。Reddit——每家大型实验室都曾免费抓取过它——现在对其档案的访问收费约为每年6000万美元。

如今数百万个网站已经完全屏蔽了爬虫。而2024年的一篇论文表明，用AI生成的文本（也称为合成数据）训练模型——当人类写作不够时的明显变通办法——会导致输出在连续世代中退化。研究人员称之为“模型崩溃”，这是一种礼貌的说法，意思是如果你反复喂给机器它自己的话，它就会忘记如何思考。

所以开放网络作为一种可变训练来源基本上完全关闭了，实验室随后开始到别处寻找。

而他们发现，他们所需数据中最丰富的剩余来源，多年来一直在普通公司的私有系统内部积累。这意味着Slack档案、电子邮件线程、CRM数据库、内部wiki——日常工作产生的运营尾气，作为人们完成工作的副产品——已经在云存储中堆积了十年，而从没有人想过它也可以被出售。

这类数据通常被称为“数据尾气”，因为人们产生它时是如此无意识。没有人早上坐到办公桌前会想着他们即将发送的Slack消息的训练价值。数据是完成工作的副产品，就像尾气是驾驶的副产品一样。你在不知不觉中留下它，它以组织内部没有人想过要去测量的体量积累起来，更不用说将其买成钱了。

埃尔南多·德·索托曾在他的《资本的秘密》一书中捕捉到这种时刻，尽管他写的是完全不同的东西。他论证说，在发展中国家，家庭拥有房屋、经营企业、耕种土地，却永远无法将其任何一部分转化为资本。资产是真实的，人们住在里面，靠它养家糊口。但从金融系统的角度来看，它们并不存在。

在这些休眠资产中，财富无法参与更广泛的经济，因为将其转化为可交易工具的机构机制从未建立。每家拥有五年Slack历史的公司在2024年左右之前都大致处于同样的境地。他们的员工在日常工作中作为副产品一直在生成有价值的运营数据，而这些数据一直在云存储中积累，却没有任何机制为其定价，因为交易它的市场尚未建立。

同样有趣的是，一旦需求出现，那套基础设施出现得有多快。石油在被积极交易了一个多世纪之后，NYMEX才于1983年推出标准化原油期货。但对于AI训练数据，市场将整个流程压缩到了不到24个月。

现在交易条款都标准化了：两年独家期、买家三十天验货期、六十天付款周期，还有推荐网络——经纪人最高能拿成交价的50%作为佣金。

平均交易额大约在20万到30万美元之间。如果你向某人描述一笔典型交易的机制，他们大多会猜是商业房地产或某种专业金融工具。但他们永远猜不到，那是一家屋顶承包商五年的Slack聊天记录。

AI实验室在买什么

AI实验室在数据需求上同样离谱，而且对自己到底要什么，要求得极其具体。

经纪人会收到实验室详细的 intake 清单，精确指定他们在任何给定时刻想要哪些行业的数据。当我开始拆解这些清单时，其颗粒度本身就非常有趣！他们在寻找芯片设计验证工作流、湿实验室实验日志、临床试验记录和工厂车间头戴摄像头的记录。

一位经纪人描述说，收到过对屋顶承包商、税务公司或货运公司奇异内部工作流的请求。而实验室想要这些记录覆盖所有可以想象的行业垂直领域，从航空航天到保险再到兽医医学。想想这告诉了你什么。当一家每年在训练上花费数十亿美元的公司向经纪人发送一份购物清单，特别要求货运公司和屋顶承包商的内部工作流文档时，它揭示了其产品路线图。

这种颗粒度不仅仅是为了让模型更聪明的模糊野心。它是为了构建能够执行特定行业实际日常工作的AI系统。他们瞄准的行业清单足够广泛，其影响几乎延伸到所有白领职业。但市场的供给方几乎不理解这一切意味着什么。

质量问题

提交给主要经纪人的所有内容中，大约一半会立即被扔掉。拒绝的原因同样重要，因为它们显示了卖家距离理解买家真正想要的东西有多远。

经纪人报告说，收到过40GB的WhatsApp消息，标记为“高质量对话”，结果却是一个人与其朋友和家人的全部聊天记录。他们收到过13小时的门铃摄像头 视频记录，被营销为“真实人类情感”数据集。

看起来最好的提交内容通常是最荒谬和好笑的。因为市场仍然没有想清楚如何衡量什么使数据有价值。所以卖家大多按TB定价，因为没有人提出更聪明的办法，这创造了一种直接激励，让文件尽可能大，而不管里面是什么。买家使用员工人数和运营年限作为粗略代理指标，因为这是双方唯一能达成一致的指标。但没有人真正捕捉到材料的质量，这意味着整个市场都在摸着石头过河。

这与19世纪的棉花贸易非常相似，当时在利物浦棉花交易所工作的商人可以获取来自美国南部各地港口的电报报告、关于作物产量和航运时间表的实时情报，以及兰开夏郡各地纺织厂的需求数据。

但实际种植棉花的种植园主几乎对此一无所知。他们以商人给出的任何价格出售，没有独立方式核实该价格是否公平，这种不对称持续了数十年，直到期货合约和公共定价机制给了种植者足够的可见度，使他们能够在平等基础上谈判。

数据市场正处于同一弧线的最开始。而这里的卖家比棉花种植者更加不利，因为至少种植者明白棉花是用来做什么的。

AI实验室如何评估数据

让我用一位与我交谈过的AI经纪人告诉我的真实例子来解释。

一位SaaS企业主提交了跨越Slack、WhatsApp和Discord的十年内部通信。这是一家仍在运营的公司的十年运营数据。从纸面上看，这正是前沿实验室支付数百万美元购买的那种档案。

但当经纪人评估该数据集时，他们只评估了最近两年。为什么？因为该公司每隔几年就更换消息平台，而每次更换都破坏了使运营数据对训练有用的连续性。

实验室需要看到的是一个团队如何升级问题，一群人实际共同解决某事的完整流程。当对话在项目中途从Slack跳到WhatsApp时，那个流程消失了。记录变得碎片化，而碎片化记录几乎没有训练价值。

它们没有训练价值的原因是，实验室不是为消息本身付费。他们是为那些消息中嵌入的行为模式付费，即经验丰富的人在情况模糊且手册无济于事时实际行使判断力的累积记录。

匈牙利-英国博学家迈克尔·波兰尼在1950年代创造了“隐性知识”（tacit knowledge）一词来形容。他的经典例子是骑自行车：你知道怎么做，但你无法写出能教别人的说明，因为知识存在于你的反射和肌肉记忆中，唯一转移它的方式是让另一个人亲自去骑，直到他们自己的身体形成记忆。

企业里到处都是这种说不清、道不明的经验。比如一家SaaS公司的高级工程师，凌晨3点收到生产警报，他知道哪个必须叫醒团队、哪个可以等到早上——这种判断跟监控面板上标的严重性等级没半点关系。它来自多年积累的模式识别，来自犯错犯得够多之后长出来的直觉，任何运行手册都写不进去。

管理咨询公司花了半个世纪试图提取和编纂这种运营判断力。麦肯锡围绕这一努力建立了整个业务。而根本挑战始终相同：你可以在一个组织内待上数月，采访数十人，观察他们如何工作，最终仍然只带走组织实际知道如何做的事情的一小部分，因为知识太深地嵌入日常习惯中，任何人都无法清晰表达出来以便移交。

AI训练完全改变了这一点。模型可以摄取一家公司五年的连续内部通信，将其提取、压缩进模型权重，并在完全不同的情境中再现。

这就是创造这个市场的原因。实验室发现，地球上最丰富的默会知识来源是公司作为做生意副产品而生成的运营数据，而以前没有人想过它值得购买，因为以前没有人拥有大规模处理它的技术。

这也是为什么“死掉的初创公司”成了这个市场最自然的起点——道德摩擦为零。但市场并没有停在这儿，毕竟死掉的公司按定义就那么多，供给有限；而实验室真正想建的，是那种需要持续、可再生行为数据流的东西，数据得来自还在上班、还在干活的人。

所以这条线一路往下：从已经不存在公司的档案，到活着的公司趁员工还在生成数据就把他们的日常通信卖出去，再到一家科技巨头直接在自己员工的电脑上装监控软件，把他们干活的过程细到每一步都录下来。

如果下一代AI靠的是专有行为数据、而不是公共互联网文本，那AI的竞争优势就会转移，而且转移的方式可能压根儿不显眼。现在大家聊来聊去，主角都是实验室、GPU厂商、云服务商，还有在算力竞赛里赢下来的那批公司。

可算力是规模化问题，规模化问题砸钱就能解决；行为数据是信任问题。医院的患者交互历史、律所三十年的案卷，生成这些记录的人要是不信任你，支票开得再大也进不去。真正攥着最深那层“说不清、写不下来的经验”的，是制造商、金融机构、攒了几十年运营判断力的专业服务公司。这些东西，实验室既复制不了，也绕不过去。可大多数人还没意识到，自己手里攥着的，正是这样的东西。

---

Twitter：https://twitter.com/BitpushNewsCN

比推 TG 交流群：https://t.me/BitPushCommunity

比推 TG 订阅： https://t.me/bitpush