比推消息，研究机构 Shoal Research 发布报告称，Cloudflare 网络上机器人约占 HTML 内容 HTTP 请求的 60%，人类为 38.2%。Cloudflare CEO Matthew Prince 曾预测机器人流量将在 2027 年超过人类，随后宣布智能体流量增长已使机器人超过人类流量。

报告称，AI 应用将用户留在聊天界面并总结内容，而非导流回原站。AI 爬虫抓取与回访比例远高于 Googlebot，ClaudeBot 过去一年平均每回访一次抓取约 4200 页。Pew 研究显示，AI 摘要使点击率从 15% 降至 8%。

robots.txt 与内容换流量模式难以维持。诉讼与私人授权为权宜之计。按请求付费分为带密钥的封闭市场，以及使用 HTTP 402 和稳定币的开放协议，如 x402 和 MPP。多数网站仍免费提供或屏蔽。