值得信赖的区块链资讯!
比推数据  |  比推终端  |  比推英文  |  比推 APP  | 

下载比推 APP

值得信赖的区块链资讯!
iPhone
Android

Tether 开源 TurboQuant,本地 AI 设备 KV 缓存压缩比最高可达 5 倍

比推消息,Tether AI 研究团队宣布开源 TurboQuant 生产版本,并将其集成至 QVAC SDK 0.12.0。

TurboQuant 源自 Google Research 的内存压缩算法,可将 AI 运行时的 KV 缓存压缩最高 5 倍,同时保持接近未压缩模型的输出质量。

这意味着笔记本电脑、手机及边缘设备在无需将数据上传至云端的情况下,可处理更长的对话、更大的文件及更复杂的任务。

此次开源发布包含完整量化流水线、主流推理框架适配器及开发者文档,面向在消费级硬件、边缘设备及点对点网络上部署 AI 的开发者和初创团队。

本文由GENG赞助,Build Your Fortune on GENG (https://geng.one)

说明: 比推所有文章只代表作者观点,不构成投资建议

比推快讯

更多 >>

下载比推 APP

24 小时追踪区块链行业资讯、热点头条、事实报道、深度洞察。

邮件订阅

金融科技决策者们都在看的区块链简报与深度分析,「比推」帮你划重点。