54GB狂缩至4GB!苹果接洽PrismML, 大模型"缩骨术"要占领手机了?

温故智新AIGC实验室

TL;DR:

苹果正与模型压缩公司PrismML秘密接触,他们的Bonsai-27B模型把270亿参数从54GB压到4GB,还能在iPhone上运行。虽然压缩后性能掉了一丢丢,但这可能是手机AI从"人工智障"到"真助理"的关键一步。

说实话,每次看手机发布会上的AI演示,我都恨不得快进。

AI消除路人、AI总结屏幕、AI语音助手点咖啡……流程熟悉得像背课文,但总感觉哪里不对——一断网,这些功能集体装死。

不能全怪厂商。现在的大模型动辄几十GB,手机根本塞不下。裁剪后的轻量模型智商又不在线,搞点Agent能力更是奢望。

所以当这条新闻出来时,我眼前一亮:苹果正在接洽一家名为PrismML的初创公司,评估他们的模型压缩技术1

如果谈成,一个完整的270亿参数大模型将能塞进iPhone,哪怕没网也能本地运行。

这剧情,有点意思了。

技术揭秘:给大模型"抽脂"的魔法

PrismML是什么来头?根据官网介绍,它脱胎于加州理工学院,背后站着Khosla Ventures、Cerberus和Google,专攻模型压缩2

他们最近发布的Bonsai-27B模型,把Qwen3.6-27B从54GB压缩到不足4GB,相当于给大模型打了一针"强力缩骨针"。

原理不复杂:传统模型中每个参数用16bit或32bit存储,PrismML则压缩到1-bit(只有+1和-1)或三值({-1,0,+1})。就像把高清照片从1600万色变成黑白两色,体积缩小14倍,再通过特殊训练把"智商"补回来。

效果如何?PrismML自测显示,1-bit版保留约90%性能,三值版约95%。虽然复杂推理和工具调用有损失,但考虑到体积只有原版的1/14,这波操作简直血赚3

社区实测也证实:三值版Bonsai-27B以5.9GB的体积达到了17.9GB模型的效果,当然幻觉和循环问题仍在,但优点是——它在手机上真的能跑4

苹果为何"心动"?

苹果在端侧AI上一直野心不小,但自家30亿参数的模型只能负责翻译、相册搜索这些"杂活",Agent能力基本为零。

而Bonsai-27B保留了Agent能力,比如工具调用和任务规划。这对苹果来说太香了——毕竟隐私至上的苹果最讨厌把用户数据送云端。

所以苹果主动找上门,一点也不奇怪。PrismML CEO Babak Hassibi确认,与苹果的洽谈处于早期阶段,可能授权甚至收购1

不过也别太激动。目前Bonsai-27B在iPhone 17 Pro上推理速度约11 tokens/s,处理摘要够用,但要实时对话还有点卡。但方向对了——将来优化算力,潜力很大。

端侧AI的"翻身仗"怎么打?

有趣的是,就在7月15日,苹果智能等七款端侧生成式AI完成备案5,显然监管层也为AI手机铺路了。

这次压缩技术给行业指了条明路:别再一味堆参数,效率才是王道。

一旦高端手机都能本地跑百亿参数模型,Agent将不再依赖云端,隐私和响应速度都会质变。用户终于可以在飞机上跟AI聊天,而不是面对那个"网络连接失败"的提示。

当然,挑战还有。压缩模型在精确理解和长文本生成上仍有欠缺。不同芯片的适配也是难题。但苹果的神经网络引擎可能成为杀手锏。

更重要的是,这一波压缩技术浪潮,正在倒逼整个产业链升级。接下来的大模型竞赛,可能从"谁参数量最大"变成"谁压缩术最巧"。

对消费者,这绝对是好事。你手中的手机,也许很快就能拥有一个真正智能、随时响应的AI助手,而不是现在的"半成品"。

苹果,快点安排吧。隔壁安卓已经开始卷了。

一句话总结:大模型成功"减肥",手机AI终于要"支棱"起来了。

引用


  1. PrismML發布微型AI模型 蘋果評估導入iPhone裝置提升算力 · Yahoo新闻 · 2026/7/15 · 检索日期2026/7/17 ↩︎ ↩︎

  2. 54GB降到4GB!苹果接洽PrismML,模型压缩技术要火? · 百度百科 · 2026/7/17 · 检索日期2026/7/17 ↩︎

  3. PrismML发布Bonsai 27B模型通过1-bit量化压缩至3.9GB可在iPhone运行 · 腾讯新闻 · 2026/7/15 · 检索日期2026/7/17 ↩︎

  4. Reddit社区讨论: r/LocalLLaMA · 2026/7/16 ↩︎

  5. 网信办备案公告 · 2026/7/15 ↩︎