PrismML发布Bonsai 27B模型 通过1-bit量化压缩至3.9GB可在iPhone运行

AI初创公司PrismML发布Bonsai 27B模型，基于阿里巴巴通义千问Qwen3.6 27B基座，通过1-bit量化将27B参数压缩至约3.9GB，声称是首个能在iPhone上运行的27B级AI模型，目前该模型已以Apache 2.0许可证在Hugging Face开源。

传统27B参数模型通常需要数十GB存储空间，远超手机可用内存，而12GB内存的iPhone为单个应用提供的可用内存约6GB，还需与KV缓存和激活值共享。

Bonsai 27B的1-bit版本在15项基准测试中保留了全精度模型约90%的性能，同时将体积压缩至3.9GB，在iPhone 17 Pro上可实现每秒11个token的推理速度。在PC端，该模型在NVIDIA RTX 5090上可达每秒163个token（1-bit），在苹果M5 Max上为每秒87个token。

PrismML采用混合注意力架构，64层中仅16层使用全注意力机制，配合近无损4位KV量化，在262K上下文窗口下KV缓存约4.3GB，该模型同时支持图像和文本输入，面向推理、编程和AI Agent工作流设计。

PrismML CEO Babak Hassibi在接受CNBC采访时表示，苹果和其他公司正在评估该公司的模型，测试其在设备上的速度、能效和性能，称"他们确实在评估我们的技术"，但强调讨论处于"非常早期"阶段，而此前有媒体曾报道PrismML与苹果举行了关于技术应用方式的会议，不过苹果未回应该报道。

目前，虽然旗舰智能手机都在宣传端侧AI能力，但实际搭载的模型参数基本都在7B或更小，绝大多数生成式AI能力需要云端介入，而27B模型对于端侧AI的能力提升和规模化部署具备积极意义。