可让iPhone 17 Pro完整运行270亿参数Qwen 3.6 PrismML已与苹果洽谈合作

Antutu

阅读

据外媒The Information报道,美国初创公司PrismML已成功将阿里巴巴开源大语言模型Qwen 3.6的270亿参数版本压缩至不到4GB,使其能在iPhone 17 Pro上完整运行,目前苹果已与PrismML举行会议,探讨如何将该技术应用于iPhone端侧AI。

PrismML由加州理工学院电气工程教授哈西比创立,该校拥有相关压缩技术的专利并独家授权给PrismML,该公司透露,其压缩后的端侧模型能够完成复杂对话、深度推理、自主智能体任务以及软件编写,开源模型计划于7月14日开放下载。

图片

参数量是衡量AI模型处理能力的核心指标,类比人脑突触数量,目前大多数移动端模型只能运行数十亿参数的版本,除了算力限制,移动设备的内存容量也是主要瓶,PrismML声称其压缩技术不影响模型性能,而传统压缩方法在缩小模型体积时通常会导致能力下降。

可做对比的是,苹果在今年WWDC上发布的端侧主力模型AFM 3 Core Advanced拥有200亿参数,但采用稀疏架构,每次推理仅激活10亿至40亿个参数。PrismML的方案则让全部270亿参数同时处于活跃状态,在相同硬件条件下可调用更多计算资源。苹果的AFM 3 Core Advanced目前为iPhone 17 Pro和iPhone Air上的Siri增强语音和系统级听写功能提供支持,但iOS 27首个开发者测试版中,新一代AI听写功能默认关闭。

PrismML首席执行官哈西比表示,公司计划继续压缩更大规模的AI模型,目标是万亿参数级别,届时将进入OpenAI GPT和Anthropic Claude等前沿模型所在的领域,哈西比称,未来95%的智能服务可能在本地设备上完成,仅5%的高端功能需要依赖云端。

原创文章,作者:HyperZ-Ton,如若转载,请注明出处:http://www.antutu.com/doc/137159.htm

相关推荐

登录后才能评论

评论列表 ( )

返回
顶部