1秒将2D图片变3D!苹果AI图像新突破

Antutu

阅读

今日,苹果发布名为《Sharp Monocular View Synthesis in Less Than a Second》的论文,详细介绍了其最新研发的SHARP模型的训练方法与技术原理。

该模型采用创新的3D高斯泼溅技术,通过在空间中叠加大量3D高斯分布点替代传统网格或神经场,实现快速生成高真实感的3D影像效果。

图片

与传统方案需数分钟甚至数小时的处理时间不同,SHARP的合成速度实现了三个数量级的提升,可提供近乎即时的3D转换体验。

其训练过程结合海量合成数据与真实世界数据,使模型掌握了通用的深度与几何规律,面对全新照片时,仅需通过神经网络的单次前馈传递,即可直接预测出数百万个3D高斯的位置与外观参数,瞬间完成3D场景重建。

图片

在基准测试中,SHARP表现优异——LPIPS指标降至34%(较其他方案降低25%),DISTS指标则减少21个百分点至43%,显示出其在感知影像相似度与纹理相似度上的显著优势。

图片

不过,该模型仍存在一定局限性:为平衡真实性与速度,其重建主要聚焦于拍摄视角附近的3D视图,无法凭空填补照片中被完全遮挡或未拍摄到的区域,因此当前生成的3D场景视角移动范围仍限定在原拍摄位置邻近区域。

图片

目前,苹果已将SHARP的完整代码及相关资源公开至GitHub平台,全球开发者均可下载测试。

原创文章,作者:MoFirLee,如若转载,请注明出处:http://www.antutu.com/doc/135857.htm

相关推荐

登录后才能评论

评论列表 ( )

返回
顶部