Google解释了Pixel 3上人像模式的工作原理

2020-05-04 10:21:18
导读 自推出以来,Pixel智能手机上的相机是所有智能手机中最好的。大多数公司都使用双摄像头设置来拍摄人像。相比之下,Google Pixel智能手机的

自推出以来,Pixel智能手机上的相机是所有智能手机中最好的。大多数公司都使用双摄像头设置来拍摄人像。相比之下,Google Pixel智能手机的性能要优于带有单个摄像头的手机。在今年的Pixel 3中,Google大大依靠机器学习来改善深度估计。

以前,Pixel智能手机上的人像图片是在PDAF(相位检测自动对焦像素)的帮助下使用“立体声深度”的结果。它的工作原理是从不同角度获取图片并估计前景和背景对象的深度。借助“ 视差 ”效果可以计算出前景和背景之间的深度差。

但是这种方法无法在困难的情况下提供完美的人像拍摄,因为由于视点有限,深度计算通常会出现误差。因此,为了减少Pixel 3上的这些错误,Google训练了一个用TensorFlow编写的“ 卷积神经网络 ” 。这将以PDAF像素作为输入,并通过机器学习来预测深度。

为了训练该神经网络,Google建立了自己的自定义装置,称为“ Frankenphone ”,该装置可搭载五台Pixel 3智能手机。所有这些电话将在约2毫秒的公差内同时捕获图片。因此,借助该钻机,Google通过使用“ 来自运动的结构 ”和“ 多视图立体声 ” 计算出了高质量的深度。

为了获得良好的人像拍摄效果,上述基于机器学习的深度估计应运行得更快,以便用户不必等待。TensorFlow Lite解决了这一问题,TensorFlow Lite是用于电话和嵌入式设备的跨平台机器学习模型。借助Pixel 3中存在的GPU,该模型可以比以前更快地处理全分辨率,数百万像素的PDAF图像。

免责声明:本文由用户上传,如有侵权请联系删除!

猜你喜欢

最新文章