新的去噪方法产生更清晰的照片真实感图像更快

2019-12-17 15:43:58
导读蒙特卡罗计算方法在游戏和电影中的许多真实图像背后。他们自动化了复杂的模拟物理的灯光和相机,以产生高质量的渲染样本,不同的图像特征和场景。但是蒙特卡罗绘制的过程很慢,可能需要几个小时甚至几天的时间才能生成一幅图像,而且通常结果仍然是像素化的,或者是“噪音”的。来自麻省理工学院、Adobe和Aalto大学的一个全球计算机科学家团队已经开发了一种创新的方法,用于通过使用基于深度学习的方法来在更少的时间

蒙特卡罗计算方法在游戏和电影中的许多真实图像背后。他们自动化了复杂的模拟物理的灯光和相机,以产生高质量的渲染样本,不同的图像特征和场景。但是蒙特卡罗绘制的过程很慢,可能需要几个小时甚至几天的时间才能生成一幅图像,而且通常结果仍然是像素化的,或者是“噪音”的。

来自麻省理工学院、Adobe和Aalto大学的一个全球计算机科学家团队已经开发了一种创新的方法,用于通过使用基于深度学习的方法来在更少的时间内产生高质量的图像和场景设计,该方法显著地减少了图像中的噪声。它们的方法导致更清晰的图像,这些图像能够有效地捕捉来自样本特征的复杂细节,包括复杂的照明组件,例如阴影、间接照明、运动模糊和景深。

研究人员将于7月28日至8月1日在洛杉机举行。此次年会展示了世界顶尖的专业人员、学者和创新思维,在计算机图形学和互动技术的前沿。

Adobe研究的主要作者Micha l Gharbi说:“我们的算法可以用很少的样本从有噪声的输入图像中生成干净的图像,并且可以在迭代场景设计的同时产生快速呈现预览。”Gharbi是在Frédo Durand实验室的麻省理工学院(MIT)攻读博士学位时开始这项研究的,他也是该研究的合著者。

团队的工作侧重于所谓的"去噪,"A后处理技术,以减少蒙特卡罗渲染中的图像噪声。它本质上保留了图像的细节,并消除了从其清晰度中消除的任何东西。在以前的工作中,计算机科学家已经开发出了通过从样本图像和相邻像素中的像素取平均值来平滑噪声的方法。

“这是相当好的工作,而且有几部电影实际上已经在制作中使用了,”合著者之一,麻省理工学院博士研究生,也曾在杜兰德大学学习。然而,如果图像太吵,通常情况下,后处理方法无法恢复干净和清晰的图像。通常,对于质量合理、耗时长的图像,用户平均每个像素仍需要数百个样本。

有些类似的是在图形软件程序中编辑照片的过程。如果用户未从原始文件中工作,则照片的更改版本可能不会导致清晰、清晰、高分辨率的最终图像。一个类似但更复杂的问题是图像去噪。

为此,研究人员“新计算”方法涉及直接与蒙特卡罗样本一起工作,而不是平均的、有噪声的图像,其中大部分信息已经丢失。与处理图像或视频的典型的深度学习方法不同,研究人员展示了一种新型的卷积网络,其可以学习直接从蒙特卡罗样本的原始集合中而不是从减少的基于像素的表示中去噪渲染。

他们工作的一个关键部分是一个新的核心--预测计算框架,将单个样本--颜色和纹理--“分割”到附近的像素上,以锐化图像的整体组成。在传统的图像处理中,使用核进行模糊或锐化。飞溅是一种技术,解决运动模糊或深度场问题,并使它更容易平一个像素区域的样本。

在这项工作中,团队的泼溅算法为每个样本生成2-D内核,并将样本"泼溅S"到图像上。"我们认为这是一种更自然的方法来完成后处理,"说。团队使用随机场景生成器培训他们的网络,并在各种现实场景中广泛测试他们的方法,包括各种照明场景,如间接照明和直接照明。

"我们的方法提供了在非常低的采样计数下的清洁器输出,其中先前的方法典型地进行斗争,"添加了Gharbi。

在未来的工作中,研究人员打算用它们的方法处理可扩展性,以扩展到更多的样本特征,并探索技术来增强去噪图像的帧到帧平滑度。

本文还在麻省理工学院的MiikaAitala和AaltoUniversity和Nvidia的JaakkoLehtinen共同撰写了基于样本的MonteCarlo去噪方法。有关详细信息和视频,请访问小组的“项目”页面。

免责声明:本文由用户上传,如有侵权请联系删除!

猜你喜欢

最新文章