极速一分快3官方_一分快3登入CVPR 2019 召开在即,亮风台端到端的投影仪光学补偿入选 oral 论文

  • 时间:
  • 浏览:57
  • 来源:5分11选5平台-5分11选5官方
雷锋网(公众号:雷锋网) AI 科技评论消息,随着 CVPR 2019 的临近,很多的企业和高校提前大选自家的入选论文信息极速一分快3官方_一分快3登入。

近日,AR 产品与服务提供商亮风台提前大选了投影 AR 算法研究最新成果,主要用于外理投影仪光学补偿难题,即当投影屏幕须要理想的白色漫反射时,尽可能消除投影面上的图案,相关论文《End-to-end Projector Photometric Compensation》可能入选 CVPR 2019 的 oral presentation 环节。以下便是亮风台对极速一分快3官方_一分快3登入这篇论文的删改解读。

《End-to-end Projector Photometric Compensation》的贡献主要在以下几点:

1. 首次将投影仪光学补偿难题阐述为三个多多端到端的厚度学习难题,假若构造三个多多新颖的名为 CompenNet 的卷积神经网络(CNN)来隐式的学习这名 简化的补偿函数。

2. 首次提出三个多多独立于设备和实际投影的数据库和评价基准,今后之类 的工作还能不能够在这名 评价基准上统一比较,而不须要复现该研究中使用的设备和实际投影,之前 的工作是没三个多多多的评价基准的。

3. 提供了三个多多预训练的法律法极速一分快3官方_一分快3登入子,将预训练好的 CompenNet 迁移到新的投影屏幕和硬件设置上,只须要拍摄大量的采样图片就还能不能够媲美甚至超过从零开使训练 CompenNet 和传统法律法子,三个多多还能不能够大量的节省采样图拍摄时间和训练时间。

4. 在亮风台提出的评价基准上比较了 CompenNet 和一些传统的法律法子,以及三个多多通用的图到图迁移的厚度学习框架 pix2pix,实验结果显示在数值和质量效果上新法律法子都大幅度优于一些参与比较的法律法子。

背景介绍

这篇工作主要外理投影仪光学补偿难题,即当投影仪屏幕须要理想的白色漫反射时,屏幕的颜色和纹理会意味用户看一遍失真的效果,如下图 1 所示。

图 1. (a) 正常光照下的具有纹理和颜色的投影屏幕。(b) 投影仪投射的图片(也是大伙 我应该 看一遍的效果)。(c) 相机拍摄到的,那么补偿的投影结果,即将 (b) 直接投影到 (a) 上。(d) 大伙 模型计算出的补偿图。(e) 相机拍到的补偿后的效果,即将 (d) 投影到 (a) 上。比较 (c) 和 (e),还能不能够看一遍明显提升的效果和细节。

为了外理投影仪光学补偿难题,一般是用三个多多相机来拍摄大量的投影仪投射的图片,假若从哪些地方地方拍到的和投射的图片对中拟合出三个多多光学补偿函数,再将要投射的图片经过这名 光学补偿函数补偿,最后由投影仪投射,三个多多投射的补偿正好还能不能够抵消非理想屏幕的颜色、纹理和投影仪这名 的非线性光学特性。

假若以上的光学过程过于简化,一些传统法律法子以及目前效果较好的算法,须要将这名 过程简化为投影仪像极速一分快3官方_一分快3登入素与相机拍到的像素一些一一对应,假若独立地对每个像素拟合三个多多光学补偿函数。三个多多的假设,往往忽略了一些重要信息,比如可能投影仪和相机跟屏幕的距离,投影仪相机轻微失焦和屏幕表层相互反射等因素,每三个多多投影仪的像素并须要跟每个相机像素一一对应,很可能三个多多投影仪像素覆盖了几个相机的像素,三个多多的简化势必影响投影仪光学补偿的效果,实验的结果也印证了这名 点。

研究法律法子

为了外理过于简化,大伙 采用三个多多新思路,即用 CNN 网络来端到端隐式地学习这名 简化的光学补偿函数。三个多多的好处主一些:

1. CNN 有足够的模型简化度来拟合简化的光学过程。

2. CNN 滤波器这名 就对领域像素采样,三个多多大伙 不须要像传统法律法子那样进行像素一一对应的简化。

3. 根据大伙 的数学推导,发现还能不能够用一张相机拍到的屏幕照片来表示投影屏幕这名 的光学特性,假若将这张照片作为 CompenNet 的第三个输入,指导 CompenNet 学习相机拍摄的失真图和屏幕光学特性的关系, 如下图 2 所示。

图 2. CompenNet 的特性。比较训练(左)和补偿(右)过程,大伙 发现学习从相机拍摄的未补偿图到投影仪输入图片的反映射,一些学习从投影仪输入图片(我应该 用户看一遍的效果)到补偿图片的映射

网络训练和光学补偿的流程如下图 3 所示。

图 3. 所提出的投影仪补偿管道的流程图包括三个多多主要步骤。(a)投影并捕捉投影表层图和一组采样图像。(b)使用投影表层图和捕获的图像对训练所提出的 CompenNet,即。(c)利用训练的模型,补偿输入图像并投影。

实验结果:

图 4. 相机拍摄的补偿效果比较。第一列:投影仪屏幕表层纹理。第二列:相机拍摄的未补偿效果。第三到第六列,相机拍摄的不同补偿法律法子补偿后的效果。第七列,投影仪的输入,即我应该 用户看一遍的效果。

表 1. 不同补偿法律法子的数值比较,以下数值是平均了来自于 24 个不同环境设置,即光照、投影仪、相机姿态和投影仪表层纹理的结果。每个环境设置有 60 0 张训练图,60 张测试图。还能不能够明显看一遍在投影仪光学补偿任务上,这名 法律法子优于传统法律法子和 pix2pix。

表 2. CompenNet 预训练与重新训练的比较。大伙 只采用 32 个训练样本并只训练 60 0 个循环,总共耗时 170 秒。还能不能够明显看一遍,微调预训练模型的结果优于重新训练 CompenNet,假若可能只须要大量样本和训练时间,在实际使用中也更便捷。

论文地址:https://arxiv.org/pdf/1904.04335.pdf

补充材料:http://www.dabi.temple.edu/~hbling/publication/CompenNet_sup.pdf

源代码:https://github.com/BingyaoHuang/CompenNet

雷锋网版权文章,未经授权禁止转载。详情见转载须知。