眼睛反射解锁3D世界，黑镜成真，马里兰大学团队新作吹爆科幻迷

2023/6/20 12:16:10 责任编辑：梦泽

仅仅通过眼球的倒影，就可以重现你眼中的世界吗？ 这样的科幻场景在本文中变成了现实。 更巧的是，同一天，《黑镜》第六季开播。

“唯一真正的发现之旅不是去陌生的土地，而是通过别人的眼睛看宇宙。” ——马塞尔普鲁斯特

通过别人的眼睛看世界，这个科幻、诗意（和恐怖）的想法已经成真！

《黑镜》第一季《你的全部历史》

现在，我们只需使用眼睛的反射，就可以在 3D 中重建人正在看的东西。

是的，这很像《黑镜》。

最近，来自马里兰大学的一个团队提出了一种新方法——通过使用包含眼睛反射的肖像，对相机未捕获的场景进行 3D 重建。

论文地址：abs/2306.09348

项目地址：

经典科幻场景成真？

使用眼睛反射重建辐射场？ 这个想法看似疯狂，但其实有足够的理论依据。

作者表示，由于人眼具有高度反射性，因此完全可以仅使用一系列捕捉头部运动的帧中的眼睛反射来重建和渲染人正在观察的 3D 场景。

鉴于这个概念非常“黑镜”，并且在本文发表后几个小时内就宣布了新一季的《黑镜》，这样​​的巧合让人怀疑《黑镜》的导演是否也注意到了这一点。 文件。 （狗头）

黑镜第六季现已播出

这一研究一出，顿时引起了网友的轰动。

那么，我们已经快到了吗？

这不是2000年代攻壳机动队的场景吗？ 这些虚构的故事都变成了现实！

100% 银翼杀手，现在给我一份。

儒勒凡尔纳的《基普兄弟》成真了！

当然，也有人对此表示惊骇：这种技术绝对不能用来做调查取证之类的事情。

今天，我们已经有了 Varjo 眼动追踪相机，以及苹果和其他头戴式显示器。 这些设备可以捕获大量的镜片材料。 结合这项新技术，无数新的科幻场景即将成为现实。 真的...

通过利用人眼上的微小光反射，研究小组开发了一种方法，可以使用在固定相机位置拍摄的一系列单眼图像来重建人所观察到的（非直视）场景。

然而，仅根据观察到的反射来训练辐射场是不够的，原因如下：1）角膜定位中的固有噪声，2）虹膜纹理的复杂性，以及3）每个图像中捕获的低分辨率反射。

为了应对这些挑战，团队在训练过程中引入了角膜姿势优化和虹膜纹理分解，并借助基于人类虹膜的径向纹理正则化损失。

与需要移动相机的传统神经场训练方法不同，他们的方法将相机放置在固定的视点并完全依赖于用户的移动。

利用人眼的反射实现场景重建

由于难以准确估计眼睛的姿势，再加上虹膜和场景反射之间交织的纹理，因此这项任务具有挑战性。

为了解决这个问题，作者对眼睛姿势、描述场景的辐射场和观察者的眼睛虹膜纹理进行了联合优化。

具体来说，主要有以下三个贡献：

1.全新3D重建

我们提出了一种从眼睛图像重建观察者世界的 3D 场景的新方法，该方法结合了之前的基础工作和神经渲染的最新进展。

2. 虹膜的径向先验

引入了用于虹膜纹理分解的径向百思特网先验，显着提高了重建辐射场的质量。

3. 角膜姿势优化

开发了角膜姿势优化程序以减轻眼睛姿势估计中的噪声，克服了从人眼中提取特征的独特挑战。

结果表明，采用这种新方法，我们可以通过移动图片从眼睛的反射中获取场景的多个视角，最终实现完整的场景重建。

更重要的是，团队还尝试用麦莉赛勒斯和Lady Gaga的MV来重构他们眼中的场景。

作者说，他们成功地重建了出现在麦莉眼中的物体，并且似乎从 Lady Gaga 的眼中看到了一个人的上半身。

然而，由于这些视频的质量不够高，重建结果的准确性还无法判断。

如何？

众所周知，健康的成年人具有几乎相同的角膜几何形状。

因此，只需计算图像中人角膜的像素大小，就可以准确计算出他们的眼睛位置。

接下来，作者通过从相机获取光线并将其反射出近似的眼睛几何结构来训练眼睛反射的辐射场。

为了避免在重建时出现人眼虹膜，作者还训练了一个学习虹膜纹理的二维纹理图进行纹理分解。

实验评估 综合数据评估

首先，作者通过将人眼模型放置在场景中来对合成数据进行评估。

下图显示了仅使用眼睛反射重建的场景。

由于在现实生活中无法完美地估计角膜，我们评估了角膜姿势优化在估计角膜半径时对噪声的鲁棒性。

为了模拟实际数据中可能遇到的深度估计误差，作者通过缩放具有不同噪声水平的每个图像中观察到的角膜半径来破坏观察到的角膜半径 r_img。

下图显示了不同噪声水平下的性能变化。

值得注意的是，随着噪声的增加，与没有姿势优化的重建相比，我们提出的姿势优化重建在重建的几何形状和颜色方面更加稳健。

这证明姿势优化对于真实场景至关重要，因为从投影角膜到图像中初始椭圆的拟合并不完美。

此外，有和没有纹理分解的定量比较表明，我们的方法在 SSIM 和 LPIPS 方面的纹理分解表现更好。

值得注意的是，作者没有计算 PSNR，因为在设置中，反射和场景本身的照明差异非常大。

真实世界评估

为了保证真实视野，笔者选择了索尼RX IV相机进行拍摄，并使用Adobe对图像进行后期处理，减少角膜反射中的噪点。 同时，作者在人物两侧添加了光源，照亮目标物体。

在这个过程中，被摄者需要在摄像机的视野范围内移动，这样团队就可以在每个场景中捕捉到5-15帧图像。

由于场景照明的动态范围很大，作者在所有实验中都使用了 16 位图像，以避免在观察到的反射中丢失信息。

平均而言，角膜仅覆盖每张图像中约 0.1% 的区域，而感兴趣的对象约占 20x20 像素，并与虹膜纹理交错。

数据处理

作者首先通过从图像中估计角膜中心和半径来获得初始角膜位置估计。

然后，使用相机的平均深度和焦距的直接近似计算角膜的 3D 位置，并计算其表面法线。

为了自动执行此过程，作者使用 Dino 来定位眼睛的边界框并使用椭圆拟合虹膜。

虽然角膜通常被遮挡，但我们只需要未遮挡的区域，因此可用于获得虹膜的分割掩模。

实际结果

从下图所示的结果可以看出，尽管角膜位置和几何估计不准确，但作者的方法能够从真实世界的人像图像中重建 3D 场景。

由于角膜边界模糊，很难在图像中实现精确定位。

此外，对于某些眼睛颜色（例如绿色和蓝色），3D 重建更加困难，因为虹膜纹理更亮。

此外，当纹理没有明确建模时，重建的图片中会出现更多的“漂浮百思特网物”。

为了解决这些问题，可以通过增加径向正则化程度来提高重建质量。

然而，这种方法仍然有两个主要的局限性。

首先，目前真实世界的结果都是基于“实验室设置”，比如放大人脸、使用额外的光源照亮场景等。然而，在更自由的环境中，传感器分辨率越低，挑战越大、动态范围较小和运动模糊。

其次，目前关于虹膜纹理（例如恒定纹理、径向恒定颜色）的假设可能过于简单，因此当眼睛明显旋转时该方法可能会失败。

关于作者

共同作者 Kevin Zhang 目前是马里兰大学的博士生。

Y. Feng 获得博士学位。 马里兰大学计算机科学专业，研究方向为计算成像、中级视觉和计算摄影。 开发了用于图像和 3D 数据处理的机器学习算法，范围从混合现实到自然科学。

Jia-Bin Huang 是马里兰大学的副教授，此前曾获得博士学位。 来自UIUC。 研究兴趣集中在计算机视觉、计算机图形学和机器学习的交叉领域。

参考：