用AI辅助，让机器的夜视能力像白天一样清晰——

如今，这种颠覆现有热成像技术的新方法已成为封面。

来自美国普渡大学和密歇根州立大学，还有一位是浙江大学毕业的博士。

通过克服传统解决方案中的“重影”问题，该方法在基准测试中显示出巨大的优势，不仅可以像白天一样看到环境的纹理和深度，还可以感知RGB和热视觉之外的各种物体。 物理信息对于机器感知可以说是相当有好处的，尤其是对于自动驾驶行业来说。

笔者认为，这一成果可以直接加速第四次工业革命。

你怎么看？ 我们打开纸来看一下。

夜视如白天般清晰

当前最先进的机器感百思特网知方法使用无处不在的热信号来再现环境信息。

但它有一个非常明显的缺点，那就是会产生“重影效应（）”。

具体来说，该效应是指由于物体和环境不断发射热辐射而产生的三个物理特性：温度（T，物理状态）、发射率（e，材料指纹）和纹理（X，表面几何形状）。 混合 光子流中发生的现象（仅在夜视情况下）。

这种现象主要是环境/物体​​缺乏纹理造成的，如下图所示：

我们只能在灯泡关闭时看到灯泡上的几何纹理，一旦照亮就完全消失，而黑体辐射无法“关闭”，所以这意味着我们总是得到缺乏纹理的热图像，无法看到一个完全真实的黑暗世界。

在这里，作者提出了一种名为 HADAR（heat-and）的方法，该方法以热光子通量为输入，记录高光谱成像热立方，并通过 T百思特网eX 分解解决重影效应的挑战。

作者表示，TeX分解利用机器学习从杂乱的热信号（下图中的彩色部分）生动地恢复纹理，并使人工智能算法达到信息论的极限，这是迄今为止传统RGB或热信号难以做到的。视觉方法可以做到这一点。

其具体实现如下图所示：

据作者介绍，其建筑的物理灵感来自于三个方面。

首先，热立方体的 TeX 分解依赖于空间模式和光谱热特征，这启发他们在 UNet 模型中使用光谱和金字塔（空间）注意层。

其次，由于TeX的简并性，必须指定以下数学结构来保证逆映射的唯一性（，表示物体的指数，v为波数），因此热照明系数V必须为也就百思特网是说，TeX-Net 不能进行端到端的训练。

最后，材料库M及其维度是整个网络的关键。

另外，作者还提出了一种非机器学习方法，即TeX-SGD来生成TeX-vison作为补充。

在测试中我们可以看到HADAR方法带来了非常高的精度。

如下图所示，第一行显示基于原始热图像的里程计方法由于重影而导致精度较差； 第二行显示 HADAR 中恢复的纹理和增强比热里程计精确约 100 倍；

在下面的场景（黑色汽车、人和纸板爱因斯坦）中，我们可以看到：

视觉驱动的物体检测光学成像中（a）错误识别了两个人和一辆车，而激光雷达点云（c）不仅识别了两个人还丢失了汽车，只有HADAR方法才能带来全面的理解，准确地框出一个人和一辆车。

最后一组图充分证明了HADAR在夜间的整体视觉能力优于目前最先进的热测距方式（），并且其RGB立体视觉与白天测试的基本处于同一水平，即哈达尔在黑暗中。 就像在白天一样查看环境纹理和深度。

关于作者

作者之一，普渡大学研究员。 2011年6月获得浙江大学物理学学士学位，2016年6月获得浙江大学光学博士学位。

鲍先生之前的研究重点是非齐次系统（量子力学）中的卡西米尔效应，现在扩展到张量网络、神经网络及其在量子物理中的应用。

通讯作者为普渡大学电气与计算机工程系教授祖宾雅各布(Zubin Jacob)和密歇根州立大学计算机科学与工程系助理教授(后者正在招收具有“强大数学背景”的学生)。

论文地址：

广告声明：文章中包含的外部跳转链接（包括但不限于超链接、二维码、密码等）用于传达更多信息，节省选择时间。 结果仅供参考。 IT之家的所有文章均包含此声明。