当你可以实时编辑你看到的东西时，为什么还要看现实呢？

增强现实技术的采用进展缓慢，但确实如此，而且很容易看到这项技术的一个可能的未来：硬件可以让你实时编辑你看到的东西，用虚拟覆盖物替换你周围的物体。更准确地说，可以称之为混合现实。

保时捷人工智能团队的最新研究（是的，汽车制造商-我们将在稍后讨论这一点）表明了这可能是如何工作的。该团队已经建立了一个名为TransforMR的人工智能系统，该系统可以检测汽车和人等物体，将其移除，然后用CGI替代品实时替换。最终的结果并非完美无瑕（编辑是随意的，CGI模型看起来像是从3D电影制作人那里借来的），但这个概念是惊人的。不难想象这样的应用程序在未来几十年会变得司空见惯。

这是一个粗略的演示，但概念是惊人的

这项工作背后的团队告诉《边缘》杂志，尽管他们的工作中的单个元素以前已经完成过，但复合系统是新颖的。TansforMR可以在普通智能手机和平板电脑上运行，但需要4G连接才能将数据发送到云端。图像经过处理，因此对象不仅像Snapchat AR镜头或苹果的Memoji那样被遮盖，而且被完全编辑掉。检测、分割对象，然后“修复”（替换为AI生成的背景），并用CGI模型替换原始模型。

TransforMR模型涉及许多不同的步骤。

显然还有很多地方需要改进。低质量修复时帧速率仅为15fps；滞后时间为50至100毫秒；而且CGI替代品的质量也不是最好的。但是，系统背后的团队表示，这些方面相对容易改进。

保时捷机器学习研究员穆罕默德·卡里（Mohamed Kari）告诉《边缘》（Verge）杂志说：“主要的限制是，大型图像非常需要计算。”。“因此，对于修复，我们目前使用非常小的图像，操作512 x 512图像。但是带宽[使用率]可以忽略不计。如果您可以使用FaceTime，则可以使用TransforMR。”

Kari说，该系统的关键要素之一是使用姿势检测。这意味着，例如，当系统检测到一个人时，它会识别出身体中18个独立的关节。这意味着CGI替换可以实时定位到目标的运动。Kari将其与其他仅识别几何曲面的AR系统进行了比较。

目前，将这项技术集成到AR眼镜中是不可能的

看看TransforMR的视频片段，不难想象这样的软件会被集成到AR眼镜中。用户可以为他们的一天选择一个“主题”，用科幻小说替代汽车、建筑物和人，或者取材于大自然的物品。但是，正如Kari指出的，这将涉及一个巨大的硬件挑战。目前的增强现实眼镜只能在镜片上投射低分辨率、半透明的覆盖物。现在，我们只是没有技术来“编辑”用户在这种硬件上看到的东西。（虽然这可能是通过“直通式”虚拟现实系统实现的，第一人称摄像机在屏幕上播放实时视频，完全挡住佩戴者的视线。）

Kari说：“我们在屏幕上复制完整的图像，所以我们可以移除任何我们想移除的东西，但是使用增强现实眼镜移除物体是困难的，因为它增加了光的强度。”。“例如，在全息透镜中，你是透过玻璃看的，所以去除东西就比较困难。这个问题有待研究。”

但是为什么保时捷一开始就在调查这种技术呢？据该公司的人工智能设计师Tobias Grosse Puppendahl称，这一切都是为了改善乘客和司机的体验。Grosse Puppendahl告诉《边缘》杂志，TransforMR软件的未来版本可以用来在人们被困在交通中时娱乐他们。“我们的主要问题是，我们如何才能以一种有趣和有趣的方式来改变现实？这就是我们的想法的来源。”

保时捷的其他研究项目也遵循类似的主题。例如，该公司还建立了一个名为SoundRide的原型系统，该系统使用汽车的机器视觉来检测景物的变化并提示适当的音乐。“也许，例如，你正开车穿过阿尔卑斯山，行驶在一条美丽的路线上，突然你有了一个美妙的景色，也许音乐也会改变，”卡里说。“我们正在思考技术如何让汽车体验更有趣、更美丽。”这意味着要修补人们原本会看到和听到的东西。