谷歌送上主播福利，手机拍视频也用神经网络实时换背景

谷歌送上主播福利，手机拍视频也用神经网络实时换背景

雷锋 （-SZ） 的报道。

神经网络视频分割（加上特效）

雷锋AI技术评测：视频分割是一种应用广泛的技术，将视频的前景和背景分离后，导演和视频制作者可以将两者作为两个不同的视觉层使用，方便后续处理或替换。修改背景可以传达不同的情绪，使前景中的主角看起来像是去了别的地方，或者增强视频消息的影响力。然而，这项工作传统上是手动完成的，这非常耗时（例如，需要逐帧绘制里面的人）;节省时间的解决方案需要一个专门的电影工作室，以绿幕作为拍摄背景，可以实时替换为其他内容。

然而，过去完成的复杂背景分割现在只需一部手机就可以完成！谷歌今天在中国集成了一项新的视频分割功能，可让您准确、实时地分割手机上视频的前景和背景。此功能专为视频作者设计，在当前的 beta 版本中，作为一种新的轻量级视频格式，视频创作者可以替换和更改视频的背景，并且无需特殊设备即可轻松增加视频的创意价值。 也发布了一篇博文，介绍了技术细节，雷锋的 AI 技术评测整理如下。

任务目标

利用机器学习的力量， 的研究人员将这项任务视为语义分割问题，并设计了一个卷积神经网络来实现这一目标。具体来说，他们根据以下要求和限制，针对移动电话的特性设计了适用的网络架构和训练流程：

数据

为了向机器学习管道提供高质量的训练数据， 为数以万计的照片添加了注释，这些照片具有各种丰富的前景（人物）姿势和背景。标注内容包括精确到像素的前景人物的图像结构，如头发、眼镜、脖子、皮肤、嘴唇等，各类背景统一标注为“背景”，在人工标注者的交叉验证测试中，标注质量达到了 98% 的 IOU。

一个被仔细标记为 9 个类别的训练样本示例;前景元素的注释区域直接叠加在图像上

网络输入

这个视频分割任务的具体定义是计算视频输入的每一帧（RGB 三通道）的二进制掩码映射。这里需要解决的关键问题是在不同帧的计算掩码映射之间实现时间连续性。使用 LSTM 和 GRU 的现有方法虽然有效，但对于希望在手机上实时运行的应用程序来说，需要太多的计算能力。所以 研究人员想出的替代方案是，将前一帧计算出的掩码贴图作为第四个通道，将新帧的原始 RGB 通道作为网络输入，从而实现时间持久化。如下图所示

将原始图像（左）分离为三色通道，然后添加根据前一个图像（中）计算的蒙版图像。这些值一起用作神经网络的输入，以预测当前帧的掩码图（右）。

培训过程

对于视频分割任务，我们希望实现帧之间的时间连续性，同时还要注意图像中内容的突然变化，例如一个人突然出现在摄像机的视野中。为了训练模型足够健壮以处理这些用例， 研究人员对每张图像的真实背景分割执行了各种不同的过程，然后将其用作前一帧的蒙版图像

演示实时视频分段

网络架构

在修改后的输入/输出格式的基础上， 研究人员在标准沙漏分段网络架构的基础上进行了以下改进：

具有跳跃连接的沙漏形拆分网络

大比例压缩的瓶颈

由于这些修改，Web 在移动设备上运行得非常快，7 的速度超过每秒 100 帧，Pixel 2 的速度超过每秒 40 帧，以及很高的准确率（根据 的验证数据集为 94.8%），提供了各种丰富流畅的实时响应功能。

视频分割团队的近期目标是在该功能的小规模开放期间进行更多测试。随着分割技术的改进并扩展到更多的标签识别和分割，谷歌的 AR 服务在未来可能会集成到其中。

，由雷锋人工智能科技评论编译

-结束-

三个模块，五个应用，手拉手快速上手 NLP;具有丰富项目经验的海外博士生讲师;算法+实践，具有典型的行业应用;边学边学，专业社区，以及与讲师的在线问答。点击查看详情，点击阅读原文链接，或长按识别上方二维码~