实时风格迁移，移动端运行

言，研究者提出了一种基于实例的实时视频人脸风格迁移框架 FaceBlit，该框架通过语义上有意义的方式保留了风格的纹理细节，也就是说，用于描绘特定风格特征的笔画出现在目标图像的适当位置。

与以往风格迁移方法相比，该框架不仅保留了目标对象（target subject）的身份，而且不需要大型数据集和冗长训练周期即可实现实时运行。

为此，研究者修改了 Fišer 等人（2017 年）的人脸风格化 pipeline，这样快速生成一组指引通道（guiding channel），不仅可以保留了目标对象的身份，还兼容 Sýkora 等人（2019 年）的基于 patch 合成算法的速度更快变体。

得益于这些方法上的改进，研究者创建了首个即使在移动端，也可以将单个肖像的艺术风格实时迁移至目标视频中人脸的系统框架

视频人脸风格迁移方法介绍

该研究方法的输入是人脸的风格范例图像𝑆以及目标人脸视频序列 T。研究假设脸部表情的改变以及移动都是基于受试者注视摄像头，并且不被其他物体遮挡。该研究的输出是一个风格化的序列𝑂，它保留了𝑆的重要艺术特征，同时保留了目标主体的身份。尽管已经可以使用 Fišer 等人 [2017] 的方法产生这种输出，但这里的一个主要缺点是，他们的方法仅适用于离线处理。

为了实现实时性能，研究者需要改变计算指引通道的方式，并用 Sýkora 等人 [2019] 提出的更快的变体取代 Fišer 等人 [2016] 的基于缓慢 patch 的合成算法。

在 Fišer 等人提出的方法中，四个指引通道用于驱动合成。分割指引𝐺_seg，通过将面部细分为一组区域（头发、眉毛、鼻子、嘴唇、口腔、眼睛和皮肤）来描绘重要的面部特征；位置指引（positional guide）𝐺_pos，对源面部和目标面部之间的空间对应关系进行编码。这两个通道确保语义上有意义的迁移。

（编辑：济源站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!