AgileGAN: Stylizing Portraits by Inversion-Consistent Transfer Learning
Guoxian Song, Linjie Luo, Jing Liu, Wan-Chun Ma, Chunpong Lai, Chuanxia Zheng, Tat-Jen Cham — ACM Transactions on Graphics (Siggraph 2021).
图 1. 顶行（小）：一些训练样本示例。 前两行：输入图像，Toonify的卡通结果[Pinkney and Adler 2020]和我们 多种风格的结果。 给定单个输入图像，我们的方法可以快速（130 毫秒）并自动生成各种艺术风格的高质量（1024×1024）风格人像 。 对于一种新风格，我们的敏捷训练策略仅需要大约100个训练样本示例，并且可以在1小时内完成训练。
概要
肖像画作为一种艺术形式，已经从传统的现实主义描绘演变为大量的创作风格。尽管在肖像自动风格化方面已经取得了实质性进展，但是生成高质量的肖像画仍然是一个挑战，即使是使用最近流行的Toonify，在用于输入真实的图像时也遭受了一些瑕疵的困扰。这种基于StyleGAN的方法着重于寻找最佳的隐空间映射来重建输入图像。但是，我们发现这并不能很好地作用出不同的肖像风格。因此，我们提出了AgileGAN，这是一个可以通过隐射一致隐空间的转移学习生成高质量风格肖像的框架。我们引入了一种新颖的分层变分自编码器，以确保映射隐空间分布符合原始的高斯分布，同时将原始空间扩展为多维度隐空间，以便更好地编码不同级别的细节。为了更好地捕获面部特征生成，我们还提出了一种属性感知生成器，并采用了一种动态停止策略，以避免过度拟合小型训练数据集。我们的方法在创建高质量和高分辨率（1024×1024）肖像风格化模型方面提供了更大的敏捷性，只需要有限数量的风格样本（~100）和较短的训练时间（~1小时）。我们收集了几个用于评估的风格数据集，包括 3D 卡通、漫画、油画和名人。我们表明，通过定性、定量和通过用户调研研究进行的比较，我们可以实现优于以前最先进方法的肖像风格化质量。我们还将演示该方法的两种应用，图像编辑和风格视频生成。
Video
测试
请用手机扫描, 或者你可以直接访问 测试网站.