教照片里的人学舞蹈,只需一张相片就能让它跳舞

原标题:用DensePose,教照片里的人学舞蹈,系群体鬼畜 | ECCV 2018

原标题:【ECCV
2018】Twitter开发姿态转换模型,只需一张照片就能让它跳舞(录像)

栗子 发自 凹非寺

图片 1

图片 2

倒计时**10**天

何以让2个面朝镜头静止不动的妹子,跳起你为她选的跳舞,把360度身姿周密呈现?

Facebook团队,把顶住感知的多个人姿势识别模型DensePose,与承担生成深度生成互联网组合起来。

来源:ECCV 2018

不管是何人的可歌可泣姿势,都能附体到四妹身上,把他单一的静态,变成丰硕的动态。

编辑:肖琴

图片 3

【新智元导读】DensePose团队在ECCV
2018登载又一大手笔:密集人体姿态转换!那是1个基于DensePose的架子转换系统,仅依据一张输入图像和对象姿势,生成数字人物的卡通效果。

那项研讨成果,入选了ECCV 2018

DensePose 是 Facebook 切磋员 Natalia
Neverova、Iasonas Kokkinos 和法兰西共和国 IN帕杰罗IA 的 Muranoıza Alp Guler
开发的三个令人咋舌的躯干实时姿势识别系统,它在 2D 图像和身体3D
模型之间制造映射,最终落到实处密集人群的实时姿态识别。

本来不可能唯有DensePose

具体来说,DensePose 利用深度学习将 2D 汉兰达PG
图像坐标映射到 3D 人体表面,把1个人分开成许多 UV 贴图(UV
坐标),然后处理密集坐标,完成动态人物的精鲜明位和神态猜度。

团队把SMPL两人态度模型,跟DensePose结合到一块。那样一来,就足以用多个早熟的外表模型来精通一张图纸。

图片 4

那项切磋,是用基于表面包车型大巴神经济同盟成,是在闭环里渲染一张图像,生成各样新姿势。

DensePose
模型以及数据集已经开源,传送门:

图片 5

左为源图像,中为源图姿势,右为指标姿势

近来,该团体更进一步,公布了依照DensePose 的叁个姿态转换系统:Dense Pose Transfer,仅依据一张输入图像和对象姿势,创立出
“数字化身” 的卡通效果。

肖像中人需求学习的舞姿,来自另一人的肖像,大概录制截图。

图片 6

DensePose系统,负责把两张相片涉嫌起来。具体方法是,在2个集体表面UV坐标系
(common GALAXY Tab coordinates) 里,给两者之间做个映射

在那项工作中,钻探者希望仅凭借基于表面(三星GALAXY Tab-based)的指标表示(object
representations),类似于在图纸引擎中选用的靶子表示,来得到对图像合成进程的更强把握。

但如果可是根据几何来扭转,又会因为DensePose采集数据不够标准,还有图像里的本人遮挡
(比如身体被手臂挡住) ,而彰显不那么真实。

研商者关心的最首就算人体。模型建立在近日的 SMPL 模型和 DensePose
系统的功底上,将那七个系统结合在共同,从而能够用一体化的外部模型来证实一个人的图像。

图片 7

上面包车型大巴录制体现了越来越多生成结果:

DensePose提取的材料 (左) vs 修复后的质感 (右)

具体而言,那项技艺是经过 平板电脑-based
的神经合成,渲染同一人的例外姿势,从而执行图像生成。指标姿势(target
pose)是通过一个 “pose donor”
的图像表示的,也便是引导图像合成的另一人。DensePose
系统用于将新的相片与国有表面坐标相关联,并复制预测的外观。

那么,团队处理遮挡的方法是,在外部坐标系里,引入三个图像修复(Impainting)
互连网。把这些互连网的展望结果,和3个更古板的前馈条件和成模型前瞻结合起来。

作者们在 DeepFashion 和 MVC
数据集举办了实验,结果注解我们得以拿走比最新技术更好的定量结果。

那些预测是独家独立进行的,然后再用一个细化模块来优化预测结果。把重构损失争持损失感知损失组合起来,优势互补,得出最终的扭转效果。

除开姿势转换的特定难点外,所提出的神经济同盟成与
华为平板-based
的代表相结合的章程也有愿意消除虚拟现实和增强现实的更常见难题:由于
苹果平板-based
的象征,合成的进度更为透亮,也更便于与物理世界连接。未来,姿势转换任务可能对数码集增强、练习伪造检测器等选拔很有用。

图片 8

Dense Pose Transfer

总体的互联网布局,就好像上海体育场面那般。

研商人口以一种高效的、自下而上的不二法门,将各种人体像素与其在人体参数化的坐标关联起来,开发了围绕
DensePose 推断系统实行姿势转换的法子。

监督检查学习一下

笔者们以三种补偿的措施接纳 DensePose
输出,对应于预测模块和变形模块(warping module),如图 1 所示。

模型的监察学习进度,是那般的:

图片 9

图片 10

图 1:pose transfer pipeline
的概览:给定输入图像和对象姿势,使用 DensePose 来实施生成进度。

从输入的源图像开始,先把它的各种像素对应到UV坐标系里。这一步是DensePose驱动的迁移网络实现的。

变形模块使用 DensePose
表面对应和图像修复(inpainting)来扭转人物的新视图,而预计模块是四个通用的黑盒生成模型,以输入和指标的
DensePose 输出作为条件。

然后,负责修复图像的自编码器,就来预测照片中人的不等角度会是何等样子。那步预测,也是在回转的坐标系里形成的。

那四个模块具有互补的长处:预测模块成功地利用密集条件输出来为熟知的姿势生成合理的图像;但它不可能加大的新的姿势,或更换纹理细节。

从左侧初始,就是变化目的,同样要组成到UV坐标系中。再用损失函数来处理
(上海教室红字部分) 把结果输入自编码器,协助模型学习。

比较,变形模块能够保留高品质的底细和纹理,允许在二个集合的、规范的坐标系中进行修复,并且能够随便地松手到司空眼惯的肉体动弹。可是,它是以身体为主干的,而不是以服装为核心,由此尚未设想头发、服装和配饰。

用同壹位物 (同样装扮)
两个静态姿势来作监督,替代了360度旋转的身体。

将那七个模块的输出输入到3个掺杂模块(blending
module)能够获得最佳的结果。那一个混合模块通过在2个端到端可陶冶的框架中选用重构、对抗和感知损失的整合,来融合和完善它们的预测。

教练成果怎么着

图片 11

先来看一下,新加盟的图像修复步骤,生成的成效:

图 2:warping stream
上架子转换的监督信号:通过 DensePose
驱动的上空更换网络,将左手的输入图像扭曲到原始的外部坐标。

图片 12

图片 13

把DensePose的格调纹路,修复一下,依旧有显明效用的。

图 3:Warping 模块的结果

再来看一下几个人录像什么样子:

如图 3 所示,在修复进度(inpainting
process),可以观测到三个均匀的表面,捕捉了皮肤和贴身衣裳的外观,但不曾设想头发、裙子或伪装,因为这么些不相符
DensePose的表面模型。

图片 14

试验和结果

就算,脸部好像烧焦的指南,但现已很鬼畜了。在下不由得想起:

大家在 DeepFashion
数据集上进行尝试,该数额集带有 52712 个T台模特图像,13029
件分歧姿势的时装。我们选用了 12029 件衣裳展开磨炼,其他 壹仟件用于测试。

图片 15

图片 16

除此以外组织用DeepFashion数据集,比较了弹指间本身算法和任何同行。

表1:遵照结构相似度 (SSIM)、 英斯ption
Score(IS)[41] 和 detection score(DS)目标,对DeepFashion 数据集的两种state-of-the-art 方法实行定量相比。

结果是,结构相似度(Structural Similarity) ,以假乱真度 (英斯ption
Score) 以及检查和测试分 (Detection Score)
那三项指标,Twitter家的算法表现都超越了长辈。

大家率先将大家的框架与近日部分基于关键点的图像生成或多视图合成方法实行比较。

图片 17

表 1 体现,大家的 pipeline
在布局逼真度(structural fidelity)方面有肯定优势。在以IS
作为目的的感知质量方面,大家模型的出口生成具有更高的品质,或可与存活工作相比美。

诸君请持续期待,DensePose愈来愈多鬼畜的行使吧。

意志结果如图 4 所示。

舆论传送门:

图片 18

图 4:与初阶进的 德福尔mable GAN (DSC)
方法的毅力比较。

顺便一提,教人学舞蹈的算法真的不少。

密集人体姿态转换应用

譬如说,Berkeley舞痴变舞王,优点是逼真,缺点是没辙落实多个人共舞

在这项工作中,我们介绍了2个利用密集人体姿态推断的
two-stream
姿态转换架构。大家曾经证实,密集姿势猜想对于数据驱动的人身姿势猜想而言是一种众人优化的调节和测试信号,并且通过
inpainting
的法门在当然的体表参数化进度中成立姿势转换。在今后的做事中,大家打算进一步切磋那种情势在照片级真实图像合成,以及处理更加多门类方面包车型地铁潜力。

图片 19

作者:



图片 20

vs

  • Rıza Alp Güler,INRIA, CentraleSupélec
  • Natalia Neverova,Facebook AI Research
  • Iasonas Kokkinos,Facebook AI Research

图片 21

论文:

BlackBerry云•普惠AI,让开发充满AI!

新智元AI WO安德拉LD 2018大会倒计时 10

爱上你的代码,爱做 “改变世界”的行走派!

回来乐乎,查看越来越多

大会将第3遍发表AI开发框架,从AI模型陶冶到AI模型铺排的总体开发一站式完成!让AI开发触手可及!回到今日头条,查看越来越多

小编:

主要编辑: