欢迎进入币游官网(币游国际官网),币游官网:www.9cx.net开放币游网址访问、币游会员注册、币游代理申请、币游电脑客户端、币游手机版下载等业务。

首页科技正文

usdt官网接口(www.caibao.it):清华计图开源:智能P图神器DeepFaceEditing

admin2021-09-0199

USDT线上交易

U交所(www.payusdt.vip)是使用TRC-20协议的Usdt官方交易所,开放USDT帐号注册、usdt小额交易、usdt线下现金交易、usdt实名不实名交易、usdt场外担保交易的平台。免费提供场外usdt承兑、低价usdt渠道、Usdt提币免手续费、Usdt交易免手续费。U交所开放usdt otc API接口、支付回调等接口。

机械之心转载

泉源:图形学与几何盘算

中科院盘算所高林团队在盘算机图形学顶会 ACM SIGGRAPH 上揭晓功效DeepFaceEditing,并在计图框架上开源。

不会PS也想精修照片?找不到惊艳的个性化滤镜?修出心目中的你,基于计图的DeepFaceEditing让这不再是梦想!

DeepFaceEditing是一种新的基于几何和外观解耦的人脸编辑的方式,可以通过草图自由编辑人脸。

基于该方式的智强人脸编辑软件,不需要用户拥有专业的PS手艺,就能够通过草图实现面部细节的编辑与控制,而且同时支持个性化的外观定制,从而降低了人脸肖像修图的门槛,同时也减轻专业PS修图师的事情难度,简朴适用。

先看2个使用DeepFaceEditing软件的惊艳效果!

图1 交互效果:若何将长发的伊万卡修图成短发老太太

图2 搬砖十年后的谁人少年将酿成什么样子,生涯的沧桑风蚀了容颜和发际线

从Sketch到DeepFaceEditing

草图作为一种图形交互前言,很早便受到关注。1963年,图灵奖得主Sutherland的代表作即是关于草图绘板[1]。2009年,清华胡事民教授团队揭晓于ACM SIGGRAPH ASIA的Sketch2Photo[2]开创基于草图的互联网图像合成的新偏向。2020年ACM SIGGRAPH上的DeepFaceDrawing[3]实现了由手绘的草图天生真实人脸。使用草图举行人脸肖像的合成与编辑是一个热门研究话题。

为了更好的控制天生人脸的外观特征,DeepFaceEditing 事情另辟蹊径。其焦点思绪是通过引入“深度几何学习”的研究思绪,通过剖析息争耦人脸图像的几何结构,将真实的人脸解耦为几何(Geometry)和外观(Appearance)两个特征。基于此,用户可以通过草图编辑人脸的几何特征,例如五官的形状、面部皱纹等,也可以通过选择参考图像,编辑人脸的肤色、发色等信息,定制个性化气概滤镜。

让我们先来看一下该方式的人脸天生的效果:

图3 DeepFaceEditing 人脸编辑效果

从图3中可以看出,在给定来自统一人(a)的几何和外观特征时,DeepFaceEditing 可以完善重修输入人脸(d)。与此同时,当改变对应的外观参考图片,DeepFaceEditing可以改变肤色、发色(b),天生个性化滤镜。用户也可以通过编辑草图,对人脸举行细节的编辑(e)。同时,该方式也可以通过手绘的草稿,天生具有特定外观的真实人脸(c)。

经典的人脸图像编辑事情[4]通过语义标签对人脸图像举行属性编辑,近期事情[5]将人脸运动图像解耦为全局头部运动和局部神色运动来合成新的人脸图像,[6]设计了一种交流的战略来对一样平常图像的结构和纹理举行解耦与合成。DeepFaceDrawing[3]以草图为基础由草图天生真实的人脸图像,可以实现从无到有的人脸图像合成却无法用于编辑已经存在的人脸图像,而对已有人脸图像举行美颜和美妆具有伟大的需求。

受上述系列事情的启发,DeepFaceEditing应运而生,该事情提供一种用户友好的草图交互方式对人脸图像举行编辑。作者将人脸图像解耦为几何特征和外观特征,用户既可以通过草图编辑几何细节,也可以通过参考图片编辑人脸外观。同时,针对人脸结构所具有的特殊性,该论文也接纳了几何结构优化战略,对人脸的要害区域(双眼、鼻、嘴和其他区域)划分举行解耦,在天生要害区域中央效果后,再融合合成高质量的人脸图像。通过上述方式,该论文不仅可以实现局部细节的编辑优化,也可以合玉成局一致的高质量的人脸图像。

DeepFaceEditing 算法原理

如图4所示,DeepFaceEditing 系统主要由两个模块组成:局部解耦模块(Local Disentanglement)和全局融合模块(Global Fusion)。局部解耦模块由三个组件组成:几何编码器、外观编码器、图像合成器。该模块可以同时从真实图片和草图中提取几何信息,以此支持用户的编辑。

图4 DeepFaceEditing 网络构架

在局部解耦模块中,需要预先训练几何编码器。几何编码器针对草图和真实图像,划分使用了差其余编码网络,获取几何特征。训练完成几何编码器后,算法牢靠几何编码网络的权重,训练外观编码器与图像合成器。外观编码器使用全局平均池化,消除人脸外观特征图像上的空间信息并提取与几何特征无关的外观特征。图像合成器则以几何编码网络天生的效果作为输入,将外观特征与几何特征融合,天生局部图像及中央特征图。

局部解耦模块的训练包罗了三部门损失函数:重修损失、匹敌损失和交流损失。当几何特征和外观特征来自统一图像时,重修损失保证网络可以完善的重修对应的局部图像。算法局部和全局网络都使用了GAN的训练战略,用匹敌损失保证局部天生图像的真实性。

在局部解耦的训练历程中,该论文使用了一种交流的战略:划分从图像I1和I2中提取几何特征和外观特征,合成新的交流效果I’。通过约束该交流效果I’与几何输入图像I1有相同的几何编码特征,来保证交流后几何特征稳固。针对外观特征,使用一种循环重修的约束方式:从该交流效果I’中提取外观特征,与外观输入图像I2的几何特征举行合成I2’,循环重修对应的外观输入图像。

局部解耦模块训练完毕之后,则最先对全局融合网络举行训练。全局融合网络先对局部解耦网络天生的中央特征图举行拼接,再以拼接后的特征图作为输入,基于Pix2PixHD的网络结构,融合局部特征,天生具有全局外观一致性的人脸。

用户怎么编辑

DeepFaceEditing可以从真实照片中提取草图,用户通过编辑草图,可以对人脸举行细节编辑。如图5界面中的(a),即为用户对图像提取到的草图编辑后的效果。(d)为外观参考图像列表,用户通过选取/加载外观参考图,实现人脸的肤色、发色等外观信息的编辑。控制菜单栏(c)中包罗几何/参考图像加载,橡皮笔刷、控制笔触巨细等功效。凭证编辑的几何和选择的外观,最终合成的人脸编辑效果将实时展示在(b)上。

图5 界面展示

更多效果展示和应用

再看2个DeepFaceEditing的精彩例子。

图6 人脸个性化设计效果展示

,

USDT场外交易

U交所(www.payusdt.vip),全球頂尖的USDT場外擔保交易平臺。

,

图7 轻松回现年轻时的美颜

鉴于DeepFaceEditing将图像解耦为几何示意和外观示意,因此,在草图到真实人脸天生的历程中,可以添加外观控制。如图8所示,连系DeepFaceDrawing的流形投影手艺,可以从手绘的草图天生具有差异外观特征的真实人脸图像。

图8 草图合成人脸

同时,基于解耦的优势,可以实现对差异图像的几何和外观特征举行插值,并进一步行使插值后的特征天生人脸图像,实现人脸变换,效果如图9所示。

图9 人脸变换

结语和研究团队

人脸图像编辑有着主要应用,岂论是严肃认真的证件照或是个性潮水的艺术照,一张惊艳的照片都市带来便利与好运。然而修出一副自然完善的肖像照片,需要高明的PS手艺与高昂的时间成本,对于没有深入学习过PS的新手,是异常难题的事情。同时,想要定制个性化的人脸滤镜,更是需要大量的精神与特殊的缔造力。DeepFaceEditing 改变了这一切,使用该智强人脸编辑软件,每小我私人都是艺术家,有如神助!

DeepFaceEditing 接纳局部到全局的方式,将人脸的几何特征(Geometry)和外观特征(Appearance)举行解耦(Disentanglement),能划分对真实图像的几何细节和外观特征举行编辑,这是该方式行之有用的缘故原由。

DeepFaceEditing的论文已被图形学顶会ACM SIGGRAPH接受,并将刊登于著名期刊ACM Transactions on Graphics上。

论文的主要作者

高林博士,本文通讯作者。现为中国科学院盘算手艺研究所博士生导师/副研究员, 研究偏向为智能盘算机图形学、深度几何学习等。他结业于清华大学,获得工学博士学位(导师:胡事民教授),曾在德国亚琛工业大学举行公派接见研究(互助导师:Leif Kobbelt 教授)。在ACM SIGGRAPH\TOG、IEEE TVCG、IEEE CVPR等国际着名期刊 *** 上揭晓论文40余篇。他曾获得亚洲图形学青年学者奖(Asia Graphics Young Researcher Award)、中国盘算机学会科学手艺奖手艺发现一等奖、CCF-腾讯犀牛鸟基金卓越奖等,并入选英国皇家学会牛顿高级学者。

高林博士

刘锋林,配合第一作者,中国科学院盘算手艺研究所客座本科实习生,研究偏向为智能盘算机图形学。

刘锋林

陈姝宇博士,配合第一作者。现为中国科学院盘算手艺研究所稀奇研究助理,于2021年在中国科学院盘算手艺研究所获得博士学位,主要研究偏向为智能盘算机图形学,相关的研究功效揭晓在盘算机图形学领域国际顶级期刊与 *** 上,如ACM SIGGRAPH/TOG、IEEE TVCG、Eurographics/CGF和IEEE VR等,曾获得中科院院长优异奖,中国科学院盘算手艺研究所所长稀奇奖等声誉称谓。

陈姝宇博士

该项目研究团队还包罗英国卡迪夫大学来煜坤教授、Paul Rosin教授、香港都会大学傅红波教授、以及中科院盘算所李淳�M副研究员,有关论文的更多细节,及论文、视频、代码的下载,请浏览项目主页:

http://www.geometrylearning.com/DeepFaceEditing/

现在智强人脸编辑软件已经宣布计图(Jittor)版本,Jittor是清华大学盘算机图形学实验室开源的自主深度学习框架。开源代码见:

https://github.com/IGLICT/DeepFaceEditing-Jittor

参考文献

Sutherland, Ivan E. 1964. Sketch Pad a Man-Machine Graphical Communication System.

Tao Chen, Ming-Ming Cheng, Ping Tan, Ariel Shamir and Shi-Min Hu. Sketch2Photo: Internet Image Montage. ACM Transactions on Graphics (SIGGRAPH Asia 2009), 28, 5 (2009), 124:1-124:10.

Shu-Yu Chen, Wanchao Su, Lin Gao, Shihong Xia and Hongbo Fu. DeepFaceDrawing: Deep Generation of Face Images from Sketches. ACM Transactions on Graphics (SIGGRAPH 2020), 39, 4 (2020), 72:1-72:16.

Zhenliang He, Wangmeng Zuo, Meina Kan, Shiguang Shan and Xilin Chen. AttGAN: Facial Attribute Editing by Only Changing What You Want. IEEE Transactions on Image Processing, 28, 11 (2019), 5464 �C 5478.

Yong Li, Jiabei Zeng and Shiguang Shan. Learning Representations for Facial Actions from Unlabeled Videos. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020.

Taesung Park, Jun-Yan Zhu, Oliver Wang, Jingwan Lu, Eli Shechtman, Alexei A. Efros and Richard Zhang. Swapping Autoencoder for Deep Image Manipulation. In Neural Information Processing Systems (NeurlPS), 2020.

亚马逊云科技线上黑客松2021

这是一场志同志合的磨练,这是一场能手云集的组团竞技。秀脑洞、玩创意,3月26日至5月31日,实战的舞台为你开启,「亚马逊云科技线上黑客松2021」等你来战!

网友评论

3条评论
  • 2021-08-05 00:01:28

    新2会员网址www.22223388.com)实时更新发布最新最快最有效的新2网址和新2最新网址,包括新2手机网址,新2备用网址,皇冠最新网址,新2足球网址,新2网址大全。

    我好佩服

    • 2021-08-30 16:06:47

      @皇冠登1登2登3

      IPFS矿机www.ipfs8.vip)是Filecoin致力服务于使用Filecoin存储和检索数据的官方权威平台。IPFS官网实时更新FiLecion(FIL)行情、当前FiLecion(FIL)矿池、FiLecion(FIL)收益数据、各类FiLecion(FIL)矿机出售信息。并开放FiLecion(FIL)交易所、IPFS云矿机、IPFS矿机出售、IPFS矿机合租、IPFS算力合租、IPFS招商等业务。

      这是百分百原创

最新评论