今天分享这个项目使用StyleGAN算法对人脸进行编辑。
在该项目中，可以改变图片中人物的发型、给人物加胡须、让人物微笑等等。
大致思路是，先用StyleGAN算法提取人脸特征，再利用人脸属性分类器（如：Nvidia的40个人脸属性分类器），找到可进行人脸编辑的属性，执行编辑后即可将原图变成想要的效果。
项目已在 GitHub 上开源，可直接运行。
下面我介绍下项目核心流程。
1. 提取人脸特征
下载StypeGAN预训练模型，放在指定目录下。
运行wy_gan_inversion.py获取人脸w并保存。
这里解释下w的概念，StypeGAN模型从训练图像数据中提取特征（如：头发、皱纹、眉毛），这些特征存储在每一张图片的latent code中，一张图片有许多latent code，一定数量的latent code组成latent（一个512维的向量），这个latent又被称为潜码。
w是将潜码解耦后得到的。由于潜码的特征之间的耦合性比较大。例如：头发长度和男子气概，按照潜码的特征分布，这两个特征之间有紧密的联系。实际上，短发男子、长发男子都可以有很强的男子气概，因此需要将特征解耦。
项目中./checkpoint/wy_faces路径下有两个目录，分别为musk和taylor，里面存放了已提取出来的w，对应文章开头的那个图，可供大家直接使用。
2. 得到标签属性
运行wd_direction_nv.py，对标签集分类，在w中找到可用的编辑方向。
标签集在./checkpoint/label_dict/目录中，格式如下：
默认的标签集是存放在./checkpoint/label_dict/stylegan1/目录的stylegan1_attributes_seed0_30000.pt文件中。
如果想自己标记标签集，可以参考并运行./label_set_unit/generation_seed_zw.py文件。
3. 编辑人脸
最后，用前两步生成的结果对人脸进行编辑输出最终结果。
加载第一步产出的人脸w
wy_path = './checkpoint/wy_faces/taylor/ty-norm1024.pt'
w_y = torch.load(wy_path, map_location=device).clone().squeeze(0) # face
对应的图片如下：
加载第二步可用的编辑方向——微笑
wd_path = './checkpoint/wd_directions/ms-cases/00_smile/id0_dict1_l1_12k_acc0.89698_saga_iter2000.npy'
w_d = torch.tensor(np.load(wd_path))
对原图编辑
w_d = w_d.view(layere-layers,512)
clip1 = 0.0 # 0.01-0.03
w_d[torch.abs(w_d)<=clip1] = 0.0
w_y[start_layer:end_layer] = (w_y+a*w_d)[start_layer:end_layer]
经过编辑后，便会产出一张让原图微笑的图片
两张图放一起，对比会更明显一些。
好了， 这个就是我今天要分享的项目。大家可以下载运行，看看效果。
项目地址：https://github.com/disanda/RFM
StyleGAN是非常好的算法，目前有stylegan1、stylegan2和stylegan3三个版本，感兴趣的朋友可以学习下原理。
以上就是本次分享的所有内容，如果你觉得文章还不错，欢迎关注公众号：Python编程学习圈，每日干货分享，发送“J”还可领取大量学习资料。或是前往编程学习网，了解更多编程技术知识。
781
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
