卡通&&漫画人脸训练数据合成方法

为适配K歌线上渲染流程，实现变身动漫效果。构建生成张大嘴巴的卡通人脸数据集，以配合GauGAN模型进行训练。构建生成张大嘴巴的卡通人脸数据集(根据人脸属性定制亚洲人脸->卡通化人脸处理->将美术提供的嘴巴模板与生成的卡通嘴巴进行图像融合)、训练优化GauGAN模型。涉及模型(StyleGAN、Facial Landmark detection、GauGAN)、基本的图像处理技术(dlib、Gaussian Blur、swap face)、模型压缩。

1、生成亚洲人脸

• generators-with-stylegan2：人脸属性编辑器，共有21种人脸属性，属性幅度(每次十个不同幅度)可调。生成结果demo见./video_src
• gender_detect.py：将亚洲人脸按照性别进行分类，男/女

2、卡通化亚洲人脸

• face_cartoon_onnx.py：将男/女亚洲人脸数据集卡通化

3、数据集预处理

• data_processing.py：男/女数据集以及美术男/女嘴巴预处理
• hand_landmouth.py：一种嘴巴手工打标方法
• mouth_open.py：从ffhq数据集中选出大嘴巴亚洲人脸
• generate_video.py：选择一张亚洲人脸，调整亚洲人脸的21个属性，20个幅度，fps=10，得到四个视频./ video_demo
• split_image.py：1024x512 crop 512x512

4、融合&&blendshape

• face-of-art：精准定位卡通人脸五官区域(dlib对于个别卡通人脸关键点定位失效)
• gaussian_blend.py：高斯色块融合方法(第一种融合方法)
• mouth_swap.py：嘴巴置换方法(第二种融合方法——卡通化效果不佳)

5、对齐方法

• align_face.py：将亚洲人脸按照卡通人脸眼睛水平距离对齐，然后裁剪至相同大小

Reference

• The above referenced code links have been given on GitHub, thanks again to the authors!