diff --git a/README_cn.md b/README_cn.md index 8ebc1c648f557b726b03d6d60a9a26b79a3ff84f..2438563d4f60eebdb85e88980a0a39313eccb032 100644 --- a/README_cn.md +++ b/README_cn.md @@ -17,27 +17,20 @@ GAN--生成对抗网络,被“卷积网络之父”**Yann LeCun(杨立昆) ## 近期活动🔥🔥🔥 -- 🔥**2021.7.9-2021.9**🔥 +- 🔥**2021.12.08**🔥 - **💙AI创造营:Metaverse启动机之重构现世💙** + **💙 AI快车道👩‍🏫:视频超分算法及行业应用 💙** + - **视频超分SOTA算法详解** + - **视频传输大幅降本提速方案** + - **影像修复视频超分案例实践** + - **直播link🔗:http://live.bilibili.com/21689802** + - **报名链接💡:https://paddleqiyeban.wjx.cn/vj/tKidSqZ.aspx?udsid=453804** - **PaddlePaddle × Wechaty × Mixlab 创意赛,参赛者可大开脑洞,运用PaddleGAN的花式能力,打造属于你自己的聊天机器人!** - - **奖品丰厚,等你来拿🎁🎈🎊** - - 💰**一等奖 1 名**:3万元人民币 / 队 - - 🎮**二等奖 2 名**:PS5游戏机 1个(价值5000元) / 队 - - 🕶**三等奖 3 名**:VR眼镜 1个(价值3000元) / 队 - - 💝**最佳人气奖 1 名**:3D打印机 1个(价值2000元) / 队 - - **还在等什么,快来点击报名吧:https://aistudio.baidu.com/aistudio/competition/detail/98** - - **如何用PaddleGAN在比赛中杀出重围?请见:[PaddleGAN X WeChaty Demo示例](./paddlegan-wechaty-demo/REAME.md)** - - **更多详情,请查看[比赛讲解直播回放](https://www.bilibili.com/video/BV18y4y1T7Ek)💞** + ⭐ **扫码加入技术交流群** ⭐ + +
+ +
- 2021.4.15~4.22 @@ -52,7 +45,12 @@ GAN--生成对抗网络,被“卷积网络之父”**Yann LeCun(杨立昆) **想要看直播回放视频请点击链接:https://www.bilibili.com/video/BV1GZ4y1g7xc** ## 产品动态 - +- 💛 **最新发布** 💛 + + 👀 **视频超分SOTA算法[PP-MSVSR](./docs/zh_CN/tutorials/video_super_resolution.md):一行命令从"马赛克"到"高清影像"** 👀 +
+ +
- 😍 **人脸编辑神器:[StyleGAN V2人脸属性编辑](./docs/zh_CN/tutorials/styleganv2editing.md)之性别转换--怕什么孤单?和自己谈一场恋爱吧!** 😍 - **[完整在线教程](https://aistudio.baidu.com/aistudio/projectdetail/2565277?contributionType=1)**
diff --git a/docs/zh_CN/tutorials/video_super_resolution.md b/docs/zh_CN/tutorials/video_super_resolution.md index 8eb458cfc96750da070320804f7ca7874d68f897..673d3a4e8f8f015d9620221d42370819644516d2 100644 --- a/docs/zh_CN/tutorials/video_super_resolution.md +++ b/docs/zh_CN/tutorials/video_super_resolution.md @@ -1,18 +1,26 @@ -# 1 视频超分 +# 视频超分 ## 1.1 原理介绍 - 视频超分源于图像超分,其目的是从一个或多个低分辨率(LR)图像中恢复高分辨率(HR)图像。它们的区别也很明显,由于视频是由多个帧组成的,所以视频超分通常利用帧间的信息来进行修复。这里我们提供视频超分模型[EDVR](https://arxiv.org/pdf/1905.02716.pdf),[BasicVSR](https://arxiv.org/pdf/2012.02181.pdf),[IconVSR](https://arxiv.org/pdf/2012.02181.pdf),[BasicVSR++](https://arxiv.org/pdf/2104.13371v1.pdf)和PP-MSVSR。 + 视频超分源于图像超分,其目的是从一个或多个低分辨率(LR)图像中恢复高分辨率(HR)图像。它们的区别也很明显,由于视频是由多个帧组成的,所以视频超分通常利用帧间的信息来进行修复。 + + 这里我们提供百度自研SOTA超分系列模型PP-MSVSR、业界领先视频超分模型[EDVR](https://arxiv.org/pdf/1905.02716.pdf)、[BasicVSR](https://arxiv.org/pdf/2012.02181.pdf),[IconVSR](https://arxiv.org/pdf/2012.02181.pdf)和[BasicVSR++](https://arxiv.org/pdf/2104.13371v1.pdf)。 +### ⭐ PP-MSVSR ⭐ + 百度自研的PP-MSVSR是一种多阶段视频超分深度架构,具有局部融合模块、辅助损失和细化对齐模块,以逐步细化增强结果。具体来说,在第一阶段设计了局部融合模块,在特征传播之前进行局部特征融合, 以加强特征传播中跨帧特征的融合。在第二阶段中引入了一个辅助损失,使传播模块获得的特征保留了更多与HR空间相关的信息。在第三阶段中引入了一个细化的对齐模块,以充分利用前一阶段传播模块的特征信息。大量实验证实,PP-MSVSR在Vid4数据集性能优异,仅使用 1.45M 参数PSNR指标即可达到28.13dB。 + + PP-MSVSR提供两种体积模型,开发者可根据实际场景灵活选择:PP-MSVSR(参数量1.45M)与PP-MSVSR-L(参数量7.42)。 + +### EDVR [EDVR](https://arxiv.org/pdf/1905.02716.pdf)模型在NTIRE19视频恢复和增强挑战赛的四个赛道中都赢得了冠军,并以巨大的优势超过了第二名。视频超分的主要难点在于(1)如何在给定大运动的情况下对齐多个帧;(2)如何有效地融合具有不同运动和模糊的不同帧。首先,为了处理大的运动,EDVR模型设计了一个金字塔级联的可变形(PCD)对齐模块,在该模块中,从粗到精的可变形卷积被使用来进行特征级的帧对齐。其次,EDVR使用了时空注意力(TSA)融合模块,该模块在时间和空间上同时应用注意力机制,以强调后续恢复的重要特征。 +### BasicVSR [BasicVSR](https://arxiv.org/pdf/2012.02181.pdf)在VSR的指导下重新考虑了四个基本模块(即传播、对齐、聚合和上采样)的一些最重要的组件。 通过添加一些小设计,重用一些现有组件,得到了简洁的 BasicVSR。与许多最先进的算法相比,BasicVSR在速度和恢复质量方面实现了有吸引力的改进。 同时,通过添加信息重新填充机制和耦合传播方案以促进信息聚合,BasicVSR 可以扩展为 [IconVSR](https://arxiv.org/pdf/2012.02181.pdf),IconVSR可以作为未来 VSR 方法的强大基线 . +### BasicVSR++ [BasicVSR++](https://arxiv.org/pdf/2104.13371v1.pdf)通过提出二阶网格传播和导流可变形对齐来重新设计BasicVSR。通过增强传播和对齐来增强循环框架,BasicVSR++可以更有效地利用未对齐视频帧的时空信息。 在类似的计算约束下,新组件可提高性能。特别是,BasicVSR++ 以相似的参数数量在 PSNR 方面比 BasicVSR 高0.82dB。BasicVSR++ 在NTIRE2021的视频超分辨率和压缩视频增强挑战赛中获得三名冠军和一名亚军。 - PP-MSVSR是一种多阶段视频超分深度架构,具有局部融合模块、辅助损失和细化对齐模块,以逐步细化增强结果。具体来说,在第一阶段设计了局部融合模块,在特征传播之前进行局部特征融合, 以加强特征传播中跨帧特征的融合。在第二阶段中引入了一个辅助损失,使传播模块获得的特征保留了更多与HR空间相关的信息。在第三阶段中引入了一个细化的对齐模块,以充分利用前一阶段传播模块的特征信息。大量实验证实,PP-MSVSR在Vid4数据集性能优异,仅使用 1.45M 参数PSNR指标即可达到28.13dB。 - ## 1.2 如何使用 ### 1.2.1 数据准备