From e9da52ae0eee41aa0b6663c7c589055054dff01f Mon Sep 17 00:00:00 2001
From: YixinKristy <48054808+YixinKristy@users.noreply.github.com>
Date: Tue, 7 Dec 2021 10:39:58 +0800
Subject: [PATCH] Add PP-MSVSR PR info (#512)
* update readme
* update readme
* Update README.md
* Update README_cn.md
* Update README_cn.md
* Update README.md
* Update README_cn.md
* Update README_cn.md
* Update video_super_resolution.md
---
README_cn.md | 38 +++++++++----------
.../zh_CN/tutorials/video_super_resolution.md | 16 ++++++--
2 files changed, 30 insertions(+), 24 deletions(-)
diff --git a/README_cn.md b/README_cn.md
index 8ebc1c6..2438563 100644
--- a/README_cn.md
+++ b/README_cn.md
@@ -17,27 +17,20 @@ GAN--生成对抗网络,被“卷积网络之父”**Yann LeCun(杨立昆)
## 近期活动🔥🔥🔥
-- 🔥**2021.7.9-2021.9**🔥
+- 🔥**2021.12.08**🔥
- **💙AI创造营:Metaverse启动机之重构现世💙**
+ **💙 AI快车道👩🏫:视频超分算法及行业应用 💙**
+ - **视频超分SOTA算法详解**
+ - **视频传输大幅降本提速方案**
+ - **影像修复视频超分案例实践**
+ - **直播link🔗:http://live.bilibili.com/21689802**
+ - **报名链接💡:https://paddleqiyeban.wjx.cn/vj/tKidSqZ.aspx?udsid=453804**
- **PaddlePaddle × Wechaty × Mixlab 创意赛,参赛者可大开脑洞,运用PaddleGAN的花式能力,打造属于你自己的聊天机器人!**
-
- **奖品丰厚,等你来拿🎁🎈🎊**
-
- 💰**一等奖 1 名**:3万元人民币 / 队
-
- 🎮**二等奖 2 名**:PS5游戏机 1个(价值5000元) / 队
-
- 🕶**三等奖 3 名**:VR眼镜 1个(价值3000元) / 队
-
- 💝**最佳人气奖 1 名**:3D打印机 1个(价值2000元) / 队
-
- **还在等什么,快来点击报名吧:https://aistudio.baidu.com/aistudio/competition/detail/98**
-
- **如何用PaddleGAN在比赛中杀出重围?请见:[PaddleGAN X WeChaty Demo示例](./paddlegan-wechaty-demo/REAME.md)**
-
- **更多详情,请查看[比赛讲解直播回放](https://www.bilibili.com/video/BV18y4y1T7Ek)💞**
+ ⭐ **扫码加入技术交流群** ⭐
+
+
+
+
- 2021.4.15~4.22
@@ -52,7 +45,12 @@ GAN--生成对抗网络,被“卷积网络之父”**Yann LeCun(杨立昆)
**想要看直播回放视频请点击链接:https://www.bilibili.com/video/BV1GZ4y1g7xc**
## 产品动态
-
+- 💛 **最新发布** 💛
+
+ 👀 **视频超分SOTA算法[PP-MSVSR](./docs/zh_CN/tutorials/video_super_resolution.md):一行命令从"马赛克"到"高清影像"** 👀
+
+
+
- 😍 **人脸编辑神器:[StyleGAN V2人脸属性编辑](./docs/zh_CN/tutorials/styleganv2editing.md)之性别转换--怕什么孤单?和自己谈一场恋爱吧!** 😍
- **[完整在线教程](https://aistudio.baidu.com/aistudio/projectdetail/2565277?contributionType=1)**
diff --git a/docs/zh_CN/tutorials/video_super_resolution.md b/docs/zh_CN/tutorials/video_super_resolution.md
index 8eb458c..673d3a4 100644
--- a/docs/zh_CN/tutorials/video_super_resolution.md
+++ b/docs/zh_CN/tutorials/video_super_resolution.md
@@ -1,18 +1,26 @@
-# 1 视频超分
+# 视频超分
## 1.1 原理介绍
- 视频超分源于图像超分,其目的是从一个或多个低分辨率(LR)图像中恢复高分辨率(HR)图像。它们的区别也很明显,由于视频是由多个帧组成的,所以视频超分通常利用帧间的信息来进行修复。这里我们提供视频超分模型[EDVR](https://arxiv.org/pdf/1905.02716.pdf),[BasicVSR](https://arxiv.org/pdf/2012.02181.pdf),[IconVSR](https://arxiv.org/pdf/2012.02181.pdf),[BasicVSR++](https://arxiv.org/pdf/2104.13371v1.pdf)和PP-MSVSR。
+ 视频超分源于图像超分,其目的是从一个或多个低分辨率(LR)图像中恢复高分辨率(HR)图像。它们的区别也很明显,由于视频是由多个帧组成的,所以视频超分通常利用帧间的信息来进行修复。
+
+ 这里我们提供百度自研SOTA超分系列模型PP-MSVSR、业界领先视频超分模型[EDVR](https://arxiv.org/pdf/1905.02716.pdf)、[BasicVSR](https://arxiv.org/pdf/2012.02181.pdf),[IconVSR](https://arxiv.org/pdf/2012.02181.pdf)和[BasicVSR++](https://arxiv.org/pdf/2104.13371v1.pdf)。
+### ⭐ PP-MSVSR ⭐
+ 百度自研的PP-MSVSR是一种多阶段视频超分深度架构,具有局部融合模块、辅助损失和细化对齐模块,以逐步细化增强结果。具体来说,在第一阶段设计了局部融合模块,在特征传播之前进行局部特征融合, 以加强特征传播中跨帧特征的融合。在第二阶段中引入了一个辅助损失,使传播模块获得的特征保留了更多与HR空间相关的信息。在第三阶段中引入了一个细化的对齐模块,以充分利用前一阶段传播模块的特征信息。大量实验证实,PP-MSVSR在Vid4数据集性能优异,仅使用 1.45M 参数PSNR指标即可达到28.13dB。
+
+ PP-MSVSR提供两种体积模型,开发者可根据实际场景灵活选择:PP-MSVSR(参数量1.45M)与PP-MSVSR-L(参数量7.42)。
+
+### EDVR
[EDVR](https://arxiv.org/pdf/1905.02716.pdf)模型在NTIRE19视频恢复和增强挑战赛的四个赛道中都赢得了冠军,并以巨大的优势超过了第二名。视频超分的主要难点在于(1)如何在给定大运动的情况下对齐多个帧;(2)如何有效地融合具有不同运动和模糊的不同帧。首先,为了处理大的运动,EDVR模型设计了一个金字塔级联的可变形(PCD)对齐模块,在该模块中,从粗到精的可变形卷积被使用来进行特征级的帧对齐。其次,EDVR使用了时空注意力(TSA)融合模块,该模块在时间和空间上同时应用注意力机制,以强调后续恢复的重要特征。
+### BasicVSR
[BasicVSR](https://arxiv.org/pdf/2012.02181.pdf)在VSR的指导下重新考虑了四个基本模块(即传播、对齐、聚合和上采样)的一些最重要的组件。 通过添加一些小设计,重用一些现有组件,得到了简洁的 BasicVSR。与许多最先进的算法相比,BasicVSR在速度和恢复质量方面实现了有吸引力的改进。 同时,通过添加信息重新填充机制和耦合传播方案以促进信息聚合,BasicVSR 可以扩展为 [IconVSR](https://arxiv.org/pdf/2012.02181.pdf),IconVSR可以作为未来 VSR 方法的强大基线 .
+### BasicVSR++
[BasicVSR++](https://arxiv.org/pdf/2104.13371v1.pdf)通过提出二阶网格传播和导流可变形对齐来重新设计BasicVSR。通过增强传播和对齐来增强循环框架,BasicVSR++可以更有效地利用未对齐视频帧的时空信息。 在类似的计算约束下,新组件可提高性能。特别是,BasicVSR++ 以相似的参数数量在 PSNR 方面比 BasicVSR 高0.82dB。BasicVSR++ 在NTIRE2021的视频超分辨率和压缩视频增强挑战赛中获得三名冠军和一名亚军。
- PP-MSVSR是一种多阶段视频超分深度架构,具有局部融合模块、辅助损失和细化对齐模块,以逐步细化增强结果。具体来说,在第一阶段设计了局部融合模块,在特征传播之前进行局部特征融合, 以加强特征传播中跨帧特征的融合。在第二阶段中引入了一个辅助损失,使传播模块获得的特征保留了更多与HR空间相关的信息。在第三阶段中引入了一个细化的对齐模块,以充分利用前一阶段传播模块的特征信息。大量实验证实,PP-MSVSR在Vid4数据集性能优异,仅使用 1.45M 参数PSNR指标即可达到28.13dB。
-
## 1.2 如何使用
### 1.2.1 数据准备
--
GitLab