未验证 提交 e9da52ae 编写于 作者: Y YixinKristy 提交者: GitHub

Add PP-MSVSR PR info (#512)

* update readme

* update readme

* Update README.md

* Update README_cn.md

* Update README_cn.md

* Update README.md

* Update README_cn.md

* Update README_cn.md

* Update video_super_resolution.md
上级 423af984
......@@ -17,27 +17,20 @@ GAN--生成对抗网络,被“卷积网络之父”**Yann LeCun(杨立昆)
## 近期活动🔥🔥🔥
- 🔥**2021.7.9-2021.9**🔥
- 🔥**2021.12.08**🔥
**💙AI创造营:Metaverse启动机之重构现世💙**
**💙 AI快车道👩‍🏫:视频超分算法及行业应用 💙**
- **视频超分SOTA算法详解**
- **视频传输大幅降本提速方案**
- **影像修复视频超分案例实践**
- **直播link🔗:http://live.bilibili.com/21689802**
- **报名链接💡:https://paddleqiyeban.wjx.cn/vj/tKidSqZ.aspx?udsid=453804**
**PaddlePaddle × Wechaty × Mixlab 创意赛,参赛者可大开脑洞,运用PaddleGAN的花式能力,打造属于你自己的聊天机器人!**
**奖品丰厚,等你来拿🎁🎈🎊**
💰**一等奖 1 名**:3万元人民币 / 队
🎮**二等奖 2 名**:PS5游戏机 1个(价值5000元) / 队
🕶**三等奖 3 名**:VR眼镜 1个(价值3000元) / 队
💝**最佳人气奖 1 名**:3D打印机 1个(价值2000元) / 队
**还在等什么,快来点击报名吧:https://aistudio.baidu.com/aistudio/competition/detail/98**
**如何用PaddleGAN在比赛中杀出重围?请见:[PaddleGAN X WeChaty Demo示例](./paddlegan-wechaty-demo/REAME.md)**
**更多详情,请查看[比赛讲解直播回放](https://www.bilibili.com/video/BV18y4y1T7Ek)💞**
**扫码加入技术交流群**
<div align='center'>
<img src='https://user-images.githubusercontent.com/48054808/144846956-cca238df-4106-43d5-a21e-7370f501971a.png' width='200'/>
</div>
- 2021.4.15~4.22
......@@ -52,7 +45,12 @@ GAN--生成对抗网络,被“卷积网络之父”**Yann LeCun(杨立昆)
**想要看直播回放视频请点击链接:https://www.bilibili.com/video/BV1GZ4y1g7xc**
## 产品动态
- 💛 **最新发布** 💛
👀 **视频超分SOTA算法[PP-MSVSR](./docs/zh_CN/tutorials/video_super_resolution.md):一行命令从"马赛克"到"高清影像"** 👀
<div align='center'>
<img src='https://user-images.githubusercontent.com/48054808/144848981-00c6ad21-0702-4381-9544-becb227ed9f0.gif' width='600'/>
</div>
- 😍 **人脸编辑神器:[StyleGAN V2人脸属性编辑](./docs/zh_CN/tutorials/styleganv2editing.md)之性别转换--怕什么孤单?和自己谈一场恋爱吧!** 😍
- **[完整在线教程](https://aistudio.baidu.com/aistudio/projectdetail/2565277?contributionType=1)**
<div align='center'>
......
# 1 视频超分
# 视频超分
## 1.1 原理介绍
视频超分源于图像超分,其目的是从一个或多个低分辨率(LR)图像中恢复高分辨率(HR)图像。它们的区别也很明显,由于视频是由多个帧组成的,所以视频超分通常利用帧间的信息来进行修复。这里我们提供视频超分模型[EDVR](https://arxiv.org/pdf/1905.02716.pdf)[BasicVSR](https://arxiv.org/pdf/2012.02181.pdf)[IconVSR](https://arxiv.org/pdf/2012.02181.pdf)[BasicVSR++](https://arxiv.org/pdf/2104.13371v1.pdf)和PP-MSVSR。
视频超分源于图像超分,其目的是从一个或多个低分辨率(LR)图像中恢复高分辨率(HR)图像。它们的区别也很明显,由于视频是由多个帧组成的,所以视频超分通常利用帧间的信息来进行修复。
这里我们提供百度自研SOTA超分系列模型PP-MSVSR、业界领先视频超分模型[EDVR](https://arxiv.org/pdf/1905.02716.pdf)[BasicVSR](https://arxiv.org/pdf/2012.02181.pdf)[IconVSR](https://arxiv.org/pdf/2012.02181.pdf)[BasicVSR++](https://arxiv.org/pdf/2104.13371v1.pdf)
### ⭐ PP-MSVSR ⭐
百度自研的PP-MSVSR是一种多阶段视频超分深度架构,具有局部融合模块、辅助损失和细化对齐模块,以逐步细化增强结果。具体来说,在第一阶段设计了局部融合模块,在特征传播之前进行局部特征融合, 以加强特征传播中跨帧特征的融合。在第二阶段中引入了一个辅助损失,使传播模块获得的特征保留了更多与HR空间相关的信息。在第三阶段中引入了一个细化的对齐模块,以充分利用前一阶段传播模块的特征信息。大量实验证实,PP-MSVSR在Vid4数据集性能优异,仅使用 1.45M 参数PSNR指标即可达到28.13dB。
PP-MSVSR提供两种体积模型,开发者可根据实际场景灵活选择:PP-MSVSR(参数量1.45M)与PP-MSVSR-L(参数量7.42)。
### EDVR
[EDVR](https://arxiv.org/pdf/1905.02716.pdf)模型在NTIRE19视频恢复和增强挑战赛的四个赛道中都赢得了冠军,并以巨大的优势超过了第二名。视频超分的主要难点在于(1)如何在给定大运动的情况下对齐多个帧;(2)如何有效地融合具有不同运动和模糊的不同帧。首先,为了处理大的运动,EDVR模型设计了一个金字塔级联的可变形(PCD)对齐模块,在该模块中,从粗到精的可变形卷积被使用来进行特征级的帧对齐。其次,EDVR使用了时空注意力(TSA)融合模块,该模块在时间和空间上同时应用注意力机制,以强调后续恢复的重要特征。
### BasicVSR
[BasicVSR](https://arxiv.org/pdf/2012.02181.pdf)在VSR的指导下重新考虑了四个基本模块(即传播、对齐、聚合和上采样)的一些最重要的组件。 通过添加一些小设计,重用一些现有组件,得到了简洁的 BasicVSR。与许多最先进的算法相比,BasicVSR在速度和恢复质量方面实现了有吸引力的改进。 同时,通过添加信息重新填充机制和耦合传播方案以促进信息聚合,BasicVSR 可以扩展为 [IconVSR](https://arxiv.org/pdf/2012.02181.pdf),IconVSR可以作为未来 VSR 方法的强大基线 .
### BasicVSR++
[BasicVSR++](https://arxiv.org/pdf/2104.13371v1.pdf)通过提出二阶网格传播和导流可变形对齐来重新设计BasicVSR。通过增强传播和对齐来增强循环框架,BasicVSR++可以更有效地利用未对齐视频帧的时空信息。 在类似的计算约束下,新组件可提高性能。特别是,BasicVSR++ 以相似的参数数量在 PSNR 方面比 BasicVSR 高0.82dB。BasicVSR++ 在NTIRE2021的视频超分辨率和压缩视频增强挑战赛中获得三名冠军和一名亚军。
PP-MSVSR是一种多阶段视频超分深度架构,具有局部融合模块、辅助损失和细化对齐模块,以逐步细化增强结果。具体来说,在第一阶段设计了局部融合模块,在特征传播之前进行局部特征融合, 以加强特征传播中跨帧特征的融合。在第二阶段中引入了一个辅助损失,使传播模块获得的特征保留了更多与HR空间相关的信息。在第三阶段中引入了一个细化的对齐模块,以充分利用前一阶段传播模块的特征信息。大量实验证实,PP-MSVSR在Vid4数据集性能优异,仅使用 1.45M 参数PSNR指标即可达到28.13dB。
## 1.2 如何使用
### 1.2.1 数据准备
......
Markdown is supported
0% .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑!
想要评论请 注册