Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
PaddlePaddle
PaddleGAN
提交
7c33750b
P
PaddleGAN
项目概览
PaddlePaddle
/
PaddleGAN
大约 1 年 前同步成功
通知
97
Star
7254
Fork
1210
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
4
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
P
PaddleGAN
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
4
Issue
4
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
未验证
提交
7c33750b
编写于
12月 09, 2021
作者:
W
wangna11BD
提交者:
GitHub
12月 09, 2021
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
add link for msvsr (#513)
上级
ad631f41
变更
2
隐藏空白更改
内联
并排
Showing
2 changed file
with
3 addition
and
5 deletion
+3
-5
docs/en_US/tutorials/video_super_resolution.md
docs/en_US/tutorials/video_super_resolution.md
+0
-2
docs/zh_CN/tutorials/video_super_resolution.md
docs/zh_CN/tutorials/video_super_resolution.md
+3
-3
未找到文件。
docs/en_US/tutorials/video_super_resolution.md
浏览文件 @
7c33750b
...
@@ -19,8 +19,6 @@
...
@@ -19,8 +19,6 @@
## 1.2 How to use
## 1.2 How to use
### 1.2.1 Prepare Datasets
### 1.2.1 Prepare Datasets
...
...
docs/zh_CN/tutorials/video_super_resolution.md
浏览文件 @
7c33750b
...
@@ -4,14 +4,14 @@
...
@@ -4,14 +4,14 @@
## 1.1 原理介绍
## 1.1 原理介绍
视频超分源于图像超分,其目的是从一个或多个低分辨率(LR)图像中恢复高分辨率(HR)图像。它们的区别也很明显,由于视频是由多个帧组成的,所以视频超分通常利用帧间的信息来进行修复。
视频超分源于图像超分,其目的是从一个或多个低分辨率(LR)图像中恢复高分辨率(HR)图像。它们的区别也很明显,由于视频是由多个帧组成的,所以视频超分通常利用帧间的信息来进行修复。
这里我们提供百度自研SOTA超分系列模型PP-MSVSR、业界领先视频超分模型
[
EDVR
](
https://arxiv.org/pdf/1905.02716.pdf
)
、
[
BasicVSR
](
https://arxiv.org/pdf/2012.02181.pdf
)
,
[
IconVSR
](
https://arxiv.org/pdf/2012.02181.pdf
)
和
[
BasicVSR++
](
https://arxiv.org/pdf/2104.13371v1.pdf
)
。
这里我们提供百度自研SOTA超分系列模型PP-MSVSR、业界领先视频超分模型
[
EDVR
](
https://arxiv.org/pdf/1905.02716.pdf
)
、
[
BasicVSR
](
https://arxiv.org/pdf/2012.02181.pdf
)
,
[
IconVSR
](
https://arxiv.org/pdf/2012.02181.pdf
)
和
[
BasicVSR++
](
https://arxiv.org/pdf/2104.13371v1.pdf
)
。
### ⭐ PP-MSVSR ⭐
### ⭐ PP-MSVSR ⭐
百度自研的
[
PP-MSVSR
](
https://arxiv.org/pdf/2112.02828.pdf
)
是一种多阶段视频超分深度架构,具有局部融合模块、辅助损失和细化对齐模块,以逐步细化增强结果。具体来说,在第一阶段设计了局部融合模块,在特征传播之前进行局部特征融合, 以加强特征传播中跨帧特征的融合。在第二阶段中引入了一个辅助损失,使传播模块获得的特征保留了更多与HR空间相关的信息。在第三阶段中引入了一个细化的对齐模块,以充分利用前一阶段传播模块的特征信息。大量实验证实,PP-MSVSR在Vid4数据集性能优异,仅使用 1.45M 参数PSNR指标即可达到28.13dB。
百度自研的
[
PP-MSVSR
](
https://arxiv.org/pdf/2112.02828.pdf
)
是一种多阶段视频超分深度架构,具有局部融合模块、辅助损失和细化对齐模块,以逐步细化增强结果。具体来说,在第一阶段设计了局部融合模块,在特征传播之前进行局部特征融合, 以加强特征传播中跨帧特征的融合。在第二阶段中引入了一个辅助损失,使传播模块获得的特征保留了更多与HR空间相关的信息。在第三阶段中引入了一个细化的对齐模块,以充分利用前一阶段传播模块的特征信息。大量实验证实,PP-MSVSR在Vid4数据集性能优异,仅使用 1.45M 参数PSNR指标即可达到28.13dB。
[
PP-MSVSR
](
https://arxiv.org/pdf/2112.02828.pdf
)
提供两种体积模型,开发者可根据实际场景灵活选择:
[
PP-MSVSR
](
https://arxiv.org/pdf/2112.02828.pdf
)
(参数量1.45M)与
[
PP-MSVSR-L
](
https://arxiv.org/pdf/2112.02828.pdf
)
(参数量7.42)。
[
PP-MSVSR
](
https://arxiv.org/pdf/2112.02828.pdf
)
提供两种体积模型,开发者可根据实际场景灵活选择:
[
PP-MSVSR
](
https://arxiv.org/pdf/2112.02828.pdf
)
(参数量1.45M)与
[
PP-MSVSR-L
](
https://arxiv.org/pdf/2112.02828.pdf
)
(参数量7.42)。
### EDVR
### EDVR
[
EDVR
](
https://arxiv.org/pdf/1905.02716.pdf
)
模型在NTIRE19视频恢复和增强挑战赛的四个赛道中都赢得了冠军,并以巨大的优势超过了第二名。视频超分的主要难点在于(1)如何在给定大运动的情况下对齐多个帧;(2)如何有效地融合具有不同运动和模糊的不同帧。首先,为了处理大的运动,EDVR模型设计了一个金字塔级联的可变形(PCD)对齐模块,在该模块中,从粗到精的可变形卷积被使用来进行特征级的帧对齐。其次,EDVR使用了时空注意力(TSA)融合模块,该模块在时间和空间上同时应用注意力机制,以强调后续恢复的重要特征。
[
EDVR
](
https://arxiv.org/pdf/1905.02716.pdf
)
模型在NTIRE19视频恢复和增强挑战赛的四个赛道中都赢得了冠军,并以巨大的优势超过了第二名。视频超分的主要难点在于(1)如何在给定大运动的情况下对齐多个帧;(2)如何有效地融合具有不同运动和模糊的不同帧。首先,为了处理大的运动,EDVR模型设计了一个金字塔级联的可变形(PCD)对齐模块,在该模块中,从粗到精的可变形卷积被使用来进行特征级的帧对齐。其次,EDVR使用了时空注意力(TSA)融合模块,该模块在时间和空间上同时应用注意力机制,以强调后续恢复的重要特征。
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录