提交 409e531f 编写于 作者: D dengkaipeng

add intro for TSM.

上级 44a9e092
......@@ -13,7 +13,16 @@
## 模型简介
TSM(Temporal Shift Module),Backbone采用ResNet-50结构。
Temporal Shift Module是由MIT和IBM Watson的Ji Lin,Chuang Gan等人提出的基于通过时间位移来挺高网络视频理解能力的模块,其位移操作原理如下图所示。
<p align="center">
<img src="../../images/temporal_shift.png" height=300 width=400 hspace='10'/> <br />
Temporal shift module
</p>
上图中矩阵表示特征图中的temporal和channel维度,通过将一部分的channel在temporal维度上向前位移一步,一部分的channel在temporal维度上向后位移一步,位移后的空缺补零。通过这种方式在特征图中引入temporal维度上的上下文交互,提高在时间维度上的视频理解能力。
TSM模型是讲Temporal Shift Module插入到ResNet网络中构建的视频分类模型,本模型库实现版本为以ResNet-50作为主干网络,在每个残差单元中插入Temporal Shift Module模型进行时空建模构建的TSM模型。
详细内容请参考论文[Temporal Shift Module for Efficient Video Understanding](https://arxiv.org/abs/1811.08383)
......
Markdown is supported
0% .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑!
想要评论请 注册