index.html 8.3 KB
Newer Older
梦想橡皮擦's avatar
梦想橡皮擦 已提交
1 2
{% extends "base.html" %}
{% block content %}
梦想橡皮擦's avatar
梦想橡皮擦 已提交
3
<div class="alert alert-danger alert-dismissible text-center">
梦想橡皮擦's avatar
梦想橡皮擦 已提交
4 5
    <button type="button" class="btn-close" data-bs-dismiss="alert"></button>
    <strong>爬虫训练场项目</strong> 正在建设中~
梦想橡皮擦's avatar
梦想橡皮擦 已提交
6
</div>
梦想橡皮擦's avatar
梦想橡皮擦 已提交
7
<div class="container pt-5">
梦想橡皮擦's avatar
梦想橡皮擦 已提交
8
    <h3 class="text-success">普通爬虫</h3>
梦想橡皮擦's avatar
梦想橡皮擦 已提交
9 10
    <hr>
    <div class="row align-items-stretch">
梦想橡皮擦's avatar
梦想橡皮擦 已提交
11
        <div class="col mt-2">
梦想橡皮擦's avatar
梦想橡皮擦 已提交
12
            <div class="card  border-info rounded-5 shadow-sm" style="min-height:268px;min-width:300px;">
梦想橡皮擦's avatar
梦想橡皮擦 已提交
13
                <div class="card-header text-center">
梦想橡皮擦's avatar
梦想橡皮擦 已提交
14 15 16
                    <h4 class="card-title">单页爬虫</h4>
                </div>
                <div class="card-body">
梦想橡皮擦's avatar
梦想橡皮擦 已提交
17 18 19 20 21 22 23 24
                    <p class="card-text">目标数据呈现在单一页面中,使用最简单的爬虫库可以直接采集,一般用正则表达式即可完成数据提取。</p>
                    <p class="card-text text-left">难度:⭐</p>
                    <p class="card-text">
                        案例:
                        <a href="/general/news" class="card-link text-success">新闻页</a>
                        <a href="/general/imgs" class="card-link text-success">图片清单</a>
                        <a href="/general/table" class="card-link text-success">表格</a>
                    </p>
梦想橡皮擦's avatar
梦想橡皮擦 已提交
25
                </div>
梦想橡皮擦's avatar
梦想橡皮擦 已提交
26 27 28
                <div class="card-footer text-end">

                    <a href="#" class="btn btn-primary card-link ">学习博客</a>
梦想橡皮擦's avatar
梦想橡皮擦 已提交
29 30 31 32

                </div>
            </div>
        </div>
梦想橡皮擦's avatar
梦想橡皮擦 已提交
33
        <div class="col mt-2">
梦想橡皮擦's avatar
梦想橡皮擦 已提交
34
            <div class="card border-info rounded-5 shadow-sm" style="min-height:268px;min-width:300px;">
梦想橡皮擦's avatar
梦想橡皮擦 已提交
35
                <div class="card-header text-center">
梦想橡皮擦's avatar
梦想橡皮擦 已提交
36
                    <h4 class="card-title">分页爬虫</h4>
梦想橡皮擦's avatar
梦想橡皮擦 已提交
37

梦想橡皮擦's avatar
梦想橡皮擦 已提交
38 39
                </div>
                <div class="card-body">
梦想橡皮擦's avatar
梦想橡皮擦 已提交
40
                    <p class="card-text">本案例是由 2760 条数据组成的分页爬虫,数据为国内学校清单,主要用于练习分页数据采集。</p>
梦想橡皮擦's avatar
梦想橡皮擦 已提交
41 42 43
                    <p class="card-text text-left">难度:⭐</p>
                    <p class="card-text">
                        案例:
梦想橡皮擦's avatar
梦想橡皮擦 已提交
44
                        <a href="/ss/list" class="card-link text-success">学校分页数据</a>
梦想橡皮擦's avatar
梦想橡皮擦 已提交
45
                    </p>
梦想橡皮擦's avatar
梦想橡皮擦 已提交
46
                </div>
梦想橡皮擦's avatar
梦想橡皮擦 已提交
47
                <div class="card-footer text-end">
梦想橡皮擦's avatar
梦想橡皮擦 已提交
48
                    <a href="#" class="btn btn-primary card-link ">学习博客</a>
梦想橡皮擦's avatar
梦想橡皮擦 已提交
49 50 51
                </div>
            </div>
        </div>
梦想橡皮擦's avatar
梦想橡皮擦 已提交
52
        <div class="col mt-2">
梦想橡皮擦's avatar
梦想橡皮擦 已提交
53
            <div class="card border-info rounded-5 shadow-sm" style="min-height:268px;min-width:300px;">
梦想橡皮擦's avatar
梦想橡皮擦 已提交
54
                <div class="card-header text-center">
梦想橡皮擦's avatar
梦想橡皮擦 已提交
55
                    <h4 class="card-title">二进制文件采集</h4>
梦想橡皮擦's avatar
梦想橡皮擦 已提交
56

梦想橡皮擦's avatar
梦想橡皮擦 已提交
57 58
                </div>
                <div class="card-body">
梦想橡皮擦's avatar
梦想橡皮擦 已提交
59
                    <p class="card-text">本案例用于大家学习文件和视频文件内容采集,重点掌握 M3U8 格式视频下载,掌握二进制内容保存。</p>
梦想橡皮擦's avatar
梦想橡皮擦 已提交
60 61 62
                    <p class="card-text text-left">难度:⭐</p>
                    <p class="card-text">
                        案例:
梦想橡皮擦's avatar
梦想橡皮擦 已提交
63 64 65
                        <a href="/file/c" class="card-link text-success">普通</a>
                        <a href="/file/mp4" class="card-link text-success">MP4文件</a>
                        <a href="/file/m3u8" class="card-link text-success">M3U8文件</a>
梦想橡皮擦's avatar
梦想橡皮擦 已提交
66
                    </p>
梦想橡皮擦's avatar
梦想橡皮擦 已提交
67
                </div>
梦想橡皮擦's avatar
梦想橡皮擦 已提交
68 69
                <div class="card-footer text-end">
                    <a href="#" class="btn btn-primary card-link ">学习博客</a>
梦想橡皮擦's avatar
梦想橡皮擦 已提交
70 71 72
                </div>
            </div>
        </div>
梦想橡皮擦's avatar
梦想橡皮擦 已提交
73
        <div class="col mt-2">
梦想橡皮擦's avatar
梦想橡皮擦 已提交
74
            <div class="card border-info rounded-5 shadow-sm" style="min-height:268px;min-width:300px;">
梦想橡皮擦's avatar
梦想橡皮擦 已提交
75
                <div class="card-header text-center">
梦想橡皮擦's avatar
梦想橡皮擦 已提交
76 77 78 79
                    <h4 class="card-title">AJAX 爬虫</h4>
                    <div class="bg-danger text-white rounded p-1"
                         style="transform: rotate(20deg); position:absolute;right:0;top:0.5rem;">最新更新
                    </div>
梦想橡皮擦's avatar
梦想橡皮擦 已提交
80 81
                </div>
                <div class="card-body">
梦想橡皮擦's avatar
梦想橡皮擦 已提交
82
                    <p class="card-text">本案例涉及的数据采用异步AJAX返回,编写爬虫时需要注意抓取接口相关信息。</p>
梦想橡皮擦's avatar
梦想橡皮擦 已提交
83 84 85
                    <p class="card-text text-left">难度:⭐</p>
                    <p class="card-text">
                        案例:
梦想橡皮擦's avatar
梦想橡皮擦 已提交
86
                        <a href="/ss/ajax_list" class="card-link text-success">AJAX学校数据</a>
梦想橡皮擦's avatar
梦想橡皮擦 已提交
87
                    </p>
梦想橡皮擦's avatar
梦想橡皮擦 已提交
88
                </div>
梦想橡皮擦's avatar
梦想橡皮擦 已提交
89 90
                <div class="card-footer text-end">
                    <a href="#" class="btn btn-primary card-link ">学习博客</a>
梦想橡皮擦's avatar
梦想橡皮擦 已提交
91 92 93 94 95
                </div>
            </div>
        </div>
    </div>

梦想橡皮擦's avatar
梦想橡皮擦 已提交
96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120
    <div class="row align-items-stretch">
        <div class="col mt-2">
            <div class="card border-info rounded-5 shadow-sm" style="min-height:268px;min-width:300px;">
                <div class="card-header text-center">
                    <h4 class="card-title">慢速爬虫</h4>
                    <div class="bg-danger text-white rounded p-1"
                         style="transform: rotate(20deg); position:absolute;right:0;top:0.5rem;">最新更新
                    </div>
                </div>
                <div class="card-body">
                    <p class="card-text">本案例通过控制请求响应速度,来实现慢速爬虫,编写采集程序,需要控制请求和响应时间。</p>
                    <p class="card-text text-left">难度:⭐</p>
                    <p class="card-text">
                        案例:
                        <a href="/slow/list" class="card-link text-success">香港电影</a>
                    </p>
                </div>
                <div class="card-footer text-end">
                    <a href="#" class="btn btn-primary card-link ">学习博客</a>
                </div>
            </div>
        </div>

    </div>

梦想橡皮擦's avatar
梦想橡皮擦 已提交
121
</div>
梦想橡皮擦's avatar
梦想橡皮擦 已提交
122
<div class="container pt-5">
梦想橡皮擦's avatar
梦想橡皮擦 已提交
123
    <h3 class="text-danger">PC端反爬</h3>
梦想橡皮擦's avatar
梦想橡皮擦 已提交
124 125
    <hr>
    <div class="row align-items-stretch">
梦想橡皮擦's avatar
梦想橡皮擦 已提交
126
        <div class="col mt-2">
梦想橡皮擦's avatar
梦想橡皮擦 已提交
127 128 129
            <div class="card  border-danger rounded-5 shadow-sm" style="min-height:268px;min-width:300px;">
                <div class="card-header text-center">
                    <h4 class="card-title">UA 参数反爬</h4>
梦想橡皮擦's avatar
梦想橡皮擦 已提交
130 131 132
                    <div class="bg-danger text-white rounded p-1"
                         style="transform: rotate(20deg); position:absolute;right:0;top:0.5rem;">最新更新
                    </div>
梦想橡皮擦's avatar
梦想橡皮擦 已提交
133 134
                </div>
                <div class="card-body">
梦想橡皮擦's avatar
梦想橡皮擦 已提交
135 136 137 138 139 140
                    <p class="card-text">该案例要求爬虫程序构造请求头的时候,必须携带 User-Agent 参数,否则会返回403错误。</p>
                    <p class="card-text text-left">难度:⭐</p>
                    <p class="card-text">
                        案例:
                        <a href="/as/show" class="card-link text-success">预言故事</a>
                    </p>
梦想橡皮擦's avatar
梦想橡皮擦 已提交
141
                </div>
梦想橡皮擦's avatar
梦想橡皮擦 已提交
142
                <div class="card-footer text-end">
梦想橡皮擦's avatar
梦想橡皮擦 已提交
143

梦想橡皮擦's avatar
梦想橡皮擦 已提交
144
                    <a href="#" class="btn btn-primary card-link ">学习博客</a>
梦想橡皮擦's avatar
梦想橡皮擦 已提交
145 146 147 148

                </div>
            </div>
        </div>
梦想橡皮擦's avatar
梦想橡皮擦 已提交
149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166
        <div class="col mt-2">
            <div class="card  border-danger rounded-5 shadow-sm" style="min-height:268px;min-width:300px;">
                <div class="card-header text-center">
                    <h4 class="card-title">定值 Cookie 反爬</h4>
                    <div class="bg-danger text-white rounded p-1"
                         style="transform: rotate(20deg); position:absolute;right:0;top:0.5rem;">最新更新
                    </div>
                </div>
                <div class="card-body">
                    <p class="card-text">该案例要求爬虫程序的请求头携带固定Cookie值,如果缺少无法访问。</p>
                    <p class="card-text text-left">难度:⭐</p>
                    <p class="card-text">
                        案例:
                        <a href="/as/cookie_demo" class="card-link text-success">边界故事</a>
                    </p>
                </div>
                <div class="card-footer text-end">
                    <a href="#" class="btn btn-primary card-link ">学习博客</a>
梦想橡皮擦's avatar
梦想橡皮擦 已提交
167

梦想橡皮擦's avatar
梦想橡皮擦 已提交
168 169 170 171
                </div>
            </div>
        </div>
    </div>
梦想橡皮擦's avatar
梦想橡皮擦 已提交
172

梦想橡皮擦's avatar
梦想橡皮擦 已提交
173
</div>
梦想橡皮擦's avatar
梦想橡皮擦 已提交
174 175


梦想橡皮擦's avatar
梦想橡皮擦 已提交
176
{% endblock %}