Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
wuyelin21
爬虫100例(复盘中)
提交
0fdc0c8f
爬
爬虫100例(复盘中)
项目概览
wuyelin21
/
爬虫100例(复盘中)
与 Fork 源项目一致
Fork自
梦想橡皮擦 / 爬虫100例(复盘中)
通知
1
Star
0
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
爬
爬虫100例(复盘中)
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
体验新版 GitCode,发现更多精彩内容 >>
提交
0fdc0c8f
编写于
1月 08, 2022
作者:
梦想橡皮擦
💬
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
Update Python爬虫入门教程 10-100 图虫网多线程爬取.md
上级
ae0a5fed
变更
1
隐藏空白更改
内联
并排
Showing
1 changed file
with
4 addition
and
7 deletion
+4
-7
无法过审的文章备份/Python爬虫入门教程 10-100 图虫网多线程爬取.md
无法过审的文章备份/Python爬虫入门教程 10-100 图虫网多线程爬取.md
+4
-7
未找到文件。
无法过审的文章备份/Python爬虫入门教程 10-100 图虫网多线程爬取.md
浏览文件 @
0fdc0c8f
## 1.图虫网多线程爬取-写在前面
经历了一顿噼里啪啦的操作之后,终于我把博客写到了第10篇,后面,慢慢的会涉及到更多的爬虫模块,有人问
`scrapy`
啥时候开始用,这个我预计要在30篇以后了吧,后面的套路依旧慢节奏的,所以莫着急了,100篇呢,预计4~5个月写完,常见的反反爬后面也会写的,还有fuck login类的内容。
<div
align=
"center"
>
<img
src=
"https://ws2.sinaimg.cn/large/9150e4e5ly1fw3xidss1bj204v04vwee.jpg"
width=
20%
/>
</div>
## 2.图虫网多线程爬取-爬取图虫网
为什么要爬取这个网站,不知道哎~ 莫名奇妙的收到了,感觉图片质量不错,不是那些
`妖艳贱货`
可以比的,所以就开始爬了,搜了一下网上有人也在爬,但是基本都是py2,py3的还没有人写,所以顺手写一篇吧。
...
...
@@ -88,6 +85,7 @@ class ThreadCrawl(threading.Thread):
```
运行结果
![
在这里插入图片描述
](
https://img-blog.csdn.net/20181011183951550?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hpaGVsbA==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
)
线程已经开启,在run方法中,补充爬取数据的代码就好了,这个地方引入一个全局变量,用来标识爬取状态
...
...
@@ -156,7 +154,9 @@ def main():
print
(
data_queue
)
```
经过测试,data_queue 里面有数据啦!!,哈哈,下面在使用相同的操作,去下载图片就好喽
![
在这里插入图片描述
](
https://img-blog.csdn.net/20181011185824419?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hpaGVsbA==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
)
完善
`main`
方法
```
py
def
main
():
...
...
@@ -229,9 +229,6 @@ class ThreadDown(threading.Thread):
关键注释已经添加到代码里面了,收图吧 (◕ᴗ◕✿),这次代码回头在上传到
`github`
上 因为比较简单
![
在这里插入图片描述
](
https://img-blog.csdn.net/2018101119043943?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hpaGVsbA==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
)
当你把上面的花卉修改成比如
`xx`
啥的~,就是
`天外飞仙`
了
<div
align=
"center"
>
<img
src=
"https://img-blog.csdn.net/20181011190609577?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hpaGVsbA==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70"
width=
20%
/>
</div>
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录