README.md 7.6 KB
Newer Older
梦想橡皮擦's avatar
梦想橡皮擦 已提交
1
# ![在这里插入图片描述](https://img-blog.csdnimg.cn/b4bb18153a4b43ba8c6123b795bdc2bb.png) Python 爬虫系列教程,2021年国内最系统+最强
梦想橡皮擦's avatar
README  
梦想橡皮擦 已提交
2

梦想橡皮擦's avatar
梦想橡皮擦 已提交
3
> **作者:** 🍊 梦想橡皮擦(擦哥&擦姐),技术+产品  ✏️[博客地址](https://blog.csdn.net/hihell),希望你有所收获 🏮。
H
hjCodeCloud 已提交
4

梦想橡皮擦's avatar
README  
梦想橡皮擦 已提交
5

H
hjCodeCloud 已提交
6 7 8

## Python 爬虫 120 例,已完成文章清单

梦想橡皮擦's avatar
梦想橡皮擦 已提交
9
### 📙 requests 库 + re 模块
H
hjCodeCloud 已提交
10 11 12 13 14 15
1. [10 行代码集 2000 张美女图,Python 爬虫 120 例,再上征途](https://dream.blog.csdn.net/article/details/117024328)
2. [通过 Python 爬虫,发现 60%女装大佬游走在 cosplay 领域](https://dream.blog.csdn.net/article/details/117221667)
3. [Python 千猫图,简单技术满足你的收集控](https://dream.blog.csdn.net/article/details/117458947)
4. [熊孩子说“你没看过奥特曼”,赶紧用 Python 学习一下,没想到](https://dream.blog.csdn.net/article/details/117458985)
5. [技术圈的【多肉小达人】,一篇文章你就能做到](https://blog.csdn.net/hihell/article/details/117661488)
6. [我用 Python 连夜离线了 100G 图片,只为了防止网站被消失](https://dream.blog.csdn.net/article/details/117918309)
梦想橡皮擦's avatar
梦想橡皮擦 已提交
16

梦想橡皮擦's avatar
梦想橡皮擦 已提交
17
### 📘 requests 库 + re 模块 + threading 模块
梦想橡皮擦's avatar
梦想橡皮擦 已提交
18

H
hjCodeCloud 已提交
19 20
7. [对 Python 爬虫编写者充满诱惑的网站,《可爱图片网》,瞧人这网站名字起的](https://dream.blog.csdn.net/article/details/118035208)
8. [5000张高清壁纸大图(手机用),用Python在法律的边缘又试探了一把](https://dream.blog.csdn.net/article/details/118145504)
梦想橡皮擦's avatar
梦想橡皮擦 已提交
21 22
9. [10994部漫画信息,用Python实施大采集,因为反爬差一点就翻车了](https://blog.csdn.net/hihell/article/details/118222271)
10. [爬动漫“上瘾”之后,放弃午休,迫不及待的用Python薅了腾讯动漫的数据,啧啧啧](https://blog.csdn.net/hihell/article/details/118340372)
梦想橡皮擦's avatar
梦想橡皮擦 已提交
23

梦想橡皮擦's avatar
梦想橡皮擦 已提交
24
### 📗 requests 库 + lxml 库
梦想橡皮擦's avatar
梦想橡皮擦 已提交
25

梦想橡皮擦's avatar
梦想橡皮擦 已提交
26 27
11. [他说:“只是单纯的想用Python收集一些素颜照,做机器学习使用”,“我信你个鬼!”](https://blog.csdn.net/hihell/article/details/118385640)
12. [1小时赚100元,某群X友,周末采集了20000+漫展历史数据,毫无技术难度](https://blog.csdn.net/hihell/article/details/118485941)
梦想橡皮擦's avatar
README  
梦想橡皮擦 已提交
28 29
13. [程序员(媛)不懂汉服?岂能让别人小看,咱先靠肉眼大数据识别万张穿搭照](https://dream.blog.csdn.net/article/details/118541741)
14. [老友(研发岗)被裁后,想加盟小吃店,我用Python采集了一点数据,多少是个心意](https://dream.blog.csdn.net/article/details/118706925)
梦想橡皮擦's avatar
梦想橡皮擦 已提交
30 31 32
15. [整个大活,采集8个代理IP站点,为Python代理池铺路,爬虫120例之第15例](https://dream.blog.csdn.net/article/details/119137580)
16. [极复杂编码,下载《原神》角色高清图、中日无损配音,爬虫 16 / 120 例](https://dream.blog.csdn.net/article/details/111028288)
17. [爬虫120例之第17例,用Python面向对象的思路,采集各种精彩句子](https://dream.blog.csdn.net/article/details/119632820)
梦想橡皮擦's avatar
梦想橡皮擦 已提交
33

梦想橡皮擦's avatar
梦想橡皮擦 已提交
34
### 📙 技术阶段整理
梦想橡皮擦's avatar
梦想橡皮擦 已提交
35

梦想橡皮擦's avatar
梦想橡皮擦 已提交
36 37
18. [requests库与 lxml 库常用操作整理+总结,爬虫120例阶段整理篇](https://dream.blog.csdn.net/article/details/119633672)
19. [正则表达式 与 XPath 语法领域细解,初学阶段的你,该怎么学?](https://dream.blog.csdn.net/article/details/119633700)
梦想橡皮擦's avatar
梦想橡皮擦 已提交
38

梦想橡皮擦's avatar
梦想橡皮擦 已提交
39
### 📕 requests 库 + lxml 库 + cssselect 库
梦想橡皮擦's avatar
梦想橡皮擦 已提交
40

梦想橡皮擦's avatar
梦想橡皮擦 已提交
41 42
20. [Python爬虫120例之第20例,1637、一路商机网全站加盟数据采集](https://dream.blog.csdn.net/article/details/119850647)
21. [孔夫子旧书网数据采集,举一反三学爬虫,Python爬虫120例第21例](https://dream.blog.csdn.net/article/details/119878744)
H
hjCodeCloud 已提交
43

梦想橡皮擦's avatar
梦想橡皮擦 已提交
44
### 📙 多线程爬虫之 threading 模块
梦想橡皮擦's avatar
梦想橡皮擦 已提交
45

梦想橡皮擦's avatar
梦想橡皮擦 已提交
46 47
22. [谁有粉?就爬谁!他粉多,就爬他!Python 多线程采集 260000+ 粉丝数据](https://dream.blog.csdn.net/article/details/119931364)
23. [懒人畅听网,有声小说类目数据采集,多线程速采案例,Python爬虫120例之23例](https://dream.blog.csdn.net/article/details/119914203)
梦想橡皮擦's avatar
梦想橡皮擦 已提交
48 49 50
24. [虎牙直播数据采集,为数据分析做储备,Python爬虫120例之第24例](https://dream.blog.csdn.net/article/details/119914288)
25. [我们的骄傲!非遗数据采集,来自官方的数据,Python爬虫无所不爬](https://dream.blog.csdn.net/article/details/119914306)

梦想橡皮擦's avatar
梦想橡皮擦 已提交
51
### 📗 预备知识
梦想橡皮擦's avatar
梦想橡皮擦 已提交
52

梦想橡皮擦's avatar
梦想橡皮擦 已提交
53 54
- [赞!一篇博客讲解清楚 Python queue模块,作为Python爬虫预备知识,用它解决采集队列问题](https://dream.blog.csdn.net/article/details/119982537)

梦想橡皮擦's avatar
梦想橡皮擦 已提交
55
### 📕 多线程 threading + queue 模块
梦想橡皮擦's avatar
梦想橡皮擦 已提交
56

梦想橡皮擦's avatar
梦想橡皮擦 已提交
57 58
26. [全国美容大夫数据采集数据(花容网 huaroo 公开数据),爬虫120例之26例](https://dream.blog.csdn.net/article/details/119914401)
27. [一个站点不够学?那就在用Python增加一个采集目标,一派话题广场+某金融论坛话题广场爬虫](https://dream.blog.csdn.net/article/details/119914560)
梦想橡皮擦's avatar
梦想橡皮擦 已提交
59 60 61
28. [Python爬虫采集,中介网互联网网站排行榜, 样本数量:58341](https://dream.blog.csdn.net/article/details/119941727)
29. [用Python保住“设计大哥“的头发,直接甩给他10000张参考图,爬虫采集【稿定设计】平面模板素材](https://dream.blog.csdn.net/article/details/120010272)

梦想橡皮擦's avatar
梦想橡皮擦 已提交
62
### 📗 requests-html 库学习
梦想橡皮擦's avatar
梦想橡皮擦 已提交
63

梦想橡皮擦's avatar
README  
梦想橡皮擦 已提交
64 65
30. [requests-html库初识 + 无资料解BUG之 I/O error : encoder error,Python爬虫第30例](https://dream.blog.csdn.net/article/details/120010913)
31. [低调的采集,低调的学习,用自然资源部信息中心网站,来练习Python爬虫](https://dream.blog.csdn.net/article/details/120011196)
梦想橡皮擦's avatar
梦想橡皮擦 已提交
66

梦想橡皮擦's avatar
梦想橡皮擦 已提交
67
### 📙 pyquery 库学习
梦想橡皮擦's avatar
README  
梦想橡皮擦 已提交
68 69 70 71

32. [大桥数据,国外大桥排行榜数据清单,Python爬虫120例第32例](https://dream.blog.csdn.net/article/details/120011213)
33. [程序员是这样学习【中药学】知识的,先用python采集分析一波](https://dream.blog.csdn.net/article/details/120011624)

梦想橡皮擦's avatar
README  
梦想橡皮擦 已提交
72 73
### 📕 BeautifulSoup 库学习

梦想橡皮擦's avatar
README  
梦想橡皮擦 已提交
74 75
34. [在120篇系列专栏中,才能学会 python beautifulsoup4 模块,7000字博客+爬第九工场网](https://dream.blog.csdn.net/article/details/120384794)
35. [都说python是万能的,这次用python看溧阳摄影圈,真不错](https://dream.blog.csdn.net/article/details/120407050)
梦想橡皮擦's avatar
梦想橡皮擦 已提交
76
36. [全程干货,用 python 下载某站全部【免抠图片】,图片背景透明,格式PNG](https://dream.blog.csdn.net/article/details/120414397)
梦想橡皮擦's avatar
README  
梦想橡皮擦 已提交
77 78 79

### 📙 协程学习

梦想橡皮擦's avatar
gevent  
梦想橡皮擦 已提交
80
37. [python 爬虫爱好者必须掌握的知识点“ 协程爬虫”,看一下如何用 gevent 采集女生用头像](https://dream.blog.csdn.net/article/details/120421824)
梦想橡皮擦's avatar
梦想橡皮擦 已提交
81
38. [python协程总学不会?不可能的,边学协程边采集Coser图吧!](https://dream.blog.csdn.net/article/details/120445004)
梦想橡皮擦's avatar
梦想橡皮擦 已提交
82 83 84
39. [你是不是已经成为【爸爸程序员】了?用Python给自己的宝下载200+绘本动画吧,协程第3遍学习](https://dream.blog.csdn.net/article/details/120463479)
40. [python 协程第4课,目标数据源为 mp3 ,目标站点为 bensound.com](https://dream.blog.csdn.net/article/details/120507981)
41. [python 协程补个知识点,控制并发数,python 数据采集必会技能](https://dream.blog.csdn.net/article/details/120879805)
梦想橡皮擦's avatar
梦想橡皮擦 已提交
85

梦想橡皮擦's avatar
梦想橡皮擦 已提交
86
### 📘 scrapy 库学习 
梦想橡皮擦's avatar
梦想橡皮擦 已提交
87

梦想橡皮擦's avatar
梦想橡皮擦 已提交
88 89 90 91
42. [学python,怎么能不学习scrapy呢,这篇博客带你学会它](https://dream.blog.csdn.net/article/details/120899494)
43. [python scrapy 管道学习,并拿在行练手爬虫项目](https://dream.blog.csdn.net/article/details/120934425)
44. [python scrapy极细拆解,打开Spider类看内容,顺手爬了一下优设网](https://dream.blog.csdn.net/article/details/120936534)
45. [练手练到阅文集团作家中心了,python crawlspider 二维抓取学习](https://dream.blog.csdn.net/article/details/120835220)
梦想橡皮擦's avatar
梦想橡皮擦 已提交
92