diff --git "a/\346\227\240\346\263\225\350\277\207\345\256\241\347\232\204\346\226\207\347\253\240\345\244\207\344\273\275/Python\347\210\254\350\231\253\345\205\245\351\227\250\346\225\231\347\250\213 10-100 \345\233\276\350\231\253\347\275\221\345\244\232\347\272\277\347\250\213\347\210\254\345\217\226.md" "b/\346\227\240\346\263\225\350\277\207\345\256\241\347\232\204\346\226\207\347\253\240\345\244\207\344\273\275/Python\347\210\254\350\231\253\345\205\245\351\227\250\346\225\231\347\250\213 10-100 \345\233\276\350\231\253\347\275\221\345\244\232\347\272\277\347\250\213\347\210\254\345\217\226.md"
new file mode 100644
index 0000000000000000000000000000000000000000..b38f8f3657273ace824c1bf61f97858f89c7cece
--- /dev/null
+++ "b/\346\227\240\346\263\225\350\277\207\345\256\241\347\232\204\346\226\207\347\253\240\345\244\207\344\273\275/Python\347\210\254\350\231\253\345\205\245\351\227\250\346\225\231\347\250\213 10-100 \345\233\276\350\231\253\347\275\221\345\244\232\347\272\277\347\250\213\347\210\254\345\217\226.md"
@@ -0,0 +1,237 @@
+## 1.图虫网多线程爬取-写在前面
+经历了一顿噼里啪啦的操作之后,终于我把博客写到了第10篇,后面,慢慢的会涉及到更多的爬虫模块,有人问`scrapy` 啥时候开始用,这个我预计要在30篇以后了吧,后面的套路依旧慢节奏的,所以莫着急了,100篇呢,预计4~5个月写完,常见的反反爬后面也会写的,还有fuck login类的内容。
+
+
+
+
+
+## 2.图虫网多线程爬取-爬取图虫网
+为什么要爬取这个网站,不知道哎~ 莫名奇妙的收到了,感觉图片质量不错,不是那些`妖艳贱货` 可以比的,所以就开始爬了,搜了一下网上有人也在爬,但是基本都是py2,py3的还没有人写,所以顺手写一篇吧。
+
+## 3.图虫网多线程爬取-起始页面
+https://tuchong.com/explore/
+这个页面中有很多的标签,每个标签下面都有很多图片,为了和谐,我选择了一个非常好的标签`花卉` 你可以选择其他的,甚至,你可以把所有的都爬取下来。
+```
+https://tuchong.com/tags/%E8%8A%B1%E5%8D%89/ # 花卉编码成了 %E8%8A%B1%E5%8D%89 这个无所谓
+```
+我们这次也玩点以前没写过的,使用python中的queue,也就是队列
+
+下面是我从别人那顺来的一些解释,基本爬虫初期也就用到这么多
+
+ 1. 初始化: class Queue.Queue(maxsize) FIFO 先进先出
+
+ 2. 包中的常用方法:
+
+ - queue.qsize() 返回队列的大小
+ - queue.empty() 如果队列为空,返回True,反之False
+ - queue.full() 如果队列满了,返回True,反之False
+ - queue.full 与 maxsize 大小对应
+ - queue.get([block[, timeout]])获取队列,timeout等待时间
+
+ 3. 创建一个“队列”对象
+ import queue
+ myqueue = queue.Queue(maxsize = 10)
+
+ 4. 将一个值放入队列中
+ myqueue.put(10)
+
+ 5. 将一个值从队列中取出
+ myqueue.get()
+
+## 4.图虫网多线程爬取-开始编码
+
+首先我们先实现主要方法的框架,我依旧是把一些核心的点,都写在注释上面
+
+```py
+def main():
+ # 声明一个队列,使用循环在里面存入100个页码
+ page_queue = Queue(100)
+ for i in range(1,101):
+ page_queue.put(i)
+
+
+ # 采集结果(等待下载的图片地址)
+ data_queue = Queue()
+
+ # 记录线程的列表
+ thread_crawl = []
+ # 每次开启4个线程
+ craw_list = ['采集线程1号','采集线程2号','采集线程3号','采集线程4号']
+ for thread_name in craw_list:
+ c_thread = ThreadCrawl(thread_name, page_queue, data_queue)
+ c_thread.start()
+ thread_crawl.append(c_thread)
+
+ # 等待page_queue队列为空,也就是等待之前的操作执行完毕
+ while not page_queue.empty():
+ pass
+
+if __name__ == '__main__':
+ main()
+
+```
+代码运行之后,成功启动了4个线程,然后等待线程结束,这个地方注意,你需要把 `ThreadCrawl` 类补充完整
+
+```py
+class ThreadCrawl(threading.Thread):
+
+ def __init__(self, thread_name, page_queue, data_queue):
+ # threading.Thread.__init__(self)
+ # 调用父类初始化方法
+ super(ThreadCrawl, self).__init__()
+ self.threadName = thread_name
+ self.page_queue = page_queue
+ self.data_queue = data_queue
+
+ def run(self):
+ print(self.threadName + ' 启动************')
+
+```
+运行结果
+![在这里插入图片描述](https://img-blog.csdn.net/20181011183951550?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hpaGVsbA==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
+
+线程已经开启,在run方法中,补充爬取数据的代码就好了,这个地方引入一个全局变量,用来标识爬取状态
+`CRAWL_EXIT = False`
+
+先在`main`方法中加入如下代码
+```py
+CRAWL_EXIT = False # 这个变量声明在这个位置
+class ThreadCrawl(threading.Thread):
+
+ def __init__(self, thread_name, page_queue, data_queue):
+ # threading.Thread.__init__(self)
+ # 调用父类初始化方法
+ super(ThreadCrawl, self).__init__()
+ self.threadName = thread_name
+ self.page_queue = page_queue
+ self.data_queue = data_queue
+
+ def run(self):
+ print(self.threadName + ' 启动************')
+ while not CRAWL_EXIT:
+ try:
+ global tag, url, headers,img_format # 把全局的值拿过来
+ # 队列为空 产生异常
+ page = self.page_queue.get(block=False) # 从里面获取值
+ spider_url = url_format.format(tag,page,100) # 拼接要爬取的URL
+ print(spider_url)
+ except:
+ break
+
+ timeout = 4 # 合格地方是尝试获取3次,3次都失败,就跳出
+ while timeout > 0:
+ timeout -= 1
+ try:
+ with requests.Session() as s:
+ response = s.get(spider_url, headers=headers, timeout=3)
+ json_data = response.json()
+ if json_data is not None:
+ imgs = json_data["postList"]
+ for i in imgs:
+ imgs = i["images"]
+ for img in imgs:
+ img = img_format.format(img["user_id"],img["img_id"])
+ self.data_queue.put(img) # 捕获到图片链接,之后,存入一个新的队列里面,等待下一步的操作
+
+ break
+
+ except Exception as e:
+ print(e)
+
+
+ if timeout <= 0:
+ print('time out!')
+def main():
+ # 代码在上面
+
+ # 等待page_queue队列为空,也就是等待之前的操作执行完毕
+ while not page_queue.empty():
+ pass
+
+ # 如果page_queue为空,采集线程退出循环
+ global CRAWL_EXIT
+ CRAWL_EXIT = True
+
+ # 测试一下队列里面是否有值
+ print(data_queue)
+```
+经过测试,data_queue 里面有数据啦!!,哈哈,下面在使用相同的操作,去下载图片就好喽
+![在这里插入图片描述](https://img-blog.csdn.net/20181011185824419?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hpaGVsbA==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
+完善`main`方法
+```py
+def main():
+ # 代码在上面
+
+ for thread in thread_crawl:
+ thread.join()
+ print("抓取线程结束")
+
+ thread_image = []
+ image_list = ['下载线程1号', '下载线程2号', '下载线程3号', '下载线程4号']
+ for thread_name in image_list:
+ Ithread = ThreadDown(thread_name, data_queue)
+ Ithread.start()
+ thread_image.append(Ithread)
+
+
+
+ while not data_queue.empty():
+ pass
+
+ global DOWN_EXIT
+ DOWN_EXIT = True
+
+ for thread in thread_image:
+ thread.join()
+ print("下载线程结束")
+```
+
+还是补充一个 `ThreadDown` 类,这个类就是用来下载图片的。
+```py
+
+class ThreadDown(threading.Thread):
+ def __init__(self, thread_name, data_queue):
+ super(ThreadDown, self).__init__()
+ self.thread_name = thread_name
+ self.data_queue = data_queue
+
+ def run(self):
+ print(self.thread_name + ' 启动************')
+ while not DOWN_EXIT:
+ try:
+ img_link = self.data_queue.get(block=False)
+ self.write_image(img_link)
+ except Exception as e:
+ pass
+
+ def write_image(self, url):
+
+ with requests.Session() as s:
+ response = s.get(url, timeout=3)
+ img = response.content # 获取二进制流
+
+ try:
+ file = open('image/' + str(time.time())+'.jpg', 'wb')
+ file.write(img)
+ file.close()
+ print('image/' + str(time.time())+'.jpg 图片下载完毕')
+
+ except Exception as e:
+ print(e)
+ return
+
+
+```
+
+运行之后,等待图片下载就可以啦~~
+
+![在这里插入图片描述](https://img-blog.csdn.net/20181011190336285?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hpaGVsbA==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
+关键注释已经添加到代码里面了,收图吧 (◕ᴗ◕✿),这次代码回头在上传到`github`上 因为比较简单
+![在这里插入图片描述](https://img-blog.csdn.net/2018101119043943?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hpaGVsbA==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
+当你把上面的花卉修改成比如`xx`啥的~,就是`天外飞仙`了
+
+
+
+
+
+