Add new file

无法过审的文章备份/Python爬虫入门教程 18-100 煎蛋网XO图片抓取

+
+## 1. 煎蛋网XO-写在前面
+
+很高兴我这系列的文章写道第18篇了，今天写一个爬虫爱好者特别喜欢的网站煎蛋网 `http://jandan.net/ooxx` ，这个网站其实还是有点意思的，网站很多人写了N多的教程了，各种方式的都有，当然网站本身在爬虫爱好者的不断进攻下，也在不断的完善，反爬措施也很多，今天我用 `selenium` 在揍他一波。
+
+![Python爬虫入门教程 18-100 煎蛋网XO图片抓取](https://img-blog.csdnimg.cn/20181029150824578.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hpaGVsbA==,size_27,color_FFFFFF,t_70#pic_center =300x)
+
+整体看上去，煎蛋网的X图质量还是可以的，不是很多，但是还蛮有味道的，这可能也是爬虫er，一批一批的奔赴上去的原因。
+
+![在这里插入图片描述](https://img-blog.csdnimg.cn/ea10f7a74e584090a371159f61e3b638.png#pic_center)
+
+
+## 2. 煎蛋网XO-网站分析
+
+这个网站如果用 `selenium` 爬取，其实也没什么要分析的, 模拟访问就行，导入必备的模块。
+
+```py
+from selenium import webdriver
+from selenium.webdriver.common.by import By
+from selenium.webdriver.support.ui import WebDriverWait
+from selenium.webdriver.support import expected_conditions as EC
+from lxml import etree
+import requests
+
+import time
+```
+
+我使用的是 `PhantomJS` 去加载浏览器，关于这个 `PhantomJS` ，去互联网搜索一下吧，资料大把，会看的很爽的，总之呢，它可以模拟一个真实的浏览器做任何事情，得到你想要的数据。
+
+```py
+browser = webdriver.PhantomJS()
+browser.set_window_size(1366, 768)  # 这个地方需要设置一下浏览器的尺寸
+wait = WebDriverWait(browser,10)
+browser.get("http://jandan.net/ooxx")
+
+```
+
+## 3. 煎蛋网XO-分析数据
+
+程序获取到数据之后就可以对数据进行处理了，编写一个**get_content**函数，用来处理网页源码。
+
+```py
+def get_content():
+
+    try:
+
+        wait.until(
+            EC.presence_of_element_located((By.XPATH,'//*[@id="comments"]/ol'))
+        )
+        #
+        print("正在爬取{}".format(browser.current_url))
+        page_source = browser.page_source  # 获取网页源码
+        html = etree.HTML(page_source)  # 解析源码
+        imgs = html.xpath("//li[contains(@id,'comment')]//img/@src")  # 匹配图片
+        download(imgs)
+
+    except Exception as e:
+        print("错误")
+        print(e)
+    finally:
+        browser.close()
+```
+
+图片获取到之后，在上面的代码中，注意有一个地方调用了一个 `download` 函数，这个函数就是用来下载图片的
+
+```py
+
+def download(imgs):
+    path = "./xxoo/{}"  # 路径我写死了
+    for img in imgs:
+        try:
+            res = requests.get(img)
+            content = res.content
+        except Exception as e:
+            print(e)
+            continue
+
+        file_name = img.split("/")[-1] # 获取文件名
+
+        with open(path.format(file_name),"wb") as f:
+            f.write(content)
+            print(file_name,"成功下载文件")
+            time.sleep(0.3)
+
+    # 循环下载完毕，进行翻页操作 previous-comment-page
+    next = wait.until(
+        EC.presence_of_element_located((By.XPATH, '//*[@id="comments"]//a[@class="previous-comment-page"]'))
+    )
+    next.click()
+    return get_content()  # 继续调用上面的网页源码分析流程
+
+```
+
+OK，运行一下。
+
+ 
+<div align="center">
+<img  src="https://img-blog.csdnimg.cn/20181029151853673.gif"  />
+</div>
+
+**更多精彩**
+
+- [Python 爬虫 100 例教程导航帖（连续 3 年，不断更！）](https://blog.csdn.net/hihell/category_9280209.html)
+
+---
+
+![写给Python社群的第1课：初识Python，开篇知识点就选字符串吧~](https://img-blog.csdnimg.cn/58dbb001120948a9b87e968918bd0be9.png =600x)
+
+ <center>
+ 👇👇👇扫码加入【78技术人】~ Python 事业部👇👇👇</center>