Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
难得糊涂314
Python-100-Days
提交
48344a71
P
Python-100-Days
项目概览
难得糊涂314
/
Python-100-Days
与 Fork 源项目一致
从无法访问的项目Fork
通知
1
Star
0
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
P
Python-100-Days
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
体验新版 GitCode,发现更多精彩内容 >>
提交
48344a71
编写于
5月 29, 2018
作者:
骆昊的技术专栏
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
更新了爬虫第2天文档
上级
2315b0ce
变更
1
隐藏空白更改
内联
并排
Showing
1 changed file
with
19 addition
and
4 deletion
+19
-4
Day66-75/02.数据采集和解析.md
Day66-75/02.数据采集和解析.md
+19
-4
未找到文件。
Day66-75/02.数据采集和解析.md
浏览文件 @
48344a71
...
...
@@ -53,21 +53,36 @@
2.
URL参数和请求头。
3.
复杂的POST请求(文件上传)。
4.
操作Cookie。
5.
设置代理服务器。
6.
超时设置。
### 三种采集方式
> 说明:关于requests的详细用法可以参考它的[官方文档](http://docs.python-requests.org/zh_CN/latest/user/quickstart.html)。
#### 三种采集方式的比较
### 四种采集方式
#### 四种采集方式的比较
| 抓取方法 | 速度 | 使用难度 | 备注 |
| ---------- | --------------------- | -------- | ------------------------------------------ |
| 正则表达式 | 快 | 困难 | 常用正则表达式
<br>
在线正则表达式测试 |
| lxml | 快 | 一般 | 需要安装C语言依赖库
<br>
唯一支持XML的解析器 |
| Beautiful | 快/慢(取决于解析器) | 简单 | |
| PyQuery | 较快 | 简单 | Python版的jQuery |
> 说明:Beautiful的解析器包括:Python标准库(html.parser)、lxml的HTML解析器、lxml的XML解析器和html5lib。
#### BeautifulSoup的使用
1.
遍历文档树。
2.
五种过滤器:字符串、正则表达式、列表、True、方法。
1.
遍历文档树
-
获取标签
-
获取标签属性
-
获取标签内容
-
获取子(孙)节点
-
获取父节点/祖先节点
-
获取兄弟节点
2.
搜索树节点
-
find / find_all:字符串、正则表达式、列表、True、函数或Lambda。
-
select_one / select:CSS选择器
> 说明:更多内容可以参考BeautifulSoup的[官方文档]()。
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录