Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
CSDN 技术社区
skill_tree_python
提交
3df38ab2
S
skill_tree_python
项目概览
CSDN 技术社区
/
skill_tree_python
通知
66
Star
14
Fork
6
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
1
DevOps
流水线
流水线任务
计划
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
S
skill_tree_python
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
1
合并请求
1
Pages
DevOps
DevOps
流水线
流水线任务
计划
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
流水线任务
提交
Issue看板
提交
3df38ab2
编写于
12月 07, 2021
作者:
CSDN-Ada助手
浏览文件
操作
浏览文件
下载
差异文件
Merge branch 'master' into dev
上级
7e358885
dafd5d34
变更
7
隐藏空白更改
内联
并排
Showing
7 changed file
with
68 addition
and
9 deletion
+68
-9
data/2.python中阶/3.网络爬虫/10.动态渲染页面爬取/config.json
data/2.python中阶/3.网络爬虫/10.动态渲染页面爬取/config.json
+1
-1
data/2.python中阶/3.网络爬虫/10.动态渲染页面爬取/dynamic_page.json
data/2.python中阶/3.网络爬虫/10.动态渲染页面爬取/dynamic_page.json
+7
-0
data/2.python中阶/3.网络爬虫/10.动态渲染页面爬取/dynamic_page.md
data/2.python中阶/3.网络爬虫/10.动态渲染页面爬取/dynamic_page.md
+56
-0
data/2.python中阶/3.网络爬虫/11.模拟登录/simulate_login.json
data/2.python中阶/3.网络爬虫/11.模拟登录/simulate_login.json
+1
-2
data/2.python中阶/3.网络爬虫/6.Selenium/selenium.json
data/2.python中阶/3.网络爬虫/6.Selenium/selenium.json
+1
-2
data/2.python中阶/3.网络爬虫/8.pyspider框架的使用/pyspider.json
data/2.python中阶/3.网络爬虫/8.pyspider框架的使用/pyspider.json
+1
-2
data/2.python中阶/3.网络爬虫/9.验证码处理/verification_code.json
data/2.python中阶/3.网络爬虫/9.验证码处理/verification_code.json
+1
-2
未找到文件。
data/2.python中阶/3.网络爬虫/10.动态渲染页面爬取/config.json
浏览文件 @
3df38ab2
{
"export"
:
[],
"export"
:
[
"dynamic_page.json"
],
"keywords"
:
[],
"children"
:
[
{
...
...
data/2.python中阶/3.网络爬虫/10.动态渲染页面爬取/dynamic_page.json
0 → 100644
浏览文件 @
3df38ab2
{
"author"
:
"zxm2015"
,
"source"
:
"dynamic_page.md"
,
"depends"
:
[],
"type"
:
"code_options"
}
\ No newline at end of file
data/2.python中阶/3.网络爬虫/10.动态渲染页面爬取/dynamic_page.md
0 → 100644
浏览文件 @
3df38ab2
# 爬取动态页面
现在想爬取一个url为下拉滚动的页面,下列选项可以爬取到下列页面内容的是:
## 答案
```
python
import
time
from
selenium
import
webdriver
from
bs4
import
BeautifulSoup
driver
=
webdriver
.
Chrome
()
driver
.
get
(
url
);
Thread
.
sleep
(
1000
);
page_size
=
10
for
i
in
range
(
page_size
):
time
.
sleep
(
2
)
js
=
"var q=document.documentElement.scrollTop=10000"
driver
.
execute_script
(
js
)
page
=
BeautifulSoup
(
driver
.
page_source
,
'lxml'
)
print
(
page
.
text
)
```
## 选项
### A
```
以上均不正确
```
### B
```
python
import
requests
response
=
requests
.
get
(
url
=
url
)
page
=
BeautifulSoup
(
response
.
text
,
'lxml'
)
print
(
page
.
text
)
```
### C
```
python
import
urllib.request
response
=
urllib
.
request
.
urlopen
(
url
)
buff
=
response
.
read
()
html
=
buff
.
decode
(
"utf8"
)
page
=
BeautifulSoup
(
html
,
'lxml'
)
print
(
page
.
text
)
```
data/2.python中阶/3.网络爬虫/11.模拟登录/simulate_login.json
浏览文件 @
3df38ab2
...
...
@@ -3,4 +3,4 @@
"source"
:
"simulate_login.md"
,
"depends"
:
[],
"type"
:
"code_options"
}
\ No newline at end of file
}
data/2.python中阶/3.网络爬虫/6.Selenium/selenium.json
浏览文件 @
3df38ab2
...
...
@@ -3,4 +3,4 @@
"source"
:
"selenium.md"
,
"depends"
:
[],
"type"
:
"code_options"
}
\ No newline at end of file
}
data/2.python中阶/3.网络爬虫/8.pyspider框架的使用/pyspider.json
浏览文件 @
3df38ab2
...
...
@@ -3,4 +3,4 @@
"source"
:
"pyspider.md"
,
"depends"
:
[],
"type"
:
"code_options"
}
\ No newline at end of file
}
data/2.python中阶/3.网络爬虫/9.验证码处理/verification_code.json
浏览文件 @
3df38ab2
...
...
@@ -3,4 +3,4 @@
"source"
:
"verification_code.md"
,
"depends"
:
[],
"type"
:
"code_options"
}
\ No newline at end of file
}
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录