Python3 Spider Practice —— Python3 爬虫实战练习

--- ## 关于 💡 - ❗ 主要保存了本人在学习爬虫过程中写的代码，稍微复杂一点的在我博客里面有写分析过程，比较简单的项目，分析思路会直接写在 README 里面。 - ❗ 项目中部分代码可能已失效，原因可能是反爬措施更新、页面结构发生变化等，失效的可以提 issue，有时间会更新代码。 - ❗ **本仓库中所有内容仅供学习交流，严禁用于商业用途、非法用途，否则由此产生的一切后果均与作者无关，在本仓库中下载的文件学习完毕之后请于 24 小时内删除。** ## 分类 🏷️ - **[Material](https://github.com/TRHX/Python3-Spider-Practice/tree/master/Material)**：爬虫相关资料，均从互联网收集； - **[AutomationTool](https://github.com/TRHX/Python3-Spider-Practice#automationtool-%E8%87%AA%E5%8A%A8%E5%8C%96%E5%B7%A5%E5%85%B7)**：使用自动化工具进行数据采集、验证码处理等； - **[BasicTraining](https://github.com/TRHX/Python3-Spider-Practice#basictraining-%E5%9F%BA%E7%A1%80%E8%AE%AD%E7%BB%83)**：基础训练，一般是比较简单的爬虫； - **[CommentPlugin](https://github.com/TRHX/Python3-Spider-Practice#commentplugin-%E8%AF%84%E8%AE%BA%E6%8F%92%E4%BB%B6)**：针对各大评论插件的爬虫，如 Facebook 评论插件等； - **[FightAgainstSpider](https://github.com/TRHX/Python3-Spider-Practice#fightagainstspider-%E5%8F%8D%E5%8F%8D%E7%88%AC)**：针对常见的反爬虫手段的爬虫，如字体加密等； - **[JSReverse](https://github.com/TRHX/Python3-Spider-Practice#jsreverse-js-%E9%80%86%E5%90%91)**：JS 加密解密、JS 逆向相关文章，重点关注逆向解密过程；【可以关注 [K 哥爬虫](https://blog.csdn.net/kdl_csdn) 同步更新】 - **[SignIn](https://github.com/TRHX/Python3-Spider-Practice#signin-%E7%AD%BE%E5%88%B0%E6%8A%BD%E5%A5%96)**：针对各种签到、抽奖的爬虫； - **[SpiderDataVisualization](https://github.com/TRHX/Python3-Spider-Practice#spiderdatavisualization-%E6%95%B0%E6%8D%AE%E5%8F%AF%E8%A7%86%E5%8C%96)**：爬虫与数据可视化，如 COVID-19 数据可视化等。 ## 目录 📑

目标 / 文章	代码

安居客武汉二手房【Beautiful Soup、CSV】	anjuke
豆瓣电影TOP250【Xpath、正则表达式、CSV】	douban-top250
瓜子全国二手车【Cookie、XPath、MongoDB】	guazi
虎扑论坛步行街【Beautiful Soup、MongoDB】	hupu
猫眼电影TOP100【lxml、Xpath、CSV 】	maoyan-top100

模拟登陆哔哩哔哩【滑动验证码、Selenium】	bilibili-login
模拟登陆12306【点触验证码、Selenium】	12306-login

前程无忧招聘信息【MongoDB、Numpy、Pandas、Matplotlib】	51job
COVID-19 肺炎疫情数据实时监控【openpyxl、pyecharts、wordcloud】	COVID-19

CSDN 自动签到抽奖【GitHub Actions、钉钉、企业微信机器人】	csdn-sign-in

Facebook 评论插件、留言外挂程序	facebook-comments
Vuukle 评论插件	vuukle-comments

58同城武汉出租房【网站加密字体、MySQL】	58tongcheng


【爬虫知识】浏览器开发者工具使用技巧总结	\
【爬虫知识】爬虫常见加密解密算法	\
【JS 逆向百例】百度翻译接口参数逆向	fanyi_baidu_com
【JS 逆向百例】有道翻译接口参数逆向	fanyi_youdao_com
【JS 逆向百例】建筑市场监管服务平台企业数据	jzsc_mohurd_gov_cn
【JS 逆向百例】当乐网登录接口参数逆向	oauth_d_cn
【JS 逆向百例】房天下登录接口参数逆向	passport_fang_com
【JS 逆向百例】37网游登录接口参数逆向	www_37_com
【JS 逆向百例】层层嵌套！匀加速商城 RSA 加密	www_15yunmall_com
【JS 逆向百例】转变思路，少走弯路，小米加密分析	account_xiaomi_com
【JS 逆向百例】元素ID定位加密位置，天凤麻将数据逆向	tenhou_net
【JS 逆向百例】复杂的登录过程，最新微博逆向	weibo_com
【JS 逆向百例】无限debugger绕过，三河市政务网站互动数据逆向	zwfw_san-he_gov_cn
【JS 逆向百例】DOM事件断点调试，中烟新商盟登录逆向	www_xinshangmeng_com
【JS 逆向百例】XHR 断点调试，Steam 登录逆向	store_steampowered_com
【JS 逆向百例】如何跟栈调试？某 e 网通 AES 加密分析	web_ewt360_com
JS 逆向之 Hook，吃着火锅唱着歌，突然就被麻匪劫了！	\
【JS 逆向百例】Fiddler 插件 Hook 实战，某创帮登录逆向	m_wcbchina_com
【JS 逆向百例】浏览器插件 Hook 实战，亚航加密参数分析	www_airasia_com
爬虫逆向基础，理解 JavaScript 模块化编程 webpack	\
当爬虫工程师遇到CTF丨B站1024安全攻防题解	\
【JS 逆向百例】webpack 改写实战，G 某游戏 RSA 加密	www_gm99_com
【JS逆向百例】某音乐网分离式 webpack 非 IIFE 改写实战	www_kuwo_cn
爬虫逆向基础，认识 SM1-SM9、ZUC 国密算法	\
【JS 逆向百例】医保局 SM2+SM4 国产加密算法实战	fuwu_nhsa_gov_cn
【JS 逆向百例】某易支付密码 MD5+AES 加密分析	epay_163_com
【JS 逆向百例】cnki 学术翻译 AES 加密分析	dict_cnki_net
【JS 逆向百例】Ether Rock 空投接口 AES256 加密分析	etherrock_ne
【JS 逆向百例】你没见过的社会主义核心价值观加密	www_appmiu_com
【JS 逆向百例】反混淆入门，某鹏教育 JS 混淆还原	learn_open_com_cn
【JS 逆向百例】W店UA，OB反混淆，抓包替换CORS跨域错误分析	d_weidian_com
【JS 逆向百例】WebSocket 协议爬虫，智慧树扫码登录案例分析	passport_zhihuishu_com
【JS 逆向百例】网洛者反爬练习平台第一题：JS 混淆加密，反 Hook 操作	spider_wangluozhe_com_challenge_1
【JS 逆向百例】网洛者反爬练习平台第二题：JJEncode 加密	spider_wangluozhe_com_challenge_2
【JS 逆向百例】网洛者反爬练习平台第三题：AAEncode 加密	spider_wangluozhe_com_challenge_3
【JS 逆向百例】网洛者反爬练习平台第四题：JSFuck 加密	spider_wangluozhe_com_challenge_4
【JS 逆向百例】网洛者反爬练习平台第五题：控制台反调试	spider_wangluozhe_com_challenge_5
【JS 逆向百例】网洛者反爬练习平台第六题：JS 加密，环境模拟检测	spider_wangluozhe_com_challenge_6
【JS 逆向百例】X球投资者社区 cookie 参数 acw_sc__v2 加密分析	xueqiu_com
华强电子网登录	passport_hqew_com
学易云登录	passport_xueyiyun_com
天安保险登录	tianaw_95505_cn
宁波大学登录	uis_nbu_edu_cn
航班管家人口流动大数据	unicom_trip_133_cn
惠金所登录	www_hfax_com
咪咕视频登录	www_miguvideo_com
企名片创业项目数据	www_qimingpian_cn
中国移动掌上门户登录	wap_10086_cn
中国联通网上营业厅登录	uac_10010_com
中国电信网上营业厅登录	login_189_cn
爱应用登录	www_iappstoday_com
360 登录	i_360_cn
1号店登录	passport_yhd_com
魅族登录	login_flyme_cn

## 交流群💬