README.md

    Python3 Spider Practice —— Python3 爬虫实战练习


    CSDN 爬虫实战专栏    个人博客爬虫实战专栏

    BLOG URL    CSDN URL    Zhihu URL    MAIL    GitHub followers    GitHub Repo stars


    关于 💡

    • 主要保存了本人在学习爬虫过程中写的代码,稍微复杂一点的在我博客里面有写分析过程,比较简单的项目,分析思路会直接写在 README 里面。

    • 项目中部分代码可能已失效,原因可能是反爬措施更新、页面结构发生变化等,失效的可以提 issue,有时间会更新代码。

    • 本仓库中所有内容仅供学习交流,严禁用于商业用途、非法用途,否则由此产生的一切后果均与作者无关,在本仓库中下载的文件学习完毕之后请于 24 小时内删除。

    分类 🏷

    • Material:爬虫相关资料,均从互联网收集;

    • AutomationTool:使用自动化工具进行数据采集、验证码处理等;

    • BasicTraining:基础训练,一般是比较简单的爬虫;

    • CommentPlugin:针对各大评论插件的爬虫,如 Facebook 评论插件等;

    • FightAgainstSpider:针对常见的反爬虫手段的爬虫,如字体加密等;

    • JSReverse:JS 加密解密、JS 逆向相关文章,重点关注逆向解密过程;【可以关注 K 哥爬虫 同步更新】

    • SignIn:针对各种签到、抽奖的爬虫;

    • SpiderDataVisualization:爬虫与数据可视化,如 COVID-19 数据可视化等。

    目录 📑

    目标 / 文章 代码
    BasicTraining 基础训练
    安居客武汉二手房【Beautiful Soup、CSV】 anjuke
    豆瓣电影TOP250【Xpath、正则表达式、CSV】 douban-top250
    瓜子全国二手车【Cookie、XPath、MongoDB】 guazi
    虎扑论坛步行街【Beautiful Soup、MongoDB】 hupu
    猫眼电影TOP100【lxml、Xpath、CSV 】 maoyan-top100
    AutomationTool 自动化工具
    模拟登陆哔哩哔哩【滑动验证码、Selenium】 bilibili-login
    模拟登陆12306【点触验证码、Selenium】 12306-login
    SpiderDataVisualization 数据可视化
    前程无忧招聘信息【MongoDB、Numpy、Pandas、Matplotlib】 51job
    COVID-19 肺炎疫情数据实时监控【openpyxl、pyecharts、wordcloud】 COVID-19
    SignIn 签到抽奖
    CSDN 自动签到抽奖【GitHub Actions、钉钉、企业微信机器人】 csdn-sign-in
    CommentPlugin 评论插件
    Facebook 评论插件、留言外挂程序 facebook-comments
    Vuukle 评论插件 vuukle-comments
    FightAgainstSpider 反反爬
    58同城武汉出租房【网站加密字体、MySQL】 58tongcheng
    JSReverse JS 逆向
    JS 逆向百例
    【爬虫知识】浏览器开发者工具使用技巧总结 \
    【爬虫知识】爬虫常见加密解密算法 \
    【JS 逆向百例】百度翻译接口参数逆向 fanyi_baidu_com
    【JS 逆向百例】有道翻译接口参数逆向 fanyi_youdao_com
    【JS 逆向百例】建筑市场监管服务平台企业数据 jzsc_mohurd_gov_cn
    【JS 逆向百例】当乐网登录接口参数逆向 oauth_d_cn
    【JS 逆向百例】房天下登录接口参数逆向 passport_fang_com
    【JS 逆向百例】37网游登录接口参数逆向 www_37_com
    【JS 逆向百例】层层嵌套!匀加速商城 RSA 加密 www_15yunmall_com
    【JS 逆向百例】转变思路,少走弯路,小米加密分析 account_xiaomi_com
    【JS 逆向百例】元素ID定位加密位置,天凤麻将数据逆向 tenhou_net
    【JS 逆向百例】复杂的登录过程,最新微博逆向 weibo_com
    【JS 逆向百例】无限debugger绕过,三河市政务网站互动数据逆向 zwfw_san-he_gov_cn
    【JS 逆向百例】DOM事件断点调试,中烟新商盟登录逆向 www_xinshangmeng_com
    【JS 逆向百例】XHR 断点调试,Steam 登录逆向 store_steampowered_com
    【JS 逆向百例】如何跟栈调试?某 e 网通 AES 加密分析 web_ewt360_com
    JS 逆向之 Hook,吃着火锅唱着歌,突然就被麻匪劫了! \
    【JS 逆向百例】Fiddler 插件 Hook 实战,某创帮登录逆向 m_wcbchina_com
    【JS 逆向百例】浏览器插件 Hook 实战,亚航加密参数分析 www_airasia_com
    爬虫逆向基础,理解 JavaScript 模块化编程 webpack \
    当爬虫工程师遇到CTF丨B站1024安全攻防题解 \
    【JS 逆向百例】webpack 改写实战,G 某游戏 RSA 加密 www_gm99_com
    【JS逆向百例】某音乐网分离式 webpack 非 IIFE 改写实战 www_kuwo_cn
    爬虫逆向基础,认识 SM1-SM9、ZUC 国密算法 \
    【JS 逆向百例】医保局 SM2+SM4 国产加密算法实战 fuwu_nhsa_gov_cn
    【JS 逆向百例】某易支付密码 MD5+AES 加密分析 epay_163_com
    【JS 逆向百例】cnki 学术翻译 AES 加密分析 dict_cnki_net
    【JS 逆向百例】Ether Rock 空投接口 AES256 加密分析 etherrock_ne
    【JS 逆向百例】你没见过的社会主义核心价值观加密 www_appmiu_com
    【JS 逆向百例】反混淆入门,某鹏教育 JS 混淆还原 learn_open_com_cn
    【JS 逆向百例】W店UA,OB反混淆,抓包替换CORS跨域错误分析 d_weidian_com
    【JS 逆向百例】WebSocket 协议爬虫,智慧树扫码登录案例分析 passport_zhihuishu_com
    【JS 逆向百例】网洛者反爬练习平台第一题:JS 混淆加密,反 Hook 操作 spider_wangluozhe_com_challenge_1
    【JS 逆向百例】网洛者反爬练习平台第二题:JJEncode 加密 spider_wangluozhe_com_challenge_2
    【JS 逆向百例】网洛者反爬练习平台第三题:AAEncode 加密 spider_wangluozhe_com_challenge_3
    【JS 逆向百例】网洛者反爬练习平台第四题:JSFuck 加密 spider_wangluozhe_com_challenge_4
    【JS 逆向百例】网洛者反爬练习平台第五题:控制台反调试 spider_wangluozhe_com_challenge_5
    【JS 逆向百例】网洛者反爬练习平台第六题:JS 加密,环境模拟检测 spider_wangluozhe_com_challenge_6
    【JS 逆向百例】X球投资者社区 cookie 参数 acw_sc__v2 加密分析 xueqiu_com
    【JS 逆向百例】PEDATA 加密资讯以及 zlib.gunzipSync() 的应用 max_pedata_cn
    某空气质量监测平台无限 debugger 以及数据动态加密分析 www_aqistudy_cn
    【JS 逆向百例】HN政务服务网登录逆向,验证码形同虚设 www_hnzwfw_gov_cn
    【JS 逆向百例】吾爱破解2022春节解题领红包之番外篇 Web 中级题解 \
    RPC 技术及其框架 Sekiro 在爬虫逆向中的应用,加密数据一把梭! \
    深度剖析 JA3 指纹及突破 \
    【JS 逆向百例】拉勾网爬虫,traceparent、__lg_stoken__、X-S-HEADER 等参数分析 www_lagou_com
    华强电子网登录 passport_hqew_com
    学易云登录 passport_xueyiyun_com
    天安保险登录 tianaw_95505_cn
    宁波大学登录 uis_nbu_edu_cn
    航班管家人口流动大数据 unicom_trip_133_cn
    惠金所登录 www_hfax_com
    咪咕视频登录 www_miguvideo_com
    企名片创业项目数据 www_qimingpian_cn
    中国移动掌上门户登录 wap_10086_cn
    中国联通网上营业厅登录 uac_10010_com
    中国电信网上营业厅登录 login_189_cn
    爱应用登录 www_iappstoday_com
    360 登录 i_360_cn
    1号店登录 passport_yhd_com
    魅族登录 login_flyme_cn

    交流群💬

    K哥爬虫交流群

    项目简介

    Python3 各种爬虫实战练习,Python 3 practice of various spiders.

    发行版本

    当前项目没有发行版本

    贡献者 3

    开发语言

    • JavaScript 79.3 %
    • HTML 12.4 %
    • Python 8.3 %