readme.md
1.项目说明
本项目实现定时爬取外包平台的订单并保存,爬取的网站主要包括码市、开源中国、人人开发、实现、51外包和猿急送6个外包订单平台,并先后实现两个版本:
Version 1.0
1.0版本是初始版本,实现爬取6个网站的订单信息,并分别保存到Excel表格的6个Sheet中,同时实现定时爬取,每半个小时爬取一次,并将文件上传到企业微信群以便寻单人员使用。
Version 2.0
2.0版本在1.0版本的基础上实现了保存所有订单到MySQL数据库中,并判断单子的有效性(是否已经过期或已被接),有效的单子保存到Excel表格并发送到企业微信群中,同时如果发生异常,会将异常信息发送到测试群,便于开发人员排错。
2.项目配置
所有配置信息均在各版本的config.py中,可以根据自己的需要进行修改。
安装依赖库
下载或clone项目后,需要使用各版本中的requirements.txt安装依赖库,直接在各版本目录下执行pip install -r requirements.txt -i https://pypi.douban.com/simple
即可。
配置文件修改
config.py中的企业微信机器人key、数据库配置等均需根据自己的需要进行修改,同时需要创建数据库名为it_outsource或者自己需要的名称。
3.项目运行
直接在各版本目录下执行python crawler.py
即可运行项目、开始采集订单。