1.项目说明

本项目实现定时爬取外包平台的订单并保存，爬取的网站主要包括码市、开源中国、人人开发、实现、51外包和猿急送6个外包订单平台，并先后实现两个版本：

Version 1.0

1.0版本是初始版本，实现爬取6个网站的订单信息，并分别保存到Excel表格的6个Sheet中，同时实现定时爬取，每半个小时爬取一次，并将文件上传到企业微信群以便寻单人员使用。

Version 2.0

2.0版本在1.0版本的基础上实现了保存所有订单到MySQL数据库中，并判断单子的有效性（是否已经过期或已被接），有效的单子保存到Excel表格并发送到企业微信群中，同时如果发生异常，会将异常信息发送到测试群，便于开发人员排错。

2.项目配置

所有配置信息均在各版本的config.py中，可以根据自己的需要进行修改。

安装依赖库

下载或clone项目后，需要使用各版本中的requirements.txt安装依赖库，直接在各版本目录下执行pip install -r requirements.txt -i https://pypi.douban.com/simple即可。

配置文件修改

config.py中的企业微信机器人key、数据库配置等均需根据自己的需要进行修改，同时需要创建数据库名为it_outsource或者自己需要的名称。

3.项目运行

直接在各版本目录下执行python crawler.py即可运行项目、开始采集订单。