提交 97d249cd 编写于 作者: M monomania

1.优化爬虫线程带出的bug

上级 569060f7
......@@ -55,7 +55,7 @@ func (this *LeagueProcesser) Startup() {
return
}
if i%100 == 0 { //100个联赛一个spider,总数1000多个联赛
if i%10 == 0 { //10个联赛一个spider,总数1000多个联赛,最多100spider
processer = GetLeagueProcesser()
processer.Setup(this)
}
......
......@@ -59,7 +59,7 @@ func (this *LeagueSeasonProcesser) Startup() {
//if index > 10{
// break
//}
if i % 100 == 0 {//100个联赛一个spider,总数1000多个联赛
if i % 10 == 0 {//10个联赛一个spider,总数1000多个联赛,最多100spider
processer = GetLeagueSeasonProcesser()
processer.Setup(this)
}
......
Markdown is supported
0% .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑!
想要评论请 注册