debug

c30368ea · malin10 · fd7df95f · c30368ea · c30368ea · c30368ea
6 changed file
--- a/models/recall/multiview-simnet/data/test/test.txt
+++ b/models/recall/multiview-simnet/data/test/test.txt
-55845:q0 48327:q0 35594:q0 45144:q0 24234:q0 30304:q0 49505:q0 81291:q0 41458:q0 14444:q0 48595:pt0 33252:pt0 80121:pt0 48187:pt0 19290:pt0 86838:pt0 12952:pt0 22651:pt0 40981:pt0 93151:pt0
-24310:q0 95198:q0 63888:q0 97388:q0 35618:q0 60812:q0 15200:q0 56153:q0 40836:q0 20601:q0 61771:pt0 91433:pt0 23561:pt0 5193:pt0 7638:pt0 83280:pt0 40560:pt0 3866:pt0 46393:pt0 23540:pt0
-27457:q0 11157:q0 67566:q0 79598:q0 43460:q0 23949:q0 8785:q0 32809:q0 11198:q0 85918:q0 8067:pt0 30818:pt0 7356:pt0 38800:pt0 10263:pt0 71683:pt0 2327:pt0 18645:pt0 3697:pt0 59405:pt0
-67244:q0 11147:q0 32445:q0 50824:q0 23953:q0 69579:q0 61298:q0 29212:q0 4404:q0 20147:q0 91983:pt0 14086:pt0 62007:pt0 48478:pt0 21500:pt0 48079:pt0 25472:pt0 80782:pt0 196:pt0 25996:pt0
-23980:q0 28095:q0 76849:q0 4840:q0 13727:q0 6899:q0 14224:q0 29154:q0 67655:q0 19190:q0 55244:pt0 78364:pt0 6822:pt0 9469:pt0 88192:pt0 20879:pt0 46695:pt0 77738:pt0 56719:pt0 34339:pt0
-21762:q0 45574:q0 14707:q0 91857:q0 498:q0 69851:q0 44184:q0 88230:q0 68280:q0 63441:q0 29662:pt0 67343:pt0 17316:pt0 67547:pt0 20075:pt0 42813:pt0 48618:pt0 71078:pt0 64804:pt0 71161:pt0
-26983:q0 15077:q0 78400:q0 20527:q0 5551:q0 53694:q0 25733:q0 22458:q0 51732:q0 55983:q0 27832:pt0 25228:pt0 88149:pt0 42938:pt0 1728:pt0 31127:pt0 43884:pt0 88393:pt0 31921:pt0 6008:pt0
-10009:q0 81206:q0 67854:q0 44704:q0 71528:q0 33799:q0 11805:q0 19961:q0 42334:q0 47131:q0 81425:pt0 18282:pt0 75162:pt0 85100:pt0 66930:pt0 58086:pt0 14809:pt0 71246:pt0 16668:pt0 40496:pt0
-10494:q0 17795:q0 9906:q0 76400:q0 23409:q0 52849:q0 37389:q0 32100:q0 99920:q0 48401:q0 35078:pt0 34381:pt0 17627:pt0 96420:pt0 51059:pt0 1526:pt0 70144:pt0 76407:pt0 49928:pt0 66158:pt0
-61679:q0 16128:q0 14316:q0 99879:q0 98866:q0 26097:q0 94332:q0 85755:q0 86293:q0 77971:q0 78059:pt0 58096:pt0 18534:pt0 22886:pt0 39979:pt0 50215:pt0 49305:pt0 83042:pt0 21844:pt0 20832:pt0
+224289:0 126379:0 284519:0 549329:0 750666:0 393772:0 586898:0 736887:0 48785:0 906517:0 229162:1 483485:1 739835:1 29957:1 694497:1 997508:1 556876:1 717791:1 232176:1 430356:1
+366182:0 82062:0 708883:0 949128:0 798964:0 639103:0 409033:0 79301:0 405607:0 342616:0 61552:1 560547:1 3760:1 754734:1 98496:1 472427:1 979596:1 750283:1 492028:1 801383:1
+969571:0 405187:0 756217:0 563640:0 572168:0 881952:0 446260:0 692177:0 994140:0 485393:0 509081:1 297377:1 465399:1 934708:1 430949:1 135651:1 484531:1 385306:1 463957:1 996004:1
+436320:0 423131:0 963969:0 78345:0 879550:0 458203:0 684397:0 956202:0 989802:0 526101:0 852446:1 182545:1 625656:1 674856:1 422648:1 74100:1 48372:1 850830:1 336087:1 178251:1
+242683:0 118677:0 20731:0 970617:0 355890:0 739613:0 926695:0 963639:0 201043:0 611907:0 115309:1 310984:1 615584:1 638886:1 575934:1 889389:1 974807:1 570987:1 532482:1 911925:1
+954007:0 122623:0 168195:0 348901:0 217880:0 84759:0 925763:0 436382:0 573742:0 942921:0 553377:1 835046:1 137907:1 933870:1 766585:1 48483:1 543079:1 889467:1 521705:1 906676:1
+798690:0 617323:0 553266:0 232924:0 159461:0 404822:0 52992:0 364854:0 913876:0 547974:0 559472:1 748595:1 71793:1 357331:1 606888:1 477051:1 291481:1 89363:1 503881:1 423029:1
+228207:0 785250:0 661149:0 803304:0 478781:0 495202:0 804509:0 273065:0 26123:0 810840:0 801871:1 146772:1 421009:1 752344:1 946358:1 531668:1 5771:1 191294:1 627329:1 434664:1
+984628:0 762075:0 505288:0 48519:0 72492:0 26568:0 684085:0 613095:0 781547:0 895829:0 280541:1 903234:1 708065:1 386658:1 331060:1 3693:1 279760:1 459579:1 423552:1 962594:1
+674172:0 39271:0 646093:0 757969:0 553251:0 734960:0 967186:0 856940:0 617246:0 376452:0 113050:1 472707:1 975057:1 865095:1 155824:1 389921:1 205520:1 513667:1 163588:1 953463:1
--- a/models/recall/multiview-simnet/data/train/train.txt
+++ b/models/recall/multiview-simnet/data/train/train.txt
-25212:q0 41019:q0 15221:q0 26969:q0 36669:q0 15986:q0 91749:q0 30848:q0 65210:q0 36795:q0 51801:pt0 148:pt0 64025:pt0 91107:pt0 45193:pt0 15358:pt0 37016:pt0 98657:pt0 8768:pt0 50232:pt0 1313:nt0 86725:nt0 98273:nt0 46754:nt0 53202:nt0 73359:nt0 57339:nt0 97310:nt0 95286:nt0 42304:nt0
-91803:q0 22382:q0 95998:q0 79155:q0 62328:q0 36070:q0 46321:q0 49510:q0 95638:q0 57873:q0 37491:pt0 41388:pt0 41649:pt0 84972:pt0 85092:pt0 19921:pt0 53701:pt0 70145:pt0 53337:pt0 97445:pt0 52620:nt0 79645:nt0 9555:nt0 35554:nt0 60410:nt0 69824:nt0 1487:nt0 61492:nt0 57026:nt0 42018:nt0
-8247:q0 70601:q0 70209:q0 27625:q0 2652:q0 44564:q0 79847:q0 75873:q0 43830:q0 25367:q0 9294:pt0 11471:pt0 56945:pt0 17886:pt0 39367:pt0 21254:pt0 59394:pt0 8827:pt0 22590:pt0 46047:pt0 66963:nt0 25474:nt0 38485:nt0 732:nt0 96098:nt0 78423:nt0 29482:nt0 63866:nt0 76600:nt0 62664:nt0
-14162:q0 60298:q0 83441:q0 90760:q0 88224:q0 70442:q0 37425:q0 50530:q0 50017:q0 50288:q0 36582:pt0 87172:pt0 7095:pt0 89474:pt0 90924:pt0 58990:pt0 88493:pt0 67453:pt0 78688:pt0 42423:pt0 53442:nt0 59360:nt0 445:nt0 63133:nt0 57171:nt0 8207:nt0 8781:nt0 61454:nt0 59407:nt0 5189:nt0
-95981:q0 11454:q0 73927:q0 78505:q0 25738:q0 77610:q0 34547:q0 83948:q0 87500:q0 71928:q0 38269:pt0 75996:pt0 64291:pt0 215:pt0 32570:pt0 13733:pt0 15304:pt0 67986:pt0 2283:pt0 7896:pt0 53977:nt0 63572:nt0 98439:nt0 57037:nt0 60009:nt0 92660:nt0 413:nt0 10434:nt0 13035:nt0 33110:nt0
-56719:q0 31980:q0 80014:q0 10699:q0 59425:q0 53792:q0 3984:q0 25257:q0 17241:q0 82107:q0 71965:pt0 53900:pt0 84616:pt0 97909:pt0 11625:pt0 80883:pt0 40321:pt0 89692:pt0 64363:pt0 70647:pt0 5444:nt0 415:nt0 21854:nt0 94962:nt0 12220:nt0 50927:nt0 13578:nt0 52078:nt0 32889:nt0 94443:nt0
-45603:q0 34278:q0 29984:q0 14052:q0 44562:q0 13997:q0 87924:q0 61856:q0 5458:q0 48804:q0 42902:pt0 28880:pt0 68089:pt0 74598:pt0 33197:pt0 76521:pt0 44762:pt0 58170:pt0 14177:pt0 21283:pt0 64523:nt0 66038:nt0 34411:nt0 88249:nt0 42915:nt0 9998:nt0 65033:nt0 70132:nt0 63762:nt0 7497:nt0
-11740:q0 84220:q0 43427:q0 59656:q0 25221:q0 89764:q0 52901:q0 81268:q0 76015:q0 52799:q0 93405:pt0 32788:pt0 36498:pt0 37733:pt0 12795:pt0 55438:pt0 60294:pt0 56537:pt0 35317:pt0 25310:pt0 1499:nt0 1305:nt0 48984:nt0 57311:nt0 55083:nt0 8319:nt0 53953:nt0 83839:nt0 89471:nt0 78813:nt0
-7045:q0 31725:q0 40138:q0 84358:q0 16071:q0 32227:q0 17767:q0 26566:q0 98709:q0 71006:q0 67541:pt0 92703:pt0 32306:pt0 60506:pt0 75276:pt0 35969:pt0 41749:pt0 23469:pt0 28621:pt0 35213:pt0 82816:nt0 55050:nt0 85484:nt0 76618:nt0 46177:nt0 54583:nt0 9357:nt0 87694:nt0 78601:nt0 88601:nt0
-72413:q0 46396:q0 7065:q0 91955:q0 59212:q0 48775:q0 66636:q0 394:q0 82077:q0 18533:q0 58905:pt0 40190:pt0 52536:pt0 20779:pt0 76068:pt0 70402:pt0 52102:pt0 3167:pt0 72461:pt0 29606:pt0 89297:nt0 33717:nt0 78957:nt0 42046:nt0 16408:nt0 80806:nt0 19095:nt0 81176:nt0 16634:nt0 72387:nt0
+7688:0 589671:0 339543:0 681723:0 339204:0 743067:0 897959:0 897541:0 571340:0 858141:0 68161:1 533957:1 288065:1 755516:1 179906:1 324817:1 116293:1 942079:1 455277:1 787142:1 251765:2 846187:2 586960:2 781883:2 430436:2 240100:2 686201:2 632045:2 585097:2 61976:2
+187966:0 194147:0 640819:0 283848:0 514875:0 310781:0 760083:0 281096:0 837090:0 928087:0 958908:1 451359:1 456136:1 577231:1 373371:1 651928:1 877106:1 721988:1 342265:1 114942:1 668915:2 502190:2 139044:2 213045:2 36710:2 119509:2 450285:2 165440:2 199495:2 798870:2
+477955:0 598041:0 452166:0 924550:0 152308:0 316225:0 285239:0 7967:0 177143:0 132244:0 391070:1 169561:1 256279:1 563588:1 749753:1 237035:1 550804:1 736257:1 71551:1 61944:1 102132:2 484023:2 82995:2 732704:2 114816:2 413165:2 197504:2 686192:2 253734:2 248157:2
+325819:0 140241:0 365103:0 334185:0 357327:0 613836:0 928004:0 595589:0 506569:0 539067:0 638196:1 729129:1 730912:1 701797:1 571150:1 140054:1 680316:1 889784:1 302584:1 676284:1 671069:2 212989:2 318469:2 732930:2 924564:2 147041:2 572412:2 662673:2 418312:2 382855:2
+839803:0 888881:0 957998:0 906486:0 44377:0 247842:0 994783:0 813449:0 168271:0 493685:0 269703:1 156692:1 686681:1 273684:1 312387:1 462033:1 669631:1 635437:1 74337:1 217677:1 582194:2 992666:2 860610:2 660766:2 24524:2 169856:2 882211:2 291866:2 44494:2 984736:2
+327559:0 627497:0 876526:0 243959:0 532929:0 639919:0 443220:0 952110:0 844723:0 372053:0 196819:1 326005:1 62242:1 774928:1 382727:1 348680:1 946697:1 625998:1 276517:1 251595:1 342204:2 825871:2 407136:2 724114:2 611341:2 517978:2 248341:2 111254:2 836867:2 677297:2
+72451:0 749548:0 283413:0 419402:0 67446:0 341795:0 918120:0 892028:0 113151:0 832663:0 758121:1 500602:1 734935:1 577972:1 205421:1 726739:1 276563:1 611928:1 185486:1 603502:1 633117:2 929300:2 332435:2 216848:2 412769:2 708304:2 800045:2 315869:2 444476:2 332565:2
+675647:0 212558:0 654982:0 321053:0 111172:0 635432:0 298523:0 612182:0 203835:0 288250:0 990034:1 891786:1 188524:1 480757:1 436783:1 874434:1 530090:1 492441:1 32835:1 886415:1 688876:2 626030:2 612348:2 208265:2 355885:2 603938:2 349931:2 86683:2 361956:2 705130:2
+164500:0 332294:0 373155:0 320413:0 801561:0 152827:0 28282:0 435913:0 376758:0 367848:0 285596:1 282674:1 357323:1 257195:1 948061:1 996976:1 300918:1 734644:1 870559:1 924205:1 45095:2 61352:2 242258:2 153354:2 763576:2 133542:2 431079:2 193327:2 655823:2 770159:2
+821764:0 184731:0 888413:0 793536:0 30049:0 533675:0 791254:0 92255:0 74185:0 557758:0 795898:1 15689:1 983592:1 248891:1 64421:1 387642:1 315522:1 526054:1 404172:1 704838:1 537016:2 383828:2 438418:2 885895:2 894698:2 228867:2 343213:2 411377:2 149957:2 810795:2
--- a/models/recall/multiview-simnet/evaluate_reader.py
+++ b/models/recall/multiview-simnet/evaluate_reader.py
@@ -26,10 +26,10 @@ class EvaluateReader(Reader):

        self.all_slots = []
        for i in range(self.query_slots):
-            self.all_slots.append('q' + str(i))
+            self.all_slots.append(str(i))

        for i in range(self.title_slots):
-            self.all_slots.append('pt' + str(i))
+            self.all_slots.append(str(i + self.query_slots))

        self._all_slots_dict = dict()
        for index, slot in enumerate(self.all_slots):

--- a/models/recall/multiview-simnet/generate_synthetic_data.py
+++ b/models/recall/multiview-simnet/generate_synthetic_data.py
@@ -39,18 +39,18 @@ class SyntheticDataset(Dataset):
                for i in range(self.query_slot_num):
                    qslot = generate_ids(self.ids_per_slot,
                                         self.sparse_feature_dim)
-                    qslot = [str(fea) + ':q' + str(i)  for fea in qslot]
+                    qslot = [str(fea) + ':' + str(i)  for fea in qslot]
                    query_slots += qslot
                for i in range(self.title_slot_num):
                    pt_slot = generate_ids(self.ids_per_slot,
                                           self.sparse_feature_dim)
-                    pt_slot = [str(fea) + ':pt' + str(i) for fea in pt_slot]
+                    pt_slot = [str(fea) + ':' + str(i + self.query_slot_num) for fea in pt_slot]
                    pos_title_slots += pt_slot
                if is_train:
                    for i in range(self.title_slot_num):
                        nt_slot = generate_ids(self.ids_per_slot,
                                               self.sparse_feature_dim)
-                        nt_slot = [str(fea) + ':nt' + str(i) for fea in nt_slot]
+                        nt_slot = [str(fea) + ':' + str(i + self.query_slot_num + self.title_slot_num) for fea in nt_slot]
                        neg_title_slots += nt_slot
                    yield query_slots + pos_title_slots + neg_title_slots
                else:

--- a/models/recall/multiview-simnet/model.py
+++ b/models/recall/multiview-simnet/model.py
@@ -129,12 +129,12 @@ class Model(ModelBase):
    def input(self, is_train=True):
 	self.q_slots = [
            fluid.data(
-                name="q%d" % i, shape=[None, 1], lod_level=1, dtype='int64')
+                name="%d" % i, shape=[None, 1], lod_level=1, dtype='int64')
            for i in range(len(self.query_encoders))
        ]
        self.pt_slots = [
            fluid.data(
-                name="pt%d" % i, shape=[None, 1], lod_level=1, dtype='int64')
+                name="%d" % (i + len(self.query_encoders)), shape=[None, 1], lod_level=1, dtype='int64')
            for i in range(len(self.title_encoders))
        ]

@@ -143,7 +143,7 @@ class Model(ModelBase):

        self.nt_slots = [
            fluid.data(
-                name="nt%d" % i, shape=[None, 1], lod_level=1, dtype='int64')
+                name="%d" % (i + len(self.query_encoders) + len(self.title_encoders)), shape=[None, 1], lod_level=1, dtype='int64')
            for i in range(len(self.title_encoders))
        ]


--- a/models/recall/multiview-simnet/reader.py
+++ b/models/recall/multiview-simnet/reader.py
@@ -26,13 +26,13 @@ class TrainReader(Reader):

        self.all_slots = []
        for i in range(self.query_slots):
-            self.all_slots.append('q' + str(i))
+            self.all_slots.append(str(i))

        for i in range(self.title_slots):
-            self.all_slots.append('pt' + str(i))
+            self.all_slots.append(str(i + self.query_slots))

        for i in range(self.title_slots):
-            self.all_slots.append('nt' + str(i))
+            self.all_slots.append(str(i + self.query_slots + self.title_slots))

        self._all_slots_dict = dict()
        for index, slot in enumerate(self.all_slots):