config.yml 3.3 KB
Newer Older
1 2 3 4 5 6 7 8
#rpc端口, rpc_port和http_port不允许同时为空。当rpc_port为空且http_port不为空时,会自动将rpc_port设置为http_port+1
rpc_port: 18070

#http端口, rpc_port和http_port不允许同时为空。当rpc_port可用且http_port为空时,不自动生成http_port
http_port: 18071

#worker_num, 最大并发数。当build_dag_each_worker=True时, 框架会创建worker_num个进程,每个进程内构建grpcSever和DAG
#当build_dag_each_worker=False时,框架会设置主线程grpc线程池的max_workers=worker_num
B
barriery 已提交
9
worker_num: 4
10 11 12 13

#build_dag_each_worker, False,框架在进程内创建一条DAG;True,框架会每个进程内创建多个独立的DAG
build_dag_each_worker: False

B
barrierye 已提交
14
dag:
15 16 17 18
    #op资源类型, True, 为线程模型;False,为进程模型
    is_thread_op: True

    #重试次数
B
barrierye 已提交
19
    retry: 1
20 21 22 23 24 25 26 27 28 29 30

    #使用性能分析, True,生成Timeline性能数据,对性能有一定影响;False为不使用
    use_profile: False

    #channel的最大长度,默认为0
    channel_size: 0

    #tracer, 跟踪框架吞吐,每个OP和channel的工作情况。无tracer时不生成数据
    tracer:
        #每次trace的时间间隔,单位秒/s
        interval_s: 10
W
wangjiawei04 已提交
31 32
op:
    bow:
33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58
        #并发数,is_thread_op=True时,为线程并发;否则为进程并发
        concurrency: 1
    
        #client连接类型,brpc
        client_type: brpc

        #Serving交互重试次数,默认不重试
        retry: 1

        #Serving交互超时时间, 单位ms
        timeout: 3000

        #Serving IPs
        server_endpoints: ["127.0.0.1:9393"]

        #bow模型client端配置
        client_config: "imdb_bow_client_conf/serving_client_conf.prototxt"

        #Fetch结果列表,以client_config中fetch_var的alias_name为准
        fetch_list: ["prediction"]

        #批量查询Serving的数量, 默认1。batch_size>1要设置auto_batching_timeout,否则不足batch_size时会阻塞
        batch_size: 1

        #批量查询超时,与batch_size配合使用
        auto_batching_timeout: 2000
W
wangjiawei04 已提交
59
    cnn:
60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100
        #并发数,is_thread_op=True时,为线程并发;否则为进程并发
        concurrency: 1

        #client连接类型,brpc
        client_type: brpc

        #Serving交互重试次数,默认不重试
        retry: 1

        #超时时间, 单位ms
        timeout: 3000

        #Serving IPs
        server_endpoints: ["127.0.0.1:9292"]

        #cnn模型client端配置
        client_config: "imdb_cnn_client_conf/serving_client_conf.prototxt"

        #Fetch结果列表,以client_config中fetch_var的alias_name为准
        fetch_list: ["prediction"]
        
        #批量查询Serving的数量, 默认1。batch_size>1要设置auto_batching_timeout,否则不足batch_size时会阻塞
        batch_size: 1

        #批量查询超时,与batch_size配合使用
        auto_batching_timeout: 2000
    combine:
        #并发数,is_thread_op=True时,为线程并发;否则为进程并发
        concurrency: 1

        #Serving交互重试次数,默认不重试
        retry: 1

        #超时时间, 单位ms
        timeout: 3000
        
        #批量查询Serving的数量, 默认1。batch_size>1要设置auto_batching_timeout,否则不足batch_size时会阻塞
        batch_size: 1

        #批量查询超时,与batch_size配合使用
        auto_batching_timeout: 2000