From e90db48ea517c35063f70da69c03c3e951b4f11d Mon Sep 17 00:00:00 2001 From: yangrui07 Date: Tue, 13 Aug 2019 21:55:30 +0800 Subject: [PATCH] add cube server performance doc --- cube/doc/performance.md | 41 +++++++++++++++++++++++++++++++++++++++++ 1 file changed, 41 insertions(+) create mode 100644 cube/doc/performance.md diff --git a/cube/doc/performance.md b/cube/doc/performance.md new file mode 100644 index 00000000..ac4bcf1b --- /dev/null +++ b/cube/doc/performance.md @@ -0,0 +1,41 @@ +# Cube Server 社区版本性能报告 +## 机器配置 +Intel(R) Xeon(R) CPU E5-2650 v4 @ 2.20GHz + +## 测试数据 +100w条样例kv 数据。 key为uint_64类型，单条value长度 40 Byte （一般实际场景对应一个10维特征向量）。 + +## 单Key高qps访问场景 +一般来说实际预估服务生产环境下，单key访问场景较少，不过单机qps依然是一个比较重要的性能指标，故在下表提供了不同qps下单机Cube server性能指标。 +| qps | 10w | 50w | 100w | +|---|---|---|---| +|kps|10w|50w|100w| +|cpu(top)| 6.5% | 38.3% | 71.4% | +|client端延迟| avg 196 us
50% 160 us
70% 188 us
90% 292 us
95% 419 us
97% 547 us
99% 835 us
99.9% 1556 us
99.99% 1779 us| avg 563 us
50% 342 us
70% 502 us
90% 1063 us
95% 1703 us
97% 2399 us
99% 4036 us
99.9% 7195 us
99.99% 7340 us| avg 4234 us
50% 3120 us
70% 5459 us
90% 10657 us
95% 14074 us
97% 16215 us
99% 19434 us
99.9% 29398 us
99.99% 33921 us| + +## 高kps场景 +生产环境下，预估服务更多的会以batch形式访问cube server，这类情况kps相对qps能更准确的判断服务性能。我们以单次100key为例，给出不同kps下cube server的相关性能指标。 +| qps | 2w | 10w | 20w | +|---|---|---|---| +|kps|200w|1000w|2000w| +|cpu(top)| 3.5% | 17.8% | 37.6% | +|client端延迟| avg 375 us
50% 346 us
70% 390 us
90% 498 us
95% 582 us
97% 648 us
99% 908 us
99.9% 1623 us
99.99% 3312 us| avg 1141 us
50% 900 us
70% 1237 us
90% 2028 us
95% 2662 us
97% 3173 us
99% 4614 us
99.9% 6786 us
99.99% 6273 us| avg 1940 us
50% 1299 us
70% 1876 us
90% 3629 us
95% 5535 us
97% 7365 us
99% 10529 us
99.9% 14060 us
99.99% 16028 us| + +## 分布式场景客户端延迟 +在batch查询场景下，单次batch查询耗时是业务方（特别是在线预估服务）非常关心的敏感指标。在分布式场景下，单次batch查询往往要并发请求下游所有分片server，此时batch查询耗时取决于最慢的分片请求。我们在下文给出了一个典型分布式场景下的batch查询耗时。 + +测试条件: +cube分片数:10 +client机器ping下游server机器约0.06ms +| batch size | 100 | 500 | 1000 | +|---|---|---|---| +|qps|100|100|100| +|kps|1w| 5w| 10w| +|client端延迟|avg 324 us
80% 346 us
99% 1190 us
99.9% 3662 us
99.99% 9392 us|avg 466 us
80% 488 us
99% 1492 us
99.9% 4122 us
99.99% 10612 us|avg 675 us
80% 691 us
99% 2101 us
99.9% 5169 us
99.99% 14867 us| + +## 结语 +上述表格主要阐述了cube server单机性能，在生产环境下，对于更高的kps(qps)压力我们可以方便地通过增加副本的方式来增强集群负载能力。 在模型大小超过单机内存限制时，我们亦可通过部署多数据分片的分布式集群来提供服务。 +整体来说，cube性能能够满足当前业界各类预估服务的kv访问需求。 + +## PS +本文所列性能均为cube原始代码版本性能，如果根据实际情情况做适当调优：如链入tcmalloc or jemalloc、 进行numa绑定 以及 打开编译优化参数等等，都有可能进一步明显提升cube server的性能表现。 -- GitLab