性能优化
降低批处理的时间
设置合理的批处理间隔
内存优化
为了在集群中获得
Spark Streaming
应用程序的最佳性能需要一些优化。这部分解释了一部分能够调整用来提升您应用程序性能的参数和配置。在一个较高的水平上,您需要考虑两件事情 :
通过有效的利用群集资源来减少每批数据的处理时间。
设置正确的
Batch
大小,这样的话当它们被接受时
Batch
数据能够被尽量快的处理(换言之,数据处理能够赶得上数据摄取)。