与 Spark 类似, Spark Streaming 可以通过 Maven 来管理依赖。为了写你自己的 Spark Streaming 程序,你必须添加以下的依赖到你的 SBT 或者 Maven 项目中。
Maven 示例 :
<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming_2.11</artifactId> <version>2.0.2</version> </dependency>
对于从现在没有在 Spark Streaming Core API 中的数据源获取数据,如 Kafka, Flume,Kinesis ,你必须添加相应的组件 spark-streaming-xyz_2.11 到依赖中。例如,有一些常见的依赖如下。
源 | 坐标 |
---|---|
Kafka | spark-streaming-kafka-0-8_2.11 |
Flume | spark-streaming-flume_2.11 |
Kinesis | spark-streaming-kinesis-asl_2.11 [Amazon Software License] |
想要查看一个实时更新的列表,请参阅 Maven repository 来了解支持的源文件和组件的完整列表。