您可以在 Spark 官网上看一些 Spark 编程示例。另外,在 Spark 的 examples
目录中包含了许多例子(Scala,Java,Python,R)。您可以通过传递 class name 到 Spark 的 bin/run-example
脚本以运行 Java 和 Scala 示例。例如 :
./bin/run-example SparkPi
针对 Python 示例,使用 spark-submit 来代替 :
./bin/spark-submit examples/src/main/python/pi.py
针对 R 示例,使用 spark-submit 来代替 :
./bin/spark-submit examples/src/main/r/dataframe.R
针对应用程序的优化,Spark 配置 和 优化指南 提供了一些最佳实践的信息。这些优化建议在确保你的数据以高效的格式存储在内存中尤其重要。针对部署参考,请阅读 集群模式概述,该文档描述了分布式操作和支持的集群管理器的组件。