Spark 1.0 冻结了 1.X 系列的 Spark Core 的 API,因此,当前没有标记为 "experimental" 或者 “developer API” 的 API 都将在未来的版本中进行支持。
针对 Scala 的变化是分组操作,例如 groupByKey
、cogroup
和 join
,它们的返回值类型由 (Key,Seq[Value])
变为 (Key,Iterable[Value])
。
该迁移指南也适用于 Spark Streaming,MLlib 和 GraphX。