Storm 1.1.0 中文文档

NOTE（注意）

在最新版本中, class packages 已经从 "backtype.storm" 改变成 "org.apache.storm" 了, 所以使用旧版本编译的 topology 代码不会像在 Storm 1.0.0 上那样运行了. 通过以下配置提供向后的兼容性

client.jartransformer.class: "org.apache.storm.hack.StormShadeTransformer"

如果要运行使用较旧版本 Storm 编译的代码, 则需要在 Storm 安装中添加上述配置. 该配置应该添加到您用于提交 topologies（拓扑）的机器中.

更多细节, 请参阅 https://issues.apache.org/jira/browse/STORM-1202.

Storm 基础

• Javadoc
• 概念
• 调度器
• 配置
• 保证消息处理
• Daemon（守护进程）容错
• 命令行 client（客户端）
• REST API
• 理解 Storm topology 的 parallelism（并行度）
• FAQ

Layers on Top of Storm

Storm Trident

Trident 是 Storm 的另一个 interface（接口）. 它提供了 exactly-once（仅且一次）处理, "transactional（事务性的）" datastore persistence（数据存储持久化）, 以及一些常见的 stream analytics operations（流式分析操作）.

• Trident 教程 -- 基础的概念和预排工作
• Trident API 概述 -- 针对 transforming（转换）和 orchestrating 数据的操作
• Trident State（状态） -- exactly-once（仅且一次）处理以及 fast（快速的）, persistent aggregation（持久化的聚合）
• Trident spouts -- transactional（事务性的）和 non-transactional（非事务性的）数据引入
• Trident RAS API -- 与 Trident 一起使用 Resource Aware Scheduler .

Storm SQL

该 Storm SQL 的集成可以让用户在 Storm 的 streaming data（流式数据）上来运行 SQL 查询.

NOTE（注意）: Storm SQL 是一个 experimental（实验性的） 功能, 所以 Storm SQL 的结构和所支持的功能在以后可能会发生变化. 但是小的变化不会影响用户体验. 在引入 UX 更改时, 我们会及时通知用户.

• Storm SQL 概述
• Storm SQL 示例
• Storm SQL 文献
• Storm SQL 结构

Flux

• Flux Data Driven Topology Builder

Storm 安装和部署

• 安装一个 Storm 集群
• Local mode（本地模式）
• 问题排查
• 在生产 cluster（集群）上运行 topologies（拓扑）
• 构建 Storm with Maven
• 安装 Secure（安全的）Cluster（集群）
• CGroup 的实施
• Pacemaker 针对大集群减低在 zookeeper 上的负载
• Resource Aware Scheduler（资源意识调度器）
• Daemon Metrics/Monitoring（守护进程的度量/监控）
• Windows 平台的用户指南

Storm 中级

• Serialization（序列化）
• Common patterns（常见模式）
• Clojure DSL
• 与 Storm 一起使用非 JVM 的语言
• 分布式的 RPC
• Transactional topologies（事务性的拓扑）
• Hooks（钩子）
• Metrics（度量）
• State Checkpointing
• Windowing（窗口操作）
• Joining Streams
• Blobstore(Distcahce)

Storm 调试

• Dynamic Log Level Settings
• Searching Worker Logs
• Worker Profiling
• Event Logging

Storm 与外部系统, 以及其它库的集成

• Apache Kafka 集成, 新的 Kafka Consumer（消费者）集成
• Apache HBase 集成
• Apache HDFS 集成
• Apache Hive 集成
• Apache Solr 集成
• Apache Cassandra 集成
• JDBC 集成
• JMS 集成
• Redis 集成
• Event Hubs 集成
• Elasticsearch 集成
• MQTT 集成
• Mongodb 集成
• OpenTSDB 集成
• Kinesis 集成
• Druid 集成
• Kestrel 集成

Container, Resource Management System Integration

• YARN 集成, 通过 Slider 集成 YARN
• Mesos 集成
• Docker 集成
• Kubernetes 集成

Storm 高级

• 为 Storm 定义非 JVM 语言的 DSL
• 多语言协议（如何为其它语言提供支持）
• 实现文档