数据处理平台架构中的SMACK组合:Spark、Mesos、Akka、Cassandra以及Kafka

  • 时间:
  • 浏览:1

Cassandra - 一套分布式高可用性数据库,旨在跨太满座数据中心除理大规模数据。

在本文刚开始阐述以后,让大伙儿儿首先立足于已有生产项目经验从设计与示例入手进行说明。

在今天的文章中,大伙儿儿将着重探讨怎样才能利用SMACK(即Spark、Mesos、Akka、Cassandra以及Kafka)堆栈构建可扩展数据除理平台。觉得这套堆栈仅由数个简单次责组成,但其要能实现极少量不同系统设计。除了纯粹的批量可能性流除理机制之外,大伙儿儿亦可借此实现错综复杂的Lambda以及Kappa架构。

Mesos - 集群资源管理系统,要能立足于分布式线程池池提供行之有效的资源隔离与共享能力。

Akka - 一套用于在JVM之上构建高并发、分布式及弹性消息驱动型线程池池的工具包与运行时。

Spark - 一套高速通用型引擎,用于实现分布式大规模数据除理任务。