hadoop集群组件版本

产品

版本

特点

Hadoop

2.7.2

Flume

1.7.0

1. 支持断点续传

2. 官方HDFS 接口

3. 自带事务,不容易丢数据

Kafka

0.11.0.2

1. 支持多个消费者接口

2. 0.10后,sparkstreaming只支持DirectAPI

Kafka Eagle

1.3.7

Hive

1.2.1

支持大规模的数据计算

Sqoop

1.4.6

采用命令行的方式调用任务

MySQl

5.6.24

Azkaban

2.5.0

1. 兼容任何版本的hadoop

2. 调度工作流

3. 认证/授权(权限)

4. 成功和失败会发电子邮件、打电话提醒

5. 易于使用的Wev界面

6. 方便设置任务之间的关系

Java

1.8

Zookeeper

3.4.10

Hbase

1.3.1

分布式,可扩展,海量数据存储的NoSQL数据库

Phoenix

4.14.1

1. Hbase的开源SQL皮肤,方便操作

2. 支持Hbase的二级索引

Canal

1.1.2

支持任意格式的数据格式

Elasticsearch

6.3.1

对海量数据进行近实时的处理

Kibana

6.3.1

为Es设计的开源分析和可视化平台

Spark

2.1.1

1. 基于内存运算,比Hadoop快100倍

2. 支持Java,Python和Scala的API

3. 提供了统一的解决方案

4. 极易方便和Hadoop环境进行融合

Redis

3.2.5

自带去重功能