您的位置 首页 大数据运维

hdfs 数据块的默认大小是多少?过大过小有什么优缺点?

hdfs 数据块的默认大小是多少?过大过小有什么优缺点?

1、数据块默认大小 Hadoop2.0 之前,默认数据块大小为 64MB Hadoop2.0 之后,默认数据
块大小为 128MB
2、优缺点
1)数据块太小:

(1)会导致寻址时间相对比较长,如果读取数据块数据的时间小于寻址
时间,这样是很不划算的,所以数据块要尽可能大一点。

(2)数据块的大量元数据会占用
namenode 内存,影响 namenode 管理的集群规模

2)数据块太大:

为了保证数据的本地性,通常一个块的 数据是交给一个 map 任务来处理,
如果数据块太大,就导致 map 任务处理的数据量就会很多,时间就会很长,不能很好地实
现并行处理。

欢迎来撩 : 汇总all

白眉大叔

关于白眉大叔linux云计算: 白眉大叔

热门文章