hdfs 数据块的默认大小是多少?过大过小有什么优缺点?
1、数据块默认大小 Hadoop2.0 之前,默认数据块大小为 64MB Hadoop2.0 之后,默认数据
块大小为 128MB
2、优缺点
1)数据块太小:
(1)会导致寻址时间相对比较长,如果读取数据块数据的时间小于寻址
时间,这样是很不划算的,所以数据块要尽可能大一点。
(2)数据块的大量元数据会占用
namenode 内存,影响 namenode 管理的集群规模
2)数据块太大:
为了保证数据的本地性,通常一个块的 数据是交给一个 map 任务来处理,
如果数据块太大,就导致 map 任务处理的数据量就会很多,时间就会很长,不能很好地实
现并行处理。
欢迎来撩 : 汇总all