hadoop 的 DataNode 副本存储策略相关

1 副本存储策略：

1、默认的副本策略：
BlockPlacementPolicyDefault
1）1st replica. 如果写请求方所在机器是其中一个 datanode,则直接存放在本地,否则随机在
集群中选择一个 datanode. 2）2nd replica. 第二个副本存放于不同第一个副本的所在的机架. 3）3rd replica.第三个副本存放于第二个副本所在的机架,但是属于不同的节点. 4）剩下其它的副本随机选择存储的位置

2、数据复制过程中出现问题怎么解决

1）这个问题其实也是写数据过程，当数据写入 DataNode 的过程中，当其中一个 DataNode
挂掉了，会将这个 DataNode 移除流水线，然后将数据写入到剩余的 datanode。
2）在写入结束后， namenode 会收集 datanode 的信息，发现此文件的数据块的 replication
没有达到配置的要求（default=3）,然后再选择一个 datanode 保存副本。

3 副本过多过少有什么优缺点

副本过多导致存储空间的浪费，增加节点之间数据传输对时间和资源的消耗 副本过少容易导致数据丢失，起不到数据安全可靠的作用

欢迎来撩 ： 汇总all