大数据运维-第4页-白眉大叔

fsimage 和 editlogs 是做什么用的?

白眉大叔发布于2023年7月21日

命名空间镜像(FSlmage)：HDFS 的目录树及文件/目录元信息是保存在内存中的，如果节点停电或进程崩溃，…

大数据运维点赞(164) 评论关闭阅读(370)

白眉大叔发布于2023年7月21日

hadoop 中目录,文件和块都会以对象的形式保存在 namenode 的内存中, 大概每个对象会占用 150…

大数据运维点赞(163) 评论关闭阅读(368)

白眉大叔发布于2023年7月21日

写数据流程： 1）首先客户端对文件进行切分，切分成数据块，每个数据块默认存储到 3 个节点上 2）在写入数据之…

大数据运维点赞(176) 评论关闭阅读(391)

白眉大叔发布于2023年7月21日

1 副本存储策略： 1、默认的副本策略： BlockPlacementPolicyDefault 1）1st …

大数据运维点赞(181) 评论关闭阅读(417)

白眉大叔发布于2023年7月21日

hdfs 数据块的默认大小是多少？过大过小有什么优缺点？ 1、数据块默认大小 Hadoop2.0 之前，默认数…

大数据运维点赞(175) 评论关闭阅读(425)

白眉大叔发布于2023年7月21日

HDFS 具有主/从架构。一个 HDFS 集群包含一个 NameNode（一个主服务器），用于管理文件系统名称…

大数据运维点赞(166) 评论关闭阅读(373)

白眉大叔发布于2023年7月21日

一、 HA 1.解决 NameNode 元数据共享存储问题是通过 QJM NameNode 记录了 HDFS…

大数据运维点赞(172) 评论关闭阅读(416)

白眉大叔发布于2023年7月19日

大数据集群迁移迁移数据准备两套集群，我这使用apache集群和CDH集群启动集群启动完毕…

大数据运维点赞(169) 评论关闭阅读(373)

白眉大叔发布于2023年7月18日

修改用户 yarn 资源分配

大数据运维点赞(182) 评论关闭阅读(442)

白眉大叔发布于2023年7月18日

YARN资源队列规划 1.案例 yz-4m1-01 集群上的队列分为生产型和非生产型。在 2019 年 4 月…

大数据运维点赞(169) 评论关闭阅读(392)