大数据运维汇总

大数据运维汇总

大数据集群规划： 连接 

hadoop相关：

hdfs-site.xml ： 连接 

集群监控与调优

HDFS:

HDFS 巡检 ： 连接

HDFS 参数调优 ： 连接

HDFS 集群重启过程详解以及重启优化 ： 连接

hdfs存储超过阈值后如何清理实战 ：连接

YARN:

YARN巡检：连接

YARN参数调优： 连接

HIVE:

Hive 参数汇总 :  连接 

HBase:

HBase 巡检 ： 连接

HBase 参数调优： 连接

Kafka ：

kafka原理之为什么快 ： 连接

kafka 巡检： 连接

kafka参数调优： 连接

排障案例：

慢作业之 日志打印问题hive udf :  连接

hadoop集群YARN作业资源不足排查实战 ：连接

集群作业执行缓慢问题排查 1  硬件问题 :  连接

集群作业执行缓慢问题排查 2(GC) :  连接

hadoop集群数据倾斜  ： 连接

GC overhead limit exceeded 相关案例 ： 连接

hive 任务中报内存不足 ：连接

NameNode RPC 负载过高 案例：连接

jvm内存崩溃案例1 ： 连接

JVM 内存崩溃 案例2 ： 连接

spark 丢失临时文件问题 ： 连接

HDFS 故障排查：

.meta 文件损坏导致 datanode 进程无法启动 ： 连接

多个 datanode 节点存储不足案例 ： 连接

datanode 数据盘坏盘（更换硬盘实战）： 连接 

datanode 数据盘存储超过阈值 ：连接

坏块处理 ： 连接

datanode 宕机 ： 连接

hdfs 目录被删除排查 ： 连接

hdfs 目录存储最大文件数异常 :   连接 

namenode 宕机太久导致启动长期处于安全模式 ： 连接

datanode 失联排查（一）du-df  ：连接

datanode 失联排查（二）jvm :  连接

HBase故障排查：

hbase连接数过多造成库堵塞的解决方案 ： 连接

hbase无法正常入库 ： 连接

hbase无法正常入库 （RIT积压） ： 连接

有 Dead regionserver 解决方法 ： 连接 

HBase 故障报告 :  连接

 

安装CDH：

CDH 安装，初始化MySQL 语句：连接

大数据平台安全介绍 ： 连接

大数据集群迁移 ：连接 

es 优化：  连接 

 

运维工程师简历100条技能例句 :   连接 

 

面试题：

简述 namenode 的 HA 机制，它是如何实现故障切换的？ Qurom Journal Manager ： 连接 

HDFS 体系结构 ：连接 

hdfs 数据块的默认大小是多少？过大过小有什么优缺点？ ：连接 

hadoop 的 DataNode 副本存储策略相关 ： 连接

客户端向 HDFS 写入数据过程 :   连接 

HDFS 中大量小文件带来的问题以及解决方法 ：连接 

fsimage 和 editlogs 是做什么用的? ：连接

Hadoop 有哪些调度器？我们该如何选择？ ：连接

Hadoop 的性能调优从哪些方面着手 ：连接

推测执行 （某个节点的job 慢）： 连接

MapReduce 二次排序原理    :  连接

MapReduce 数据处理及 shuffle 的流程，以及各个阶段的先后顺序 ： 连接 

怎么解决 MapReduce 的数据倾斜？ ：连接 

怎样对大数据集群进行有效监控？如何实现预警、报警？ :  连接 

 

欢迎来撩 ： 汇总all