hive over gc limit、java.lang.OutMemoryError:Java heap space

Hive 在 select 查询数据后，执行 insert 操作插入 ORC 表和 parquet 表操作的过程中，遇到
over gc limit、java.lang.OutMemoryError:Java heap space 等字样的错误，大概从哪些地方
查找原因解决问题？

（1）可能数据分布不均匀造成的，可以在 select 阶段加 cluster by rand()让数据均匀分布。
（2）map 和 reduce 阶段的内存不够，通过 hive 参数增加内存 set
mapreduce.reduce.memory.mb=16384;（实际调试的时候，8G 内存不够，增加到 16G 解决
问题） set mapreduce.map.memory.mb=4096;
（3）另外在数据格式不统一的情况下，不同格式的 insert 操作效率奇低。

欢迎来撩 ： 汇总all