您的位置 首页 大数据运维

RDD 有多少种持久化方式

RDD 有多少种持久化方式?memory_only 持久化方式,如果内存存储不了,会怎么操作

首次使用 RDD 的时候,我们可以选择对 RDD 进行持久化,当再次使用 RDD 是就可以直接
从之前的缓存中获取而无需再次进行计算。对于需要反复使用的 RDD 会带来很大的性能改
善。

 

StorageLevel 存储级别包含如下类别

2. memory_only 默认级别,非序列化方式存储在 jvm 堆内存中,如果无法内存里放不下,
则部分 partition 将不会缓存,会在每次需要时重新计算

欢迎来撩 : 汇总all

白眉大叔

关于白眉大叔linux云计算: 白眉大叔

热门文章