Spark RDD的collect action 不适用于单个element size过大的示例分析

Spark RDD的collect action

Spark RDD的collect action是将RDD中的所有元素收集到一个可变数组中，返回一个包含RDD中所有元素的数组，是一个行动操作。

不适用于单个element size过大的示例分析

1、当RDD中的元素单个element size过大时，使用collect action就会出现问题。因为当RDD中的元素过大时，将这些元素收集到一个数组中，可能会导致内存溢出，从而导致程序出错。

2、下面是一个示例，假设RDD中的元素是一个很大的文件，比如一个1G的文件，如果使用collect action将这些文件收集到一个数组中，可能会导致内存溢出，因此不能使用collect action来收集这种大小的文件。

val rdd = sc.textFile("hdfs://1G.txt")

val res = rdd.collect()

3、此外，如果RDD中的元素是一个很大的对象，比如一个1G的对象，使用collect action也会出现问题，因为将这些对象收集到一个数组中，可能会导致内存溢出，从而导致程序出错。

val rdd = sc.parallelize(Array(1GObject))

val res = rdd.collect()

总结

总的来说，当RDD中的元素单个element size过大时，使用collect action就会出现问题，比如将一个1G的文件或者对象收集到一个数组中，可能会导致内存溢出，从而导致程序出错，所以不能使用collect action来收集这种大小的文件或对象。