spark2.x由浅入深深到底系列六之RDD api reduceByKey与foldByKey对比

学习spark任何知识点之前，最好先正确理解spark，可以参考：正确理解spark

一、序言

对于key-value类型RDD的两个api， reduceByKey与foldByKey，我们往往只是简单的知道它们不同的点就是foldByKey比reduceByKey多了一个初始值，但是仅仅知道这么一点是完全不够的，我们还是不知道怎么合理的去用这两个api，所以有必要对两个api做一个详细的对比。我们接下来先从RDD的另外两个action api reduce和fold入手，然后慢慢的分析reduceByKey与foldByKey使用场景

二、RDD action Api -- reduce 和 fold

我们从如下两个方面来对比这两个api

1、分别对空的RDD应用这两个Api，如下：

//创建一个空的RDDval emptyRdd = sc.emptyRDD[Int]//对空的RDD进行reduce会报如下错//java.lang.UnsupportedOperationException: empty collection//  at org.apache.spark.rdd.RDD$$anonfun$reduce$1$$anonfun$apply$36.apply(RDD.scala:1027)emptyRdd.reduce(_ + _)//对空的RDD进行fold则不会，而是返回0emptyRdd.fold(0)(_ + _) // res1: Int = 0

2、从产生临时对象的多少来区别这两个api

//创建一个RDD，RDD的类型为ArrayBufferval testRdds = sc.parallelize(Seq(ArrayBuffer(0, 1, 3), ArrayBuffer(2, 4, 5)))//对testRdds进行reduce，如下：//会产生很多的中间临时对象 因为ArrayBuffer ++ ArrayBuffer会创建一个新的ArrayBuffer对象testRdds.reduce(_ ++ _)//对testRdds进行fold，如下：// ArrayBuffer只初始化一次，每次都是将ArrayBuffer append到之前的ArrayBuffer中，不会产生中间临时对象testRdds.fold(ArrayBuffer.empty[Int])((buff, elem) => buff ++= elem)

从上面可以看出，fold操作将会产生很少的中间对象，如果中间对象太多了的话，则会导致gc频繁，进而影响性能，所以使用reduce和fold的时候，我们需要考虑下会不会产生很多的临时对象，如果会的话，我们能不能使用fold操作来避免产生过多的中间对象

三、key-value类型RDD api -- reduceByKey与foldByKey

我们也是从如下两个方面来考虑：

1、对空的RDD应用这两个Api，行为是一致的，都是返回0

val emptyKeyValueRdd = sc.emptyRDD[(Int, Int)]emptyKeyValueRdd.reduceByKey(_ + _).collect  //0emptyKeyValueRdd.foldByKey((0))(_ + _).collect  //0

2、从产生临时对象的多少来区别这两个api

//构建一个key-value类型的RDDval testPairRdds = sc.parallelize(Seq(("key1", ArrayBuffer(0, 1, 3)),  ("key2", ArrayBuffer(2, 4, 5)), ("key1", ArrayBuffer(2, 1, 3))))//对testPairRdds应用reduceByKey, 如果相同的key的数据特别多的话，也会产生特别多的临时对象，因为ArrayBuffer ++ ArrayBuffer会创建一个新的ArrayBuffer对象testPairRdds.reduceByKey(_ ++ _).collect()//对testPairRdds应用foldByKey,对每一个key来说，ArrayBuffer只初始化一次，每次都是将ArrayBuffer append到之前的ArrayBuffer中，不会产生中间临时对象testPairRdds.foldByKey(ArrayBuffer.empty[Int])((buff, elem) => buff ++= elem).collect()

从上面也可以看出，foldByKey与reduceByKey的应用场景其实和fold与reduce是一样的，所以对于中间临时对象产生的情况下，我们需要在foldByKey与reduceByKey两者中选择好

对于RDD其他的api的原理及其使用的时候需要注意的点，可以参考：spark core RDD api原理详解