草庐IT

aggregatebykey

全部标签

java - combinebykey 和 aggregatebykey 的区别

我是Apachespark的新手,所以这个问题可能不好问,但我不知道combinebykey和aggregatebykey之间的区别以及何时使用哪个操作。 最佳答案 aggregateByKey采用初始累加器,第一个lambda函数将值合并到累加器,第二个lambda函数合并两个累加器。combineByKey更通用,并添加了一个初始lambda函数来创建初始累加器举个例子:valpairs=sc.parallelize(List(("prova",1),("ciao",2),("prova",2),("ciao",4),("pro