草庐IT

sparkRDD

全部标签

scala - 使用 apache Ignite 共享 sparkRDD

我实现的是:valsparkConf=newSparkConf().setAppName(“SharedRDD”).setMaster(“local”)valsc=SparkContext.getOrCreate(sparkConf)valsparkRDD=sc.wholeTextFiles("sample.csv",10)这个RDD被IgniteContext缓存valigniteContext=newIgniteContext(sc,“example-shared-rdd.xml”,false)valsharedIgniteRDD=igniteContext.fromCache[S