我运行的是 hadoop 2.7.0 版本、scala 2.10.4、java 1.7.0_21 和 spark 1.3.0
我创建了一个如下所示的小文件
hduser@ubuntu:~$ cat /home/hduser/test_sample/sample1.txt
Eid1,EName1,EDept1,100
Eid2,EName2,EDept1,102
Eid3,EName3,EDept1,101
Eid4,EName4,EDept2,110
Eid5,EName5,EDept2,121
Eid6,EName6,EDept3,99
运行以下命令时出现错误。
scala> val emp = sc.textFile("/home/hduser/test_sample/sample1.txt")
emp: org.apache.spark.rdd.RDD[String] = /home/hduser/test_sample/sample1.txt MapPartitionsRDD[5] at textFile at <console>:21
scala> val dept = emp.map(_.split(",")).map(r => r(3))
dept: org.apache.spark.rdd.RDD[String] = MapPartitionsRDD[7] at map at <console>:23
scala> dept.collect().foreach(println)
java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException: Server IPC version 9 cannot communicate with client version 4
在这种情况下，您能否准确地建议我必须做什么。
最佳答案
查看 spark 下载页面。 “https://spark.apache.org/downloads.html”。 有针对不同 Hadoop 版本预构建的 Spark 发行版。
关于hadoop - Spark 错误 : Server IPC version 9 cannot communicate with client version 4，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/30343036/
