草庐IT

createDataFrame

全部标签

apache-spark - pyspark 的 toDF() 与 createDataFrame() 的奇怪行为

我是初学者,刚开始使用spark。我在pySpark(Scala2.11.8)中执行了以下查询dic=[{"a":1},{"b":2},{"c":3}]spark.parallelize(dic).toDF()df.show()然后产生:+----+|a|+----+|1||null||null|+----+而当我执行spark.createDataFrame(dic).show()时它会产生+----+----+----+|a|b|c|+----+----+----+|1|null|null||null|2|null||null|null|3|+----+----+----+基于Un

python - 属性错误 : 'SparkContext' object has no attribute 'createDataFrame' using Spark 1. 6

以前关于此错误的问题的答案是您需要做的就是更新您的Spark版本。我刚刚删除了早期版本的Spark,并安装了为Hadoop2.6.0构建的Spark1.6.3。我试过这个:s_df=sc.createDataFrame(pandas_df)出现这个错误:---------------------------------------------------------------------------AttributeErrorTraceback(mostrecentcalllast)in()1#creatingasparkdataframefromthepandasdataframe