我是PySpark的新手,正面临一个奇怪的问题。我试图在加载CSV数据集时将某些列设置为不可空。我可以使用非常小的数据集(test.csv)重现我的案例:col1,col2,col311,12,1321,22,2331,32,3341,42,4351,,53第5行第2列有一个空值,我不想在我的DF中获取该行。我将所有字段设置为不可为空(nullable=false),但我得到了一个架构,其中所有三列都具有nullable=true。即使我将所有三列都设置为不可为空,也会发生这种情况!我正在运行最新可用的Spark版本2.0.1。代码如下:frompyspark.sqlimportSpa