这会阻止 PySpark 在 Jupyter Notebook 中正常运行。我知道原生 hadoop 库仅在 *nix 平台上受支持。该库不适用于 Cygwin 或 Mac OS X 平台。我怎样才能正确安装 PySpark 以在我的 Jupyter 笔记本中运行

最佳答案

1. 下载 hadoop 二进制文件 ( link ) 并将其放在您的主目录中(您可以根据需要选择不同的 hadoop 版本并相应地更改后续步骤)
2. 使用以下命令将文件夹解压缩到您的主目录中。 tar -zxvf hadoop_file_name
3. 现在将 export HADOOP_HOME=~/hadoop-2.8.0 添加到您的 .bashrc 文件中。打开一个新终端并重试。 来源:Install PySpark on Mac

关于hadoop - Pyspark Mac NativeCodeLoader : Unable to load native-hadoop library for your platform. .. 在适用的情况下使用内置 java 类，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/43403973/