目录前言一、PySpark基础功能 1.SparkSQL和DataFrame2.PandasAPIonSpark3.Streaming4.MLBase/MLlib5.SparkCore二、PySpark依赖Dependencies三、DataFrame1.创建创建不输入schema格式的DataFrame创建带有schema的DataFrame从PandasDataFrame创建通过由元组列表组成的RDD创建2.查看DataFrame.show()spark.sql.repl.eagerEval.enabled纵向显示 查看DataFrame格式和列名查看统计描述信息PySparkDataFr
目录前言一、PySpark基础功能 1.SparkSQL和DataFrame2.PandasAPIonSpark3.Streaming4.MLBase/MLlib5.SparkCore二、PySpark依赖Dependencies三、DataFrame1.创建创建不输入schema格式的DataFrame创建带有schema的DataFrame从PandasDataFrame创建通过由元组列表组成的RDD创建2.查看DataFrame.show()spark.sql.repl.eagerEval.enabled纵向显示 查看DataFrame格式和列名查看统计描述信息PySparkDataFr
PySpark集群完全分布式搭建本文的目的是使读者对spark的安装流程有一个清晰的认识，并且能根据本文的内容搭建一个属于自己的完全分布式Spark集群，并在此基础上增加pyspark的分布式环境。阅读本文前，有几个点需要注意：本文假设读者有Hadoop的搭建基础，并且成功搭建了完全分布式的Hadoop集群，因此本文不会对该方面的知识进行铺垫。本文假设读者有在Linux上安装anaconda或者minconda的基础，并且成功的在每一个节点上的相同路径下配置好了相应的环境。（该过程可以每个节点一一配置，也在可以配置好某个节点后，把配置好的文件打包发送到所有节点再解压，因为略占篇幅、且不为本文重
PySpark集群完全分布式搭建本文的目的是使读者对spark的安装流程有一个清晰的认识，并且能根据本文的内容搭建一个属于自己的完全分布式Spark集群，并在此基础上增加pyspark的分布式环境。阅读本文前，有几个点需要注意：本文假设读者有Hadoop的搭建基础，并且成功搭建了完全分布式的Hadoop集群，因此本文不会对该方面的知识进行铺垫。本文假设读者有在Linux上安装anaconda或者minconda的基础，并且成功的在每一个节点上的相同路径下配置好了相应的环境。（该过程可以每个节点一一配置，也在可以配置好某个节点后，把配置好的文件打包发送到所有节点再解压，因为略占篇幅、且不为本文重
避坑指南1⃣️版本兼容问题由于Hadoop生态是开源的，所以难免会出现版本兼容问题。为了保证Hadoop、spark、jdk、python之间可以兼容，建议使用我分享的版本。当然读者也可自己选择兼容的其他版本2⃣️路径名中文问题不论是在配置环境变量还是在文件中写路径时，最好路径不要出现中文，因为有可能由于编码的原因造成中文不识别，从而产生很多不必要的麻烦一、安装jdk1.81.jdk下载首先要保证电脑上安装了jdk，这里下载jdk1.8，可以去官网下载，也可以使用我分享的文件链接：https://pan.baidu.com/s/1MErkVhORho7tp3Eg97a9Aw提取码：1234下载
避坑指南1⃣️版本兼容问题由于Hadoop生态是开源的，所以难免会出现版本兼容问题。为了保证Hadoop、spark、jdk、python之间可以兼容，建议使用我分享的版本。当然读者也可自己选择兼容的其他版本2⃣️路径名中文问题不论是在配置环境变量还是在文件中写路径时，最好路径不要出现中文，因为有可能由于编码的原因造成中文不识别，从而产生很多不必要的麻烦一、安装jdk1.81.jdk下载首先要保证电脑上安装了jdk，这里下载jdk1.8，可以去官网下载，也可以使用我分享的文件链接：https://pan.baidu.com/s/1MErkVhORho7tp3Eg97a9Aw提取码：1234下载
PySpark环境搭建一、基础环境准备1、Scala环境搭建1.1下载1.2安装1.3添加环境变量1.4测试环境2、JDK环境搭建2.1下载2.2安装2.3配置环境变量2.4测试环境3、Python环境准备4、Windows环境二、Hadoop环境准备1、下载2、安装3、添加环境变量4、测试环境5、本地bin目录替换三、spark环境准备1、下载2、安装3、添加环境变量4、测试环境四、安装pyspark1、复制2、本地测试PySpark是Python整合Spark的一个扩展包，可以使用Python进行Spark开发。而PySpark需要依赖Spark环境，Spark需要依赖Hadoop环境，而
PySpark环境搭建一、基础环境准备1、Scala环境搭建1.1下载1.2安装1.3添加环境变量1.4测试环境2、JDK环境搭建2.1下载2.2安装2.3配置环境变量2.4测试环境3、Python环境准备4、Windows环境二、Hadoop环境准备1、下载2、安装3、添加环境变量4、测试环境5、本地bin目录替换三、spark环境准备1、下载2、安装3、添加环境变量4、测试环境四、安装pyspark1、复制2、本地测试PySpark是Python整合Spark的一个扩展包，可以使用Python进行Spark开发。而PySpark需要依赖Spark环境，Spark需要依赖Hadoop环境，而
目录前言正文创建没有schema的DataFrame创建有schema的DataFrame直接创建空的DataFrame法1：直接传递[]通过空RDD创建空DataFrame法2：通过spark.createDataFrame(rdd)函数法3：通过rdd.toDF函数总结前言做大数据分析时，经常会使用到空的DataFrame，直接给spark.createDataFrame传递空的PandasDataFrame会报错：spark.createDataFrame(data=pd.DataFrame(data=None,columns=['pageid','uid']))#报错：ValueErr
目录前言正文创建没有schema的DataFrame创建有schema的DataFrame直接创建空的DataFrame法1：直接传递[]通过空RDD创建空DataFrame法2：通过spark.createDataFrame(rdd)函数法3：通过rdd.toDF函数总结前言做大数据分析时，经常会使用到空的DataFrame，直接给spark.createDataFrame传递空的PandasDataFrame会报错：spark.createDataFrame(data=pd.DataFrame(data=None,columns=['pageid','uid']))#报错：ValueErr
