PySpark数据分析基础：PySpark Pandas创建、转换、查询、转置、排序操作详解

fanstuck 2023-06-16 原文

前言

时至如今Pandas仍然是十分火热的基于Python的数据分析工具，与numpy、matplotlib称为数据分析三大巨头，是学习Python数据分析的必经之路。Pandas提供了大量能使我们快速便捷地处理数据的函数和方法，它是使Python成为强大而高效的数据分析环境的重要因素之一。因此我们做分布式数据分析也同样离不开Pandas的支持。Spark中的PySpark是内嵌有Pandas接口的：

使用方式和直接使用Pandas库是有所不同的，本篇文章将使用pyspark的pandas和pandas两种数据操作方式来展示pyspark的pandas该如何灵活使用来进行数据分析。

文章还是紧接上篇文章：

PySpark数据分析基础：PySpark基础功能及基础语法详解

一、Pandas数据结构

Pandas数据结构是通用了，共有六种数据结构，想要详细了解可以去看我这篇文章：一文速学-数据分析之Pandas数据结构和基本操作代码：

1.Series

Series要理解很简单，就像它的单词为系列的意思。类似与数据结构中的字典有索引和对应值，也可以理解为数组，在Series中的下标1,2,3,...索引对应它的不同值。

2.DataFrame

刚才从Series转化为DataFrame就可以看出DataFrame的格式就像一张表格，包含行和列索引。通过对应的行列对DataFrame进行操作，更像是对SQL中表格处理，两者有一定的类似之处。因此学过SQL的对DataFrane的操作更容易了解。

3.Time-Series

以时间为索引的Series。

4.Panel

三维的数组，可以理解为DataFrame的容器。

5.Panel4D

像Panel一样的4维数据容器。

6.PanelND

拥有factory集合，可以创建像Panel4D一样N维命名容器的模块。

后面四个用的场景十分少见，Series和DataFrame是最常用的数据类型，掌握这两个数据结构操作方法足够进行数据分析。

二、Pyspark实例创建

1.引入库

import pandas as pd
import numpy as np
import pyspark.pandas as ps
from pyspark.sql import SparkSession

如果运行上述代码有 WARNING:root:‘PYARROW_IGNORE_TIMEZONE‘ environment variable was not set.可以加上：

import os
os.environ["PYARROW_IGNORE_TIMEZONE"] = "1"

2.转换实现

通过传递值列表，在Spark上创建pandas，让pandas API在Spark上创建默认整数索引：

pyspark pandas series创建

和pandas是一样的

s = ps.Series([1, 3, 5, np.nan, 6, 8])

pyspark pandas dataframe创建

和pandas也是一样的：

ps_df=ps.DataFrame(
    {'name':['id1','id2','id3','id4'],
     'old':[21,23,22,35],
     'city':['杭州','北京','南昌','上海']
    },
    index=[1,2,3,4])

from_pandas转换

我们先用pandas创建一个普通的DataFrame：

pd_df=pd.DataFrame(
    {'name':['id1','id2','id3','id4'],
     'old':[21,23,22,35],
     'city':['杭州','北京','南昌','上海']
    },
    index=[1,2,3,4])

之后直接使用from_pandas开始转换就可以了:

ps_df=ps.from_pandas(pd_df)
type(ps_df)

Spark DataFrame转换

也可以通过Pandas的DataFrame转换为Spark DataFrame：

spark = SparkSession.builder.getOrCreate()
sp_df=spark.createDataFrame(pd_df)
sp_df.show()

通过Spark DataFrame转换为PySpark DataFrame：

ps_df=sp_df.pandas_api()

且和pandas一样查看数据类型方法是一样的：

ps_df.dtypes

Spark DataFrame中的数据在默认情况下并不保持自然顺序。

通过设置compute.ordered_head可以保持自然顺序,但它会导致内部排序的性能开销。

ps_df.head()

三、PySpark Pandas操作

1.读取行列索引

读取行索引：

ps_df.index

Int64Index([0, 1, 2, 3], dtype='int64')

读取列索引：

ps_df.columns

Index(['name', 'old', 'city'], dtype='object')

2.内容转换为数组

ps_df.to_numpy()

3.DataFrame统计描述

ps_df.describe()

描述的数值均为float

4.转置

ps_df.T

转置内容old列为int64，转置会报错，需要先转换为str再进行转置：

ps_df['old']=ps_df['old'].astype(str)
ps_df.T

5.排序

按行索引排序

ps_df.sort_index(ascending=False)

按某列值排序

ps_df.sort_values(by='old')

点关注，防走丢，如有纰漏之处，请留言指教，非常感谢

以上就是本期全部内容。我是fanstuck ，有问题大家随时留言讨论，我们下期见。

PySpark 详解 DataFrame margin-left E5 pandas 数据分析 spark 数据挖掘 python

有关PySpark数据分析基础：PySpark Pandas创建、转换、查询、转置、排序操作详解的更多相关文章

ruby - 如何在 Ruby 中顺序创建 PI - 2
出于纯粹的兴趣，我很好奇如何按顺序创建PI，而不是在过程结果之后生成数字，而是让数字在过程本身生成时显示。如果是这种情况，那么数字可以自行产生，我可以对以前看到的数字实现垃圾收集，从而创建一个无限系列。结果只是在Pi系列之后每秒生成一个数字。这是我通过互联网筛选的结果:这是流行的计算机友好算法，类机器算法:defarccot(x,unity)xpow=unity/xn=1sign=1sum=0loopdoterm=xpow/nbreakifterm==0sum+=sign*(xpow/n)xpow/=x*xn+=2sign=-signendsumenddefcalc_pi(digits
python - 如何使用 Ruby 或 Python 创建一系列高音调和低音调的蜂鸣声？ - 2
关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题？更新问题，以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点？我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等)，但我确实想创建一个输出文件。
ruby - 解析 RDFa、微数据等的最佳方式是什么，使用统一的模式/词汇(例如 schema.org)存储和显示信息 - 2
我主要使用Ruby来执行此操作，但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式，例如使用这个yaml文件，它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i
ruby - 使用 Vim Rails，您可以创建一个新的迁移文件并一次性打开它吗？ - 2
使用带有Rails插件的vim，您可以创建一个迁移文件，然后一次性打开该文件吗？textmate也可以这样吗？最佳答案你可以使用rails.vim然后做类似的事情::Rgeneratemigratonadd_foo_to_bar插件将打开迁移生成的文件，这正是您想要的。我不能代表textmate。关于ruby-使用VimRails，您可以创建一个新的迁移文件并一次性打开它吗？，我们在StackOverflow上找到一个类似的问题： https://sta
ruby-on-rails - 无法使用 Rails 3.2 创建插件？ - 2
我对最新版本的Rails有疑问。我创建了一个新应用程序(railsnewMyProject)，但我没有脚本/生成，只有脚本/rails，当我输入ruby./script/railsgeneratepluginmy_plugin"Couldnotfindgeneratorplugin.".你知道如何生成插件模板吗？没有这个命令可以创建插件吗？PS:我正在使用Rails3.2.1和ruby1.8.7[universal-darwin11.0] 最佳答案随着Rails3.2.0的发布，插件生成器已经被移除。查看变更日志here.现在
ruby - 如何使用 RSpec::Core::RakeTask 创建 RSpec Rake 任务？ - 2
如何使用RSpec::Core::RakeTask初始化RSpecRake任务？require'rspec/core/rake_task'RSpec::Core::RakeTask.newdo|t|#whatdoIputinhere?endInitialize函数记录在http://rubydoc.info/github/rspec/rspec-core/RSpec/Core/RakeTask#initialize-instance_method没有很好的记录；它只是说:-(RakeTask)initialize(*args,&task_block)AnewinstanceofRake
ruby - 为什么 SecureRandom.uuid 创建一个唯一的字符串？ - 2
关闭。这个问题需要detailsorclarity.它目前不接受答案。想改进这个问题吗？通过editingthispost添加细节并澄清问题.关闭8年前。Improvethisquestion为什么SecureRandom.uuid创建一个唯一的字符串？SecureRandom.uuid#=>"35cb4e30-54e1-49f9-b5ce-4134799eb2c0"SecureRandom.uuid方法创建的字符串从不重复？
ruby - 有人可以帮助解释类创建的 post_initialize 回调吗 (Sandi Metz) - 2
我正在阅读SandiMetz的POODR，并且遇到了一个我不太了解的编码原则。这是代码:classBicycleattr_reader:size,:chain,:tire_sizedefinitialize(args={})@size=args[:size]||1@chain=args[:chain]||2@tire_size=args[:tire_size]||3post_initialize(args)endendclassMountainBike此代码将为其各自的属性输出1,2,3,4,5。我不明白的是查找方法。当一辆山地自行车被实例化时，因为它没有自己的initialize方法
ruby - Ruby 有 `Pair` 数据类型吗？ - 2
有时我需要处理键/值数据。我不喜欢使用数组，因为它们在大小上没有限制(很容易不小心添加超过2个项目，而且您最终需要稍后验证大小)。此外，0和1的索引变成了魔数(MagicNumber)，并且在传达含义方面做得很差(“当我说0时，我的意思是head...”)。散列也不合适，因为可能会不小心添加额外的条目。我写了下面的类来解决这个问题:classPairattr_accessor:head,:taildefinitialize(h,t)@head,@tail=h,tendend它工作得很好并且解决了问题，但我很想知道:Ruby标准库是否已经带有这样一个类？最佳
ruby - 使用多个数组创建计数 - 2
我正在尝试按0-9和a-z的顺序创建数字和字母列表。我有一组值value_array=['0','1','2','3','4','5','6','7','8','9','a','b'，'光盘'，'e','f','g','h','i','j','k','l','m','n','o','p','q','r','s','','u','v','w','x','y','z']和一个组合列表的数组，按顺序，这些数字可以产生x个字符，比方说三个list_array=[]和一个当前字母和数字组合的数组(在将它插入列表数组之前我会把它变成一个字符串，]current_combo['0','0','0']