草庐IT

dataframe

全部标签

python - pandas 如何使用 groupby 在标签中按日期对列进行分组?

我有一个数据框10730行×249列,我有列:Index(['RegionID','Metro','CountyName','SizeRank','1996-04','1996-05','1996-06','1996-07','1996-08','1996-09',...'2015-11','2015-12','2016-01','2016-02','2016-03','2016-04','2016-05','2016-06','2016-07','2016-08'],dtype='object',length=249)所以我需要做的是按季度对列进行分组,从1月到3月Q1,依此类推,直

python - 使用 Pandas 读取数据(.dat 文件)

如何使用Pandas读取以下(两列)数据(来自.dat文件)TIMEXGSM2004006010001376001200400601000232800520040060100032800082004006010004232001120040060100051840017列分隔符(至少)是2个空格。我试过了df=pd.read_table("test.dat",sep="\s+",usecols=['TIME','XGSM'])printdf但是它会打印TIMEXGSM2004620046200462004620046 最佳答案 您可

python - 通过将 x 添加到前一行 pandas 来填充 na 值

我有一个数据框,其中包含名为SAM的列以及以下数据SAM359NanNan2440Nan57现在我想在Nan值中分别插入12、15和43(因为9+3=12、12+3=15和40+3=43)。换句话说,通过将3添加到上一行(也可以是Nan)来填充任何Nan行。我知道这可以通过遍历for循环来完成。但是我们可以用向量化的方式来做吗?就像pandas.fillna()中ffill的一些修改版本(如果我们没有连续的NaN就可以在这里使用)。 最佳答案 您可以尝试这种矢量化方法:nul=df['SAM'].isnull()nul.groupb

python - Pandas 数据框的连接列表,但忽略列名

副标题:让pandas变傻,别再耍小聪明了。我有一个单列pandas数据框列表(res),每个数据框都包含相同类型的数字数据,但每个都有不同的列名。行索引没有意义。我想将它们放入一个非常长的单列数据框中。当我执行pd.concat(res)时,每个输入文件得到一列(以及NaN单元格的加载和加载)。我已经为参数(*)尝试了各种值,但没有一个能满足我的要求。编辑:示例数据:res=[pd.DataFrame({'A':[1,2,3]}),pd.DataFrame({'B':[9,8,7,6,5,4]}),pd.DataFrame({'C':[100,200,300,400]}),]我有一个

计算 Pandas 数据框中条纹的Pythonic方法

给定dfdf=pd.DataFrame([[1,5,2,8,2],[2,4,4,20,2],[3,3,1,20,2],[4,2,2,1,3],[5,1,4,-5,-4],[1,5,2,2,-20],[2,4,4,3,-8],[3,3,1,-1,-1],[4,2,2,0,12],[5,1,4,20,-2]],columns=['A','B','C','D','E'],index=[1,2,3,4,5,6,7,8,9,10])基于thisanswer,我创建了一个函数来计算条纹(向上,向下)。defstreaks(df,column):#Createsigncolumndf['sign']

python - 将多索引转换为逐行多维 NumPy 数组。

假设我有一个类似于MultiIndexdocs中的示例的MultiIndexDataFrame.>>>df0123firstsecondbarone0123two4567bazone891011two12131415fooone16171819two20212223quxone24252627two28293031我想从这个具有3维结构的DataFrame生成一个NumPy数组,例如>>>desired_arrarray([[[0,4],[1,5],[2,6],[3,7]],[[8,12],[9,13],[10,14],[11,15]],[[16,20],[17,21],[18,22]

python - 如何查找 pyspark 数据帧内存使用情况?

对于pythondataframe,info()函数提供了内存使用情况。pyspark中是否有任何等效项?谢谢 最佳答案 尝试使用the_to_java_object_rdd()function:importpy4j.protocolfrompy4j.protocolimportPy4JJavaErrorfrompy4j.java_gatewayimportJavaObjectfrompy4j.java_collectionsimportJavaArray,JavaListfrompysparkimportRDD,SparkCont

python - 如何获取 pandas 数据框对象值的模式?

我有一个pandas.DataFrame包含许多列。我只对type='object'的那些列('names')中的一个感兴趣。关于本专栏,我想回答三个问题:什么值最常出现,不包括nan值?有多少值符合该标准(答案#1中的值计数)?这些值多久出现一次?我从一个大数据框(df)开始。我感兴趣的专栏称为“名称”。首先,我使用collection.Counter获取“名称”列中每个唯一值的出现次数:In[52]:cntr=collections.Counter([rfori,rindf['names'].dropna().iteritems()])Out[52]:Counter({'Erk':

python - 对 Pandas 数据框进行子集化的最佳方法

关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题?更新问题,以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion嘿,我是Pandas的新手,我刚刚遇到df.query()。当您可以使用括号表示法直接过滤数据帧时,为什么人们会使用df.query()?官方pandas教程似乎也更喜欢后一种方法。用括号记法:df[df['age']使用pandas查询方法:df.query('age除了已经提到的一些风格或灵active差异之外,还有一个规范的首选-即大型数据帧上的操作性能?

python - 使用前一行的值来更新新行的值

这是当前数据框:>IDDatecurrent>200198010/30/20171>200198010/29/20170>200198010/28/20170>200198010/27/201740>200198010/26/201739>200198010/25/20170>200198010/24/20170>200198010/23/201760>200198010/22/20170>200198010/21/20170>200222210/21/20170>200222210/20/20170>200222210/19/201716>200222210/18/20170>200