草庐IT

df_numeric

全部标签

python - netcdf4-python : memory increasing with numerous calls to slice data from netcdf object

我正在尝试使用netcdf4-python从netcdf4文件中读取数据切片。这是第一次使用python,我遇到了内存问题。下面是代码的简化版本。在循环的每次迭代中,内存跳转相当于我读取的数据片。如何在遍历每个变量时清理内存?#!/usr/bin/envpythonfromnetCDF4importDatasetimportosimportsysimportpsutilprocess=psutil.Process(os.getpid())defprint_memory_usage():nr_mbytes=process.get_memory_info()[0]/1048576.0sys

python - Pandas ,将系列连接到 DF 作为行

我试图将一个系列添加到一个空的DataFrame中,但找不到答案在文档或其他问题中。因为您可以按行附加两个DataFrame或者按列看来系列中必须缺少一个“轴标记”。能谁能解释为什么这不起作用?importPandasaspddf1=pd.DataFrame()s1=pd.Series(['a',5,6])df1=pd.concat([df1,s1],axis=1)#gorunsomeprocessreturns2,s3,sn...s2=pd.Series(['b',8,9])df1=pd.concat([df1,s2],axis=1)s3=pd.Series(['c',10,11])

python - PANDAS 从 df 删除一系列行

我想从数据框的底部删除m行。它是整数索引(有孔)。如何才能做到这一点?Pandas==0.10.1python==2.7.3 最佳答案 使用切片选择你想要的部分:df[:-m]如果你想删除一些中间行,你可以使用drop:df.drop(df.index[3:5]) 关于python-PANDAS从df删除一系列行,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.com/questions/15703283/

python - 在 matplotlib 中格式化日期时间 xlabels(pandas df.plot() 方法)

我不知道如何更改这些x标签的格式。理想情况下,我想对它们调用strftime('%Y-%m-%d')。我试过set_major_formatter之类的东西,但没有成功。importpandasaspdimportnumpyasnpdate_range=pd.date_range('2014-01-01','2015-01-01',freq='MS')df=pd.DataFrame({'foo':np.random.randint(0,10,len(date_range))},index=date_range)ax=df.plot(kind='bar') 最

python - pandas df 中当前唯一值的计数

我试图在pandasdf中返回count的unique值。它是每个行的累积计数。我的目标是合并一个函数来确定当前在任何时间点出现的值的数量。importpandasaspddf=pd.DataFrame({'A':['8:06:00','11:00:00','11:30:00','12:00:00','13:00:00','13:30:00','14:00:00','17:00:00'],'B':['ABC','ABC','DEF','XYZ','ABC','LMN','DEF','ABC'],'C':[1,2,1,1,3,1,2,4],})ABC08:06:00ABC1111:00:

python - 为什么 DataFrame.loc[[1]] 比 df.ix [[1]] 慢 1,800 倍,比 df.loc[1] 慢 3,500 倍?

自己试试看:importpandasaspds=pd.Series(xrange(5000000))%timeits.loc[[0]]#Youneedpandas0.15.1ornewerforittobethatslow1loops,bestof3:445msperloop更新:大概是2014年8月左右在0.15.1中引入的alegitimatebuginpandas。解决方法:使用旧版本的pandas等待新版本发布;得到一个尖端的开发者。来自github的版本;在您发布的pandas中手动进行一行修改;暂时使用.ix而不是.loc。我有一个包含480万行的DataFrame,使用.

python - pandas - 具有非数值的 pivot_table? (数据错误 : No numeric types to aggregate)

我正在尝试对包含字符串作为结果的表进行数据透视。importpandasaspddf1=pd.DataFrame({'index':range(8),'variable1':["A","A","B","B","A","B","B","A"],'variable2':["a","b","a","b","a","b","a","b"],'variable3':["x","x","x","y","y","y","x","y"],'result':["on","off","off","on","on","off","off","on"]})df1.pivot_table(values='res

python - 为什么numpy.core.numeric._typelessdata中有两个np.int64(为什么numpy.int64不是numpy.int64?)

这不像好奇心那么严重。在我的64位linux解释器中我可以执行In[10]:np.int64==np.int64Out[10]:TrueIn[11]:np.int64isnp.int64Out[11]:True太好了,正是我所期望的。但是我发现了numpy.core.numeric模块的这个奇怪的属性In[19]:fromnumpy.core.numericimport_typelessdataIn[20]:_typelessdataOut[20]:[numpy.int64,numpy.float64,numpy.complex128,numpy.int64]奇怪为什么numpy.in

python - pandas 中 df.reindex() 和 df.set_index() 方法的区别

我对此感到困惑,这很简单,但我没有立即在StackOverflow上找到答案:df.set_index('xcol')使列'xcol'成为索引(当它是df的列时)。但是,df.reindex(myList)从数据帧外部获取索引,例如,从我们在别处定义的名为myList的列表中获取索引。但是,df.reindex(myList)也会将值更改为NA。一个简单的替代方法是:df.index=myList我希望这篇文章能澄清它!也欢迎对这篇文章进行补充! 最佳答案 您可以在一个简单的示例中看到差异。让我们考虑这个数据框:df=pd.Data

python - 使用 fancyimpute 和 pandas 进行数据插补

我有一个很大的pandas数据成名df。它有很多缺失。删除row/orcol-wise不是一种选择。估算中位数、均值或最频繁的值也不是一种选择(因此不幸的是,使用pandas和/或scikit进行估算并不能解决问题)。我遇到了一个看起来很简洁的包,叫做fancyimpute(你可以找到它here)。但是我有一些问题。这是我的做法:#theneccesaryimportsimportpandasaspdimportnumpyasnpfromfancyimputeimportKNN#dfismydataframewiththemissings.Ikeeponlyfloatsdf_numer