草庐IT

pandas-datareader

全部标签

python - Pandas 在 Groupby 中重新索引日期

我有一个以零星日期作为索引的数据框,列='id'和'num'。我想pd.groupby'id'列,并将重新索引应用于数据框中的每个组。我的示例数据集如下所示:idnum2015-08-01132015-08-05152015-08-06142015-07-31212015-08-03222015-08-0623使用ffillpd.reindex后我的预期输出是:idnum2015-08-01132015-08-02132015-08-03132015-08-04132015-08-05152015-08-06142015-07-31212015-08-01212015-08-02212

python - 使用已知列值更改 pandas DataFrame 多列中的值

假设我有一个这样的数据框:KnownvalueABCDEFGH17.34130000000033.453400000000我想做的是,当已知值在0-10之间时,A从0变为1。当已知值在10-20之间时,B从0变为1,依此类推。改完之后应该是这样的:KnownvalueABCDEFGH17.34130100000033.453400010000有人知道如何应用一种方法来改变它吗? 最佳答案 我首先将Knownvalue系列放入一个等于其截断值除以10的整数列表中(例如27.87//10=2)。这些桶表示所需列位置的整数。因为Known

python - 如何在 pandas 数据框中对时间进行分类

我正在尝试使用pandas数据帧分析几周内测量“X”的平均每日波动,但时间戳/日期时间等被证明特别难以处理。花了好几个小时试图解决这个问题后,我的代码变得越来越困惑,我认为我离解决方案还差得很远,希望这里有人能指导我朝着正确的方向前进。我在不同的时间和不同的日子测量了X,将每天的结果保存到具有以下形式的数据框中:Timestamp(datetime64)X02015-10-0500:01:38112015-10-0506:03:39422015-10-0513:42:39332015-10-0522:15:392由于进行测量的时间每天都在变化,我决定使用分箱来组织数据,然后计算出每个分

python - Pandas :时间戳系列中的唯一天数

我有将近3,000,000行的PandasDataFrame。其中一列称为TIMESTAMP,属于datetime64类型。时间戳格式如下:2015-03-3122:56:45.510我的目标是计算收集数据的天数。我最初的方法很简单:(df.TIMESTAMP.max()-df.TIMESTAMP.min()).days但是,我发现这可能并不总是正确的,因为不能保证每天都收集数据。相反,我尝试使用map和apply计算时间戳系列中的唯一天数,并且两者都需要相当长的时间来处理3,000,000行:%timeitlen(df['TIMESTAMP'].map(lambdat:t.date(

python - Pandas :如何从相关矩阵中删除自相关

我试图找到不同列与pandas的最高相关性。我知道可以获得相关矩阵df.corr()我知道在那之后我可以获得最高的相关性df.sort()df.stack()df[-5:]问题是这些相关性还包含列本身的值(1)。如何删除这些包含与self相关的列?我知道我可以通过删除所有1值来删除它们,但我不想这样做,因为也可能存在实际的1相关性。 最佳答案 说你有corrs=df.corr()然后问题出在对角线元素IIUC上。您可以轻松地将它们设置为某个负值,例如-2(这必然低于所有相关性)np.fill_diagonal(corrs.value

python - Pandas 在 Windows 终端中绘图

我有一个简单的Pandas数据框。尝试从IPython的Windows10终端session进行绘图给了我这个:In[4]:df=pd.DataFrame({'Y':[1,3,5,7,9],'X':[0,2,4,6,8]})In[5]:dfOut[5]:XY001123245367489In[6]:df.plot(kind='line')Out[6]:In[7]:我看不到任何情节。我做错了什么吗? 最佳答案 我认为您可以尝试为笔记本添加%matplotlibinline或ipythonnotebook--matplotlibinli

python - Pandas 数据框中以相同字符串开头的列的总和值

我有一个包含大约100列的数据框,如下所示:IdEconomics-1English-107English-2History-3Economics-zzEconomics-2\05611010011100001026001001343000101414010010HistoEconomics-51Literature-reLiteratureu40101010001200003011041000我的目标是只保留全局类别——英语、历史、文学——并分别在此数据框中写入它们的组件值的总和。例如,“English”将是“English-107”和“English-2”的总和:IdEconomi

python - 如何使用 Jython 导入 Pandas

我是python新手,我已经安装了Jython2.7.0Javaimportorg.python.util.PythonInterpreter;importorg.python.core.*;publicclassMain{publicstaticvoidmain(String[]args){PythonInterpreterinterp=newPythonInterpreter();interp.execfile("D:/Users/JY/Desktop/test/for_java_test.py");interp.close();}}pythonimportpandasaspdim

python - 来自数据框 Pandas 的数据的多线程

我正在努力使用多线程来计算购物篮中有不同购物项目的客户列表之间的相关性。所以我有一个包含1,000个客户的pandas数据框,这意味着我必须计算相关性100万次,这需要很长时间才能处理数据框的示例如下所示:IDItem1Banana1Apple2Orange2Banana2Tomato3Apple3Tomato3Orange这是代码的简化版本:importpandasaspddefrelatedness(customer1,customer2):#dosomecalculationstomeasuretherelationbetweenthecustomersdata=pd.read_

python - 在 Pandas 中拆分一个字符串并将其加入旧数据

我做的事情看似简单,但我想不通。我有数据框,例如CityStateZIPAmesIA50011-3617AnkenyIA50021我想按-拆分邮政编码,并仅将第一个邮政编码保存在具有旧数据和新邮政编码的新数据框中。我尝试执行以下操作。data_short_zip=datadf=data['ZIP'].str.split('-').str[0]data_short_zip.join(df)这不仅会引发错误,而且看起来不符合Python规范。有没有简单的方法可以做到这一点?输出数据看起来像CityStateZIPAmesIA50011AnkenyIA50021