草庐IT

python - 使用 bcolz 将 Pandas 数据框保存到文件

我想使用bcolz将pandas数据框保存到文件。我试过:importbcolzimportpandasaspddf=pd.read_csv(open("mydata.csv",'rb'),delimiter='\t')ct=bcolz.ctable.fromdataframe(df)在那之后,ct包含压缩数据帧,但我找不到如何将它保存到文件。 最佳答案 您只需要在读取数据帧时指定在何处创建表,如下所示:importbcolzimportpandasaspddf=pd.read_csv(open("mydata.csv",'rb')

Python bcolz 如何合并两个 ctables

我正在玩这个notebook中的内存压缩示例中的bcolz到目前为止,我对这个库感到非常惊讶。我认为它对于我们所有人来说都是一个很好的工具,可以将更大的文件加载到较小的内存中(Francesc干得好,如果您正在阅读这篇文章!)我想知道是否有人有像使用pandas.merge()那样加入两个ctables的经验,以及如何做到这一点/内存有效。感谢分享您的想法:-)! 最佳答案 我及时得到它..非常感谢@mdurant的itertoolz!!这是一些伪代码,因为我使用的示例非常难看。#here'sgenericpandasdf_new=