我有一个包含两个不同对象的 CSV 文件的大型数据集:object_a 和 object_b。这些实体中的每一个都有一个数字 tick 值。

Type,       Parent Name, Ticks
object_a,   4556421,     34
object_a,   4556421,     0
object_b,   4556421,     0
object_a,   3217863,     2
object_b,   3217863,     1
......

每个对象共享一个 Parent Name 值，因此在大多数情况下，每个对象之一将共享一个 Parent Name 值，但情况并非总是如此。

我对这个数据集有两个目标:

• 提取父名称下的所有 object_a，其中 i) 有 >1 个 object_a； ii) object_a 有 0 个刻度，但另一个 object_a 有 >0 个刻度。即只有零刻度的那个
• 提取父名称下的所有 object_b，其中 i) 有 >=1 个 object_a 并且； ii) object_b 有 0 个 ticks 但 object_a 有 >0 个 ticks

我的第一个方法是为两个任务使用两个独立的函数，分 block 读取 CSV 文件(通常大小为 1.5GB)，并在根据父名称对它们进行分组后将提取的行输出到另一个 csv 文件...

def objective_one(group_name, group_df):

   group_df = group_df[group_df['Type'] == 'object_a']

   if len(group_df) > 1:        
       zero_tick_object_a = group_df[group_df['Ticks'] == 0]        
       if len(zero_click_object_a) < len(group_df):        
           return zero_click_object_a        
       else:        
           return pd.DataFrame(columns=group_df.columns)
   else:        
       return pd.DataFrame(columns=group_df.columns)


def objective_two(group_name, group_df):

   object_a_in_group_df = group_df[group_df['Type'] == 'object_a']
   object_b_has_no_clicks_in_group_df = group_df[(group_df['Type'] == 'object_b') & (group_df['Ticks'] == 0)]

   if len(object_a_in_group_df) >= 1 and len(object_b_has_no_ticks_in_group_df) >= 1:

       has_ticks_objects = objects_in_group_df[object_a_in_group_df['Ticks'] >= 1]

       if len(has_ticks_object_a) > 0:        
           return object_B_has_no_ticks_in_group_df        
       else:        
           return pd.DataFrame(columns=group_df.columns)
   else:        
       return pd.DataFrame(columns=group_df.columns)

下面是在 main 方法中对这些函数的调用:

for chunk in pd.read_csv(file, chunksize=500000):

   #objective one
   chunk_object_a = chunk.groupby(['Parent Name']).apply(lambda g: objective_one(g.name, g))
   ....
   ....
   #objective two
   chunk_object_b = chunk.groupby(['Parent Name']).apply(lambda g: objective_two(g.name, g))

#然后将apply方法输出的dataframes写入csv文件

这种方法的问题是，虽然它确实能得到我想要的输出，但它在 1GB 及以上范围内的大文件中非常慢。另一个问题是，从 CSV 中分 block 读取它可能会有效地将某些组切成两半(即父名称可能会分成一个 block 和下一个 block ，从而导致提取的对象数量不准确)

有什么方法可以优化它以使其更快并解决我的 block 问题吗？

最佳答案

我对问题的看法:

• extract all object_a's under a Parent Name where i) there are >1 object_a's and; ii) the object_a has 0 ticks but the other object_a has >0 ticks. i.e. just the one with zero ticks
• extract all object_b's under a Parent Name where i) there is >=1 object_a and; ii) the object_b has 0 ticks but the object_a has >0 ticks

阅读本文时我的第一印象是实际的“类型”并不重要，我们只需要一个现有的object_a，每个组都有 >0 个 Ticks，并用 0 提取所有元素壁虱，无论其类型如何。

考虑到这一点，我的方法是首先创建一个新列来计算任何父级的 object_a 刻度数。如果此数字 >0，则意味着至少存在 1 个 object_a，Ticks>0。

In [63]: df.groupby(['Parent Name']).apply(lambda x: x[x['Type'] == 'object_a']['Ticks'].sum())
Out[63]: 
Parent Name
3217863     2
4556421    34
dtype: int64

现在让我们将其合并到原始 DataFrame 中...

In [64]: sumATicks = df.groupby(['Parent Name']).apply(lambda x: x[x['Type'] == 'object_a']['Ticks'].sum())

In [65]: merged = df.merge(pd.DataFrame(sumATicks).rename(columns={0: 'nbATicks'}), left_on='Parent Name', right_index=True)

In [66]: merged
Out[66]: 
       Type  Parent Name  Ticks  nbATicks
0  object_a      4556421     34        34
1  object_a      4556421      0        34
2  object_b      4556421      0        34
3  object_a      3217863      2         2
4  object_b      3217863      1         2

...并根据我上面陈述的标准提取所有有趣的行:

In [67]: merged[(merged['nbATicks'] > 0) & (merged['Ticks'] == 0)]
Out[67]: 
       Type  Parent Name  Ticks  nbATicks
1  object_a      4556421      0        34
2  object_b      4556421      0        34

希望我没有忘记任何边缘案例...

关于 block 问题，为什么不直接将整个csv文件加载到内存中呢？如果它那么大，您可以在处理之前尝试按 ParentName 排序，并在相关位置拆分 block 。

关于python - 比使用大数据集申请更快的方式来完成这个 Pandas 工作？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/46003434/