我有一个 Pandas DataFrame以下形式

每年(2008 年 - 2015 年)每个 ID 一行。对于 Max Temp、Min Temp 和 Rain 列，每个单元格都包含一个值数组，对应于当年的某一天，即上面的框架

• frame3.iloc[0]['Max Temp'][0] 是 2011 年 1 月 1 日的值
• frame3.iloc[0]['Max Temp'][364] 是 2011 年 12 月 31 日的值。

我知道这是错误的结构，但这是我必须处理的数据。它以这种方式存储在 MongoDB 中(其中这些行之一相当于 Mongo 中的文档)。

我想拆分这些嵌套数组，这样我就不会每年每个 ID 一行，而是每天每个 ID 一行。但是，在拆分数组时，我还想根据当前数组索引创建一个新列来捕获一年中的某一天。然后我将使用这一天加上 Year 列来创建 DatetimeIndex

我在这里搜索相关答案，但只找到this one这并没有真正帮助我。

最佳答案

您可以为每个列运行.apply(pd.Series)，然后堆栈并连接结果。

对于一个系列

s = pd.Series([[0, 1], [2, 3, 4]], index=[2011, 2012])

s
Out[103]: 
2011       [0, 1]
2012    [2, 3, 4]
dtype: object

它的工作原理如下

s.apply(pd.Series).stack()
Out[104]: 
2011  0    0.0
      1    1.0
2012  0    2.0
      1    3.0
      2    4.0
dtype: float64

系列元素的长度不同(这很重要，因为 2012 年是闰年)。中间系列，即 stack 之前，有一个 NaN 值，后来被删除。

现在，让我们来一个框架:

a = list(range(14))
b = list(range(20, 34))

df = pd.DataFrame({'ID': [11111, 11111, 11112, 11112],
                   'Year': [2011, 2012, 2011, 2012],
                   'A': [a[:3], a[3:7], a[7:10], a[10:14]],
                   'B': [b[:3], b[3:7], b[7:10], b[10:14]]})

df
Out[108]: 
                  A                 B     ID  Year
0         [0, 1, 2]      [20, 21, 22]  11111  2011
1      [3, 4, 5, 6]  [23, 24, 25, 26]  11111  2012
2         [7, 8, 9]      [27, 28, 29]  11112  2011
3  [10, 11, 12, 13]  [30, 31, 32, 33]  11112  2012

然后我们可以运行:

# set an index (each column will inherit it)
df2 = df.set_index(['ID', 'Year'])
# the trick
unnested_lst = []
for col in df2.columns:
    unnested_lst.append(df2[col].apply(pd.Series).stack())
result = pd.concat(unnested_lst, axis=1, keys=df2.columns)

并得到:

result
Out[115]: 
                 A     B
ID    Year              
11111 2011 0   0.0  20.0
           1   1.0  21.0
           2   2.0  22.0
      2012 0   3.0  23.0
           1   4.0  24.0
           2   5.0  25.0
           3   6.0  26.0
11112 2011 0   7.0  27.0
           1   8.0  28.0
           2   9.0  29.0
      2012 0  10.0  30.0
           1  11.0  31.0
           2  12.0  32.0
           3  13.0  33.0

其余的(日期时间索引)更不直接。例如:

# DatetimeIndex
years = pd.to_datetime(result.index.get_level_values(1).astype(str))
# TimedeltaIndex
days = pd.to_timedelta(result.index.get_level_values(2), unit='D')
# If the above line doesn't work (a bug in pandas), try this:
# days = result.index.get_level_values(2).astype('timedelta64[D]')

# the sum is again a DatetimeIndex
dates = years + days
dates.name = 'Date'

new_index = pd.MultiIndex.from_arrays([result.index.get_level_values(0), dates])

result.index = new_index

result
Out[130]: 
                     A     B
ID    Date                  
11111 2011-01-01   0.0  20.0
      2011-01-02   1.0  21.0
      2011-01-03   2.0  22.0
      2012-01-01   3.0  23.0
      2012-01-02   4.0  24.0
      2012-01-03   5.0  25.0
      2012-01-04   6.0  26.0
11112 2011-01-01   7.0  27.0
      2011-01-02   8.0  28.0
      2011-01-03   9.0  29.0
      2012-01-01  10.0  30.0
      2012-01-02  11.0  31.0
      2012-01-03  12.0  32.0
      2012-01-04  13.0  33.0

关于python - 将 Pandas Dataframe 单元格中的嵌套数组值拆分为多行，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/38372016/