计量经济学背景

Fama Macbeth 回归是指对面板数据运行回归的过程(其中有 N 个不同的个体，每个个体对应多个时期 T，例如日、月、年)。所以总共有 N x T obs。请注意，如果面板数据不平衡也没关系。

Fama Macbeth 回归首先对每个时期进行跨部门回归，即在给定时期 t 将 N 个个体集中在一起。并为 t=1,...T 执行此操作。所以总共运行了 T 个回归。然后我们有每个自变量的系数时间序列。然后我们可以使用系数的时间序列进行假设检验。通常我们取平均值作为每个自变量的最终系数。我们使用 t-stats 来检验显着性。

我的问题

我的问题是在 pandas 中实现它。从 pandas 的源代码中，我注意到有一个名为 fama_macbeth 的过程。但我找不到任何关于此的文档。

同样可以通过groupby轻松完成操作。目前我正在这样做:

def fmreg(data,formula):
    return smf.ols(formula,data=data).fit().params[1]

res=df.groupby('date').apply(fmreg,'ret~var1')

这是有效的，res 是一个由 date 索引的 Series，Series 的值是 params[1]，这是var1 的系数。但是现在我想要更多的自变量，我需要提取所有这些自变量的系数，但我无法弄清楚。我试过了

def fmreg(data,formula):
    return smf.ols(formula,data=data).fit().params

res=df.groupby('date').apply(fmreg,'ret~var1+var2+var3')

这行不通。期望的结果是 res 是一个由 date 索引的数据帧，数据帧的每一列应该包含每个变量的系数 intercept, var1、var2 和var3。

我还检查了 statsmodels，他们也没有这样的内置程序。

是否有任何软件包可以生成出版质量的回归表？像 Stata 中的 outreg2 和 R 中的 texreg 吗？ 谢谢你的帮助!

最佳答案

反射(reflect)截至 2018 年秋季的 Fama-MacBeth 库情况的更新。fama_macbeth 函数已从 pandas 中删除一段时间。那么您有哪些选择？

1. 如果您使用的是 python 3，则可以在 LinearModels 中使用 Fama-MacBeth 方法:https://github.com/bashtage/linearmodels/blob/master/linearmodels/panel/model.py

2. 如果您使用的是 python 2 或者只是不想使用 LinearModels，那么您最好的选择可能是自己动手。

例如，假设您在面板中有 Fama-French 行业投资组合，如下所示(您还计算了一些变量，例如过去的 beta 或过去的返回，用作您的 x 变量):

In [1]: import pandas as pd
        import numpy as np
        import statsmodels.formula.api as smf

In [4]: df = pd.read_csv('industry.csv',parse_dates=['caldt'])
        df.query("caldt == '1995-07-01'")

In [5]: Out[5]: 
      industry      caldt    ret    beta  r12to2  r36to13
18432     Aero 1995-07-01   6.26  0.9696  0.2755   0.3466
18433    Agric 1995-07-01   3.37  1.0412  0.1260   0.0581
18434    Autos 1995-07-01   2.42  1.0274  0.0293   0.2902
18435    Banks 1995-07-01   4.82  1.4985  0.1659   0.2951

Fama-MacBeth 主要涉及按月计算相同的横截面回归模型，因此您可以使用 groupby 来实现它。您可以创建一个函数，该函数采用 dataframe(它将来自 groupby)和一个 patsy 公式；然后它适合模型并返回参数估计值。这是您如何实现它的准系统版本(请注意，这是最初的提问者几年前尝试做的......不知道为什么它不起作用，尽管当时可能 statsmodels结果对象方法 params 未返回 pandas Series 因此返回需要显式转换为 Series ...它在当前版本的 pandas, 0.23.4 中运行良好:

def ols_coef(x,formula):
    return smf.ols(formula,data=x).fit().params

In [9]: gamma = (df.groupby('caldt')
                .apply(ols_coef,'ret ~ 1 + beta + r12to2 + r36to13'))
        gamma.head()

In [10]: Out[10]: 
            Intercept      beta     r12to2   r36to13
caldt                                               
1963-07-01  -1.497012 -0.765721   4.379128 -1.918083
1963-08-01  11.144169 -6.506291   5.961584 -2.598048
1963-09-01  -2.330966 -0.741550  10.508617 -4.377293
1963-10-01   0.441941  1.127567   5.478114 -2.057173
1963-11-01   3.380485 -4.792643   3.660940 -1.210426

然后只需计算平均值、平均值的标准误差和 t 检验(或任何您想要的统计数据)。类似于以下内容:

def fm_summary(p):
    s = p.describe().T
    s['std_error'] = s['std']/np.sqrt(s['count'])
    s['tstat'] = s['mean']/s['std_error']
    return s[['mean','std_error','tstat']]

In [12]: fm_summary(gamma)
Out[12]: 
               mean  std_error     tstat
Intercept  0.754904   0.177291  4.258000
beta      -0.012176   0.202629 -0.060092
r12to2     1.794548   0.356069  5.039896
r36to13    0.237873   0.186680  1.274230

提高速度

使用 statsmodels 进行回归有很大的开销(特别是考虑到您只需要估计的系数)。如果你想要更高的效率，那么你可以从 statsmodels 切换到 numpy.linalg.lstsq。编写一个执行 ols 估计的新函数......类似于以下内容(注意我没有做任何检查这些矩阵的等级......):

def ols_np(data,yvar,xvar):
    gamma,_,_,_ = np.linalg.lstsq(data[xvar],data[yvar],rcond=None)
    return pd.Series(gamma)

如果您仍在使用旧版本的 pandas，以下方法将有效:

下面是一个在pandas中使用fama_macbeth函数的例子:

>>> df

                y    x
date       id
2012-01-01 1   0.1  0.4
           2   0.3  0.6
           3   0.4  0.2
           4   0.0  1.2
2012-02-01 1   0.2  0.7
           2   0.4  0.5
           3   0.2  0.1
           4   0.1  0.0
2012-03-01 1   0.4  0.8
           2   0.6  0.1
           3   0.7  0.6
           4   0.4 -0.1

注意，结构。 fama_macbeth 函数期望 y-var 和 x-var 具有多索引，其中日期作为第一个变量，股票/公司/实体 ID 作为索引中的第二个变量:

>>> fm  = pd.fama_macbeth(y=df['y'],x=df[['x']])
>>> fm


----------------------Summary of Fama-MacBeth Analysis-------------------------

Formula: Y ~ x + intercept
# betas :   3

----------------------Summary of Estimated Coefficients------------------------
     Variable          Beta       Std Err        t-stat       CI 2.5%      CI 97.5%
          (x)       -0.0227        0.1276         -0.18       -0.2728        0.2273
  (intercept)        0.3531        0.0842          4.19        0.1881        0.5181

--------------------------------End of Summary---------------------------------

请注意，仅打印 fm 调用 fm.summary

>>> fm.summary

----------------------Summary of Fama-MacBeth Analysis-------------------------

Formula: Y ~ x + intercept
# betas :   3

----------------------Summary of Estimated Coefficients------------------------
     Variable          Beta       Std Err        t-stat       CI 2.5%      CI 97.5%
          (x)       -0.0227        0.1276         -0.18       -0.2728        0.2273
  (intercept)        0.3531        0.0842          4.19        0.1881        0.5181

--------------------------------End of Summary---------------------------------

另外，请注意 fama_macbeth 函数会自动添加拦截(与 statsmodels 例程相反)。此外，x-var 必须是 dataframe，因此如果您只传递一列，则需要将其作为 df[['x']] 传递。

如果你不想拦截你必须做的:

>>> fm  = pd.fama_macbeth(y=df['y'],x=df[['x']],intercept=False)

关于python - Python 中的 Fama Macbeth 回归(Pandas 或 Statsmodels)，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/24074481/