我有几十个条件(例如，foo > bar)需要在 DataFrame 的 ~1 MM 行上进行评估，最简洁的方法编写此代码是为了将这些条件存储为字符串列表，并创建 bool 结果的 DataFrame(每条记录一行 x 每个条件一列)。 (用户输入不被评估。)

在寻求过早优化的过程中，我试图确定是否应该在 DataFrame 中编写这些评估条件(例如，df.eval("foo > bar") 或将其留给 Python，如 eval("df.foo > df.bar")

根据documentation on enhancing eval performance :

You should not use eval() for simple expressions or for expressions involving small DataFrames. In fact, eval() is many orders of magnitude slower for smaller expressions/objects than plain ol’ Python. A good rule of thumb is to only use eval() when you have a DataFrame with more than 10,000 rows.

如果能够使用 df.eval("foo > bar") 语法就好了，因为我的列表会更具可读性，但我找不到评估速度不慢的情况。该文档显示了 pandas.eval() 比 python eval() 更快的示例(这符合我的经验)但 DataFrame.eval()(列为“实验性”)。

例如，DataFrame.eval() 在大型 DataFrame 上的不简单表达式中仍然是一个明显的失败者:

import pandas as pd
import numpy as np
import numexpr
import timeit

someDf = pd.DataFrame({'a':np.random.uniform(size=int(1e6)), 'b':np.random.uniform(size=int(1e6))})

%timeit -n100 someDf.eval("a**b - a*b > b**a - b/a") # DataFrame.eval() on notional expression
%timeit -n100 eval("someDf['a']**someDf['b'] - someDf['a']*someDf['b'] > someDf['b']**someDf['a'] - someDf['b']/someDf['a']")
%timeit -n100 pd.eval("someDf.a**someDf.b - someDf.a*someDf.b > someDf.b**someDf.a - someDf.b/someDf.a")

100 loops, best of 3: 29.9 ms per loop
100 loops, best of 3: 18.7 ms per loop
100 loops, best of 3: 15.4 ms per loop

那么 DataFrame.eval() 的好处仅仅是简化输入，还是我们可以确定使用此方法实际上更快的情况？

对于何时使用 which eval() 是否有任何其他指南？ (我知道 pandas.eval() 不支持完整的操作集。)

pd.show_versions()

INSTALLED VERSIONS
------------------
commit: None
python: 3.5.1.final.0
python-bits: 64
OS: Windows
OS-release: 7
machine: AMD64
processor: Intel64 Family 6 Model 63 Stepping 2, GenuineIntel
byteorder: little
LC_ALL: None
LANG: en_US

pandas: 0.18.0
nose: 1.3.7
pip: 8.1.2
setuptools: 20.3
Cython: 0.23.4
numpy: 1.10.4
scipy: 0.17.0
statsmodels: None
xarray: None
IPython: 4.1.2
sphinx: 1.3.1
patsy: 0.4.0
dateutil: 2.5.3
pytz: 2016.2
blosc: None
bottleneck: 1.0.0
tables: 3.2.2
numexpr: 2.5
matplotlib: 1.5.1
openpyxl: 2.3.2
xlrd: 0.9.4
xlwt: 1.0.0
xlsxwriter: 0.8.4
lxml: 3.6.0
bs4: 4.4.1
html5lib: None
httplib2: None
apiclient: None
sqlalchemy: 1.0.12
pymysql: None
psycopg2: None
jinja2: 2.8
boto: 2.39.0

最佳答案

So is the benefit of DataFrame.eval() merely in simplifying the input, or can we identify circumstances where using this method is actually faster?

source code for DataFrame.eval() 表明它实际上只是创建要传递给 pd.eval() 的参数:

def eval(self, expr, inplace=None, **kwargs):

    inplace = validate_bool_kwarg(inplace, 'inplace')
    resolvers = kwargs.pop('resolvers', None)
    kwargs['level'] = kwargs.pop('level', 0) + 1
    if resolvers is None:
        index_resolvers = self._get_index_resolvers()
        resolvers = dict(self.iteritems()), index_resolvers
    if 'target' not in kwargs:
        kwargs['target'] = self
    kwargs['resolvers'] = kwargs.get('resolvers', ()) + tuple(resolvers)
    return _eval(expr, inplace=inplace, **kwargs)

其中 _eval() 只是在模块开头导入的 pd.eval() 的别名:

from pandas.core.computation.eval import eval as _eval

因此，您可以用 df.eval() 做的任何事情，您可以用 pd.eval() 做，还有一些额外的行来设置东西。按照目前的情况，df.eval() 绝对不会比 pd.eval() 快。但这并不意味着在某些情况下 df.eval() 与 pd.eval() 一样好，而且编写起来更方便。

但是，在使用了 %prun 魔法后，似乎 df.eval() 对 df._get_index_resolvers() 的调用> 为 df.eval() 方法增加了相当多的时间。最终，_get_index_resolvers() 最终调用了 numpy.ndarray 的 .copy() 方法，这最终导致速度变慢。同时，pd.eval() 确实在某些时候调用了 numpy.ndarray.copy()，但它花费的时间可以忽略不计(至少在我的机器上是这样)。

长话短说，df.eval() 似乎比 pd.eval() 慢，因为在引擎盖下它只是 pd。 eval() 带有额外的步骤，这些步骤非常重要。

关于python - 何时使用 DataFrame.eval() 与 pandas.eval() 或 Python eval()，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/38725355/