我正在尝试大致复制 dplyr使用 Python/Pandas 从 R 中打包(作为学习练习)。我坚持的是“管道”功能。

在 R/dplyr 中，这是使用管道运算符 %>% 完成的，其中 x %>% f(y) 等价于 f (x, y)。如果可能，我想使用中缀语法来复制它(参见 here)。

为了说明，考虑下面的两个函数。

import pandas as pd

def select(df, *args):
    cols = [x for x in args]
    df = df[cols]
    return df

def rename(df, **kwargs):
    for name, value in kwargs.items():
        df = df.rename(columns={'%s' % name: '%s' % value})
    return df

第一个函数接受一个数据框并只返回给定的列。第二个采用数据框，并重命名给定的列。例如:

d = {'one' : [1., 2., 3., 4., 4.],
     'two' : [4., 3., 2., 1., 3.]}

df = pd.DataFrame(d)

# Keep only the 'one' column.
df = select(df, 'one')

# Rename the 'one' column to 'new_one'.
df = rename(df, one = 'new_one')

要使用管道/中缀语法实现相同的效果，代码如下:

df = df | select('one') \
        | rename(one = 'new_one')

所以 | 左侧的输出作为第一个参数传递给右侧的函数。每当我看到这样的事情(例如 here )时，它都会涉及到 lambda 函数。是否可以以相同的方式在函数之间传递 Pandas 的数据帧？

我知道 Pandas 有 .pipe 方法，但对我来说重要的是我提供的示例的语法。任何帮助，将不胜感激。

最佳答案

使用按位 or 运算符很难实现这一点，因为 pandas.DataFrame 实现了它。如果你不介意用 >> 替换 |，你可以试试这个:

import pandas as pd

def select(df, *args):
    cols = [x for x in args]
    return df[cols]


def rename(df, **kwargs):
    for name, value in kwargs.items():
        df = df.rename(columns={'%s' % name: '%s' % value})
    return df


class SinkInto(object):
    def __init__(self, function, *args, **kwargs):
        self.args = args
        self.kwargs = kwargs
        self.function = function

    def __rrshift__(self, other):
        return self.function(other, *self.args, **self.kwargs)

    def __repr__(self):
        return "<SinkInto {} args={} kwargs={}>".format(
            self.function, 
            self.args, 
            self.kwargs
        )

df = pd.DataFrame({'one' : [1., 2., 3., 4., 4.],
                   'two' : [4., 3., 2., 1., 3.]})

那么你可以这样做:

>>> df
   one  two
0    1    4
1    2    3
2    3    2
3    4    1
4    4    3

>>> df = df >> SinkInto(select, 'one') \
            >> SinkInto(rename, one='new_one')
>>> df
   new_one
0        1
1        2
2        3
3        4
4        4

在 Python 3 中你可以滥用 unicode:

>>> print('\u01c1')
ǁ
>>> ǁ = SinkInto
>>> df >> ǁ(select, 'one') >> ǁ(rename, one='new_one')
   new_one
0        1
1        2
2        3
3        4
4        4

[更新]

Thanks for your response. Would it be possible to make a separate class (like SinkInto) for each function to avoid having to pass the functions as an argument?

装饰器怎么样？

def pipe(original):
    class PipeInto(object):
        data = {'function': original}

        def __init__(self, *args, **kwargs):
            self.data['args'] = args
            self.data['kwargs'] = kwargs

        def __rrshift__(self, other):
            return self.data['function'](
                other, 
                *self.data['args'], 
                **self.data['kwargs']
            )

    return PipeInto


@pipe
def select(df, *args):
    cols = [x for x in args]
    return df[cols]


@pipe
def rename(df, **kwargs):
    for name, value in kwargs.items():
        df = df.rename(columns={'%s' % name: '%s' % value})
    return df

现在你可以装饰任何以 DataFrame 作为第一个参数的函数:

>>> df >> select('one') >> rename(one='first')
   first
0      1
1      2
2      3
3      4
4      4

Python 太棒了!

我知道像 Ruby 这样的语言“表达能力很强”，它鼓励人们将每个程序都编写为新的 DSL，但这在 Python 中有点不受欢迎。许多 Python 专家认为，出于不同目的而重载运算符是一种有罪的亵渎。

[更新]

用户 OHLÁLÁ 没有留下深刻印象:

The problem with this solution is when you are trying to call the function instead of piping. – OHLÁLÁ

可以实现dunder-call方法:

def __call__(self, df):
    return df >> self

然后:

>>> select('one')(df)
   one
0  1.0
1  2.0
2  3.0
3  4.0
4  4.0

看来讨好OHLÁLÁ并不容易:

In that case you need to call the object explicitly:
select('one')(df) Is there a way to avoid that? – OHLÁLÁ

好吧，我可以想到一个解决方案，但有一点需要注意:您的原始函数不得采用作为 pandas 数据框的第二个位置参数(关键字参数可以)。让我们在 docorator 中的 PipeInto 类中添加一个 __new__ 方法，以测试第一个参数是否是数据帧，如果是，那么我们只需使用参数调用原始函数:

def __new__(cls, *args, **kwargs):
    if args and isinstance(args[0], pd.DataFrame):
        return cls.data['function'](*args, **kwargs)
    return super().__new__(cls)

它似乎有效，但可能有一些我无法发现的缺点。

>>> select(df, 'one')
   one
0  1.0
1  2.0
2  3.0
3  4.0
4  4.0

>>> df >> select('one')
   one
0  1.0
1  2.0
2  3.0
3  4.0
4  4.0

关于python - "Piping"使用 Python 中缀语法从一个函数输出到另一个函数，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/33658355/