我有 2 个数据帧:一个 (A) 带有正则表达式形式的一些白名单主机名(即 (.*)microsoft.com、(*.) go.microsoft.com...) 和另一个 (B) 具有站点的实际完整主机名。我想用白名单(第一个)数据框的正则表达式文本向第二个数据框添加一个新列。但是，Pandas 的 .replace() 方法似乎并不关心其 to_replace 和 value 参数的订单项。

我的数据是这样的:

In [1] A
Out[1]: 
                                  wildcards  \
42   (.*)activation.playready.microsoft.com   
35    (.*)v10.vortex-win.data.microsoft.com   
40      (.*)settings-win.data.microsoft.com   
43            (.*)smartscreen.microsoft.com   
39             (.*).playready.microsoft.com   
38                     (.*)go.microsoft.com   
240                     (.*)i.microsoft.com   
238                       (.*)microsoft.com   
                                                 regex  
42   re.compile('^(.*)activation.playready.microsof...  
35   re.compile('^(.*)v10.vortex-win.data.microsoft...  
40   re.compile('^(.*)settings-win.data.microsoft.c...  
43       re.compile('^(.*)smartscreen.microsoft.com$')  
39        re.compile('^(.*).playready.microsoft.com$')  
38                re.compile('^(.*)go.microsoft.com$')  
240                re.compile('^(.*)i.microsoft.com$')  
238                  re.compile('^(.*)microsoft.com$')  


In [2] B.head()
Out[2]: 
                       server_hostname
146     mobile.pipe.aria.microsoft.com
205    settings-win.data.microsoft.com
341      nav.smartscreen.microsoft.com
406  v10.vortex-win.data.microsoft.com
667                  www.microsoft.com

请注意，A 有一列已编译的正则表达式，其形式与 wildcards 列类似。我想像这样向 B 添加一个 wildcard 列:

B.loc[:,'wildcards'] = B['server_hostname'].replace(A['regex'].tolist(), A['wildcards'].tolist())

但问题是，B 的所有通配符值都变成了(.*)microsoft.com。无论 A 的通配符值的顺序如何，都会发生这种情况。看来 .replace() 的目标是首先按最短值而不是提供的顺序使用 to_replace 正则表达式。

我怎样才能提供一个to_replace值的列表，以便我最终得到与B的server_hostname 值？

最佳答案

大多数答案都使用 apply()，它比内置的向量函数解决方案慢。我希望使用 .replace() 是因为它是一个内置的向量函数，所以速度会很快。 @vlemaistre 的答案是唯一一个不使用 .apply() 的答案，就像我在这里的解决方案一样，它不是将每个通配符编译成正则表达式，而是将其视为右侧子字符串以使用逻辑: “如果 server_hostname 以 wildcard 结尾，则匹配”。只要我按长度对通配符进行排序，它就可以正常工作。

我的功能是:

def match_to_whitelist(accepts_df, whitelist_df):
    """ Adds `whitelists` column to accepts_df showing which (if any) whitelist entry it matches with """
    accepts_df.loc[:, 'wildcards'] = None
    for wildcard in whitelist_df['wildcards']:
        accepts_df.loc[(accepts_df['wildcards'].isnull()) & (
            accepts_df['server_hostname'].str.endswith(wildcard)), 'wildcards'] = wildcard
    rows_matched = len(accepts_df['wildcards'].notnull())
matched {rows_matched}")
    return accepts_df

这里，accepts_df就像之前的B，而whitelist_df就像之前的A，但是有2区别:

1. 没有 regex 列
2. 通配符 值不再采用 glob/regex 格式(即“(.*)microsoft.com”变为“microsoft.com”

为了在我的机器上对答案进行基准测试，我将使用我的机器作为基准，用 27 秒处理 100k accepts_df 行和 400 whitelist_df 行。使用相同的数据集，这里是其他解决方案的时间(我很懒:如果他们没有跑出大门，我没有调试太多来找出答案):

• @vlemaistre - 使用向量函数的列表理解:193 秒
• @user214 - SequenceMatcher:234sec
• @aws_apprentice - 比较 RE 搜索结果长度:24 秒
• @fpersyn - 第一场比赛(如果 A 已排序，将是最佳比赛):超过 6 分钟，所以退出...
• @Andy Hayden - lastgroup:没有进行测试，因为我无法(快速)以编程方式构建长 RE。
• @capelastegui - Series.str.match():错误:“pandas.core.indexes.base.InvalidIndexError:重新索引仅对具有唯一值的索引对象有效”

最终，我们的答案都没有说明如何根据需要使用 .replace()，所以暂时，我会在几周内不回答这个问题，以防有人能提供答案更好地使用 .replace()，或者至少使用其他一些基于矢量的快速解决方案。在那之前，我会保留现有的，或者在验证结果后使用 aws_apprentice。

编辑 我通过向两个 DF 添加一个“域”列来改进我的匹配器，它由每个通配符/server_hostname 的最后两部分组成(即 www.microsoft.com 变成“microsoft.com”)。然后，我在两个 DF 上使用 groupby('domain')，遍历域的白名单组，从 server_hostname DF (B) 中获取相同的域组，并仅使用以下子集进行匹配每个组的通配符/server_hostnames。这将我的处理时间缩短了一半。

关于python - 如何在遵守列表顺序的同时将 pandas .replace() 与正则表达式列表一起使用？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/55961770/