草庐IT

Elasticsearch实战 | 怎么通过Elasticsearch实现模糊查询?

应急冥灯 2024-04-21 原文

Elasticsearch实战 | 怎么通过Elasticsearch实现模糊查询?

1、问题分析

首先这里所说的模糊查询是指类似mysql的like关键字左右模糊的查询过滤。
举个栗子:搜索 社保登记 ,能匹配出 我要社保登记查询 ,不能匹配出 社保缴纳登记”
然后啰嗦下Elasticsearch是一个全文检索引擎,我们通常应用它来进行文本的分词匹配过滤。也就是说通常我们不会用Elasticsearch来做这种模糊查询,这种比起全文检索属于更精准的查询。
当然,Elasticsearch也是支持模糊查询的。它有两种思路来实现,一种是使用wildcard查询,一种是使用短语查询(match_phrase,match_phrase_prefix)。然而wildcard查询官方建议是尽量避免使用,因为有性能问题。
所以我们下面描述使用短语查询的实现方式,顺便比较下match_phrase 和match_phrase_prefix的异同。

2、match_phrase

查询规则描述
目标文本包含检索短语的所有能分出的分词
目标文本和检索短语里的分词出现顺序完全一致,且中间不夹杂其他分词
举个栗子:
检索短语:电信业务经营
目标文本1:电信业务经营发生场所
目标文本2:电信业务经营者

假设目标字段为title,其定义为

"title" : {
   "type" : "text",
   "analyzer" : "ik_smart"
}

使用match_phrase进行如下查询发现能成功匹配到目标文本1(下面的语句省略了索引名),看起来已经实现了模糊查询

GET /_search
{
  "query": {"match_phrase": {
    "title": "电信经营业务"
  }}
}

但是我们会惊讶的发现它没有匹配到目标文本2,这显然不符合我们一般的预期。为什么呢?下面我们来分析下原因
使用ik_smart分词器对检索短语分词

GET _analyze
{
  "analyzer": "ik_smart",
  "text": ["电信业务经营"]
}

分词结果为:

{
  "tokens" : [
    {
      "token" : "电信业务",
      "start_offset" : 0,
      "end_offset" : 4,
      "type" : "CN_WORD",
      "position" : 0
    },
    {
      "token" : "经营",
      "start_offset" : 4,
      "end_offset" : 6,
      "type" : "CN_WORD",
      "position" : 1
    }
  ]
}

接着使用ik_smart分词器分别对目标文本1和目标文本2进行分析
目标文本1分词结果:

{
  "tokens" : [
    {
      "token" : "电信业务",
      "start_offset" : 0,
      "end_offset" : 4,
      "type" : "CN_WORD",
      "position" : 0
    },
    {
      "token" : "经营",
      "start_offset" : 4,
      "end_offset" : 6,
      "type" : "CN_WORD",
      "position" : 1
    },
    {
      "token" : "发生",
      "start_offset" : 6,
      "end_offset" : 8,
      "type" : "CN_WORD",
      "position" : 2
    },
    {
      "token" : "场所",
      "start_offset" : 8,
      "end_offset" : 10,
      "type" : "CN_WORD",
      "position" : 3
    }
  ]
}

目标文本2分词结果为:

{
  "tokens" : [
    {
      "token" : "电信业务",
      "start_offset" : 0,
      "end_offset" : 4,
      "type" : "CN_WORD",
      "position" : 0
    },
    {
      "token" : "经营者",
      "start_offset" : 4,
      "end_offset" : 7,
      "type" : "CN_WORD",
      "position" : 1
    }
  ]
}

我们比对检索短语和目标文本的分词结果。发现目标文本1分出的词完全包含检索短语的词,且顺序一致,中间没有其他词。但文本2没有分出经营,而是有一个分词经营者,这里显然是不符合match_phrase的过滤规则,没有包含“经营“这个分词。所以目标文本2没有被匹配出来。
那是不是因为这里的分词器是ik_smart分的太粗了呢?我们试下使用ik_max_word分词看下分词结果。
检索短语ik_max_word分词结果:

{
  "tokens" : [
    {
      "token" : "电信业务",
      "start_offset" : 0,
      "end_offset" : 4,
      "type" : "CN_WORD",
      "position" : 0
    },
    {
      "token" : "电信业",
      "start_offset" : 0,
      "end_offset" : 3,
      "type" : "CN_WORD",
      "position" : 1
    },
    {
      "token" : "电信",
      "start_offset" : 0,
      "end_offset" : 2,
      "type" : "CN_WORD",
      "position" : 2
    },
    {
      "token" : "业务",
      "start_offset" : 2,
      "end_offset" : 4,
      "type" : "CN_WORD",
      "position" : 3
    },
    {
      "token" : "经营",
      "start_offset" : 4,
      "end_offset" : 6,
      "type" : "CN_WORD",
      "position" : 4
    }
  ]
}

目标文本2的ik_max_word分词结果为:

{
  "tokens" : [
    {
      "token" : "电信业务",
      "start_offset" : 0,
      "end_offset" : 4,
      "type" : "CN_WORD",
      "position" : 0
    },
    {
      "token" : "电信业",
      "start_offset" : 0,
      "end_offset" : 3,
      "type" : "CN_WORD",
      "position" : 1
    },
    {
      "token" : "电信",
      "start_offset" : 0,
      "end_offset" : 2,
      "type" : "CN_WORD",
      "position" : 2
    },
    {
      "token" : "业务",
      "start_offset" : 2,
      "end_offset" : 4,
      "type" : "CN_WORD",
      "position" : 3
    },
    {
      "token" : "经营者",
      "start_offset" : 4,
      "end_offset" : 7,
      "type" : "CN_WORD",
      "position" : 4
    },
    {
      "token" : "经营",
      "start_offset" : 4,
      "end_offset" : 6,
      "type" : "CN_WORD",
      "position" : 5
    }
  ]
}

如上所见,这下目标文本2分出的词已经完成包含检索短语分出的词了。但是查询结果仍然是匹配不到的,问题出在中间夹杂了其他词。

我们再近距离对比下:
电信业务营业:电信业务 电信业 电信 业务 经营
电信业务营业者:电信业务 电信业 电信 业务 经营者 经营

是的,业务和经营中间出现了一个“经营者”。这还是不符合match_phrase的过滤规则。那如果我们就是想要匹配到目标文本2应该怎么办呢?那就可以试试使用match_phrase_prefix

3、match_phrase_prefix

直观来看,match_phrase_prefix多了个prefix。这个prefix是指可以用最后一个分词作为前缀去匹配,其他的规则和match_phrase一样。还是用上面的例子,检索短语“电信业务营业”使用ik_smart分词的最后一个分词是"营业"。对最后一个分词作为前缀匹配,那就是形如“经营*”的匹配方式,那其实就能匹配到目标文本2中多出来的那个“经营者”。
可以使用如下查询验证(下面的语句省略了索引名):

GET /_search
{
  "query": {
  "match_phrase_prefix": {
    "title": {
      "query": "电信业务营业",
      "max_expansions": 50
    }
  }}
}

max_expansions是指能模糊匹配的位数,数值设置的越大能模糊匹配到的位数越大。官方建议是50。到这里,我们就已经实现了模糊匹配了。

4、小结

要实现类似mysql的like查询,可以使用match_phrase_prefix实现。
match_phrase相较match_phrase_prefix更严格,可能出现有些我们人眼看觉得应该匹配的匹配不到。

有关Elasticsearch实战 | 怎么通过Elasticsearch实现模糊查询?的更多相关文章

  1. ruby - ECONNRESET (Whois::ConnectionError) - 尝试在 Ruby 中查询 Whois 时出错 - 2

    我正在用Ruby编写一个简单的程序来检查域列表是否被占用。基本上它循环遍历列表,并使用以下函数进行检查。require'rubygems'require'whois'defcheck_domain(domain)c=Whois::Client.newc.query("google.com").available?end程序不断出错(即使我在google.com中进行硬编码),并打印以下消息。鉴于该程序非常简单,我已经没有什么想法了-有什么建议吗?/Library/Ruby/Gems/1.8/gems/whois-2.0.2/lib/whois/server/adapters/base.

  2. ruby - 通过 rvm 升级 ruby​​gems 的问题 - 2

    尝试通过RVM将RubyGems升级到版本1.8.10并出现此错误:$rvmrubygemslatestRemovingoldRubygemsfiles...Installingrubygems-1.8.10forruby-1.9.2-p180...ERROR:Errorrunning'GEM_PATH="/Users/foo/.rvm/gems/ruby-1.9.2-p180:/Users/foo/.rvm/gems/ruby-1.9.2-p180@global:/Users/foo/.rvm/gems/ruby-1.9.2-p180:/Users/foo/.rvm/gems/rub

  3. ruby - 通过 erb 模板输出 ruby​​ 数组 - 2

    我正在使用puppet为ruby​​程序提供一组常量。我需要提供一组主机名,我的程序将对其进行迭代。在我之前使用的bash脚本中,我只是将它作为一个puppet变量hosts=>"host1,host2"我将其提供给bash脚本作为HOSTS=显然这对ruby​​不太适用——我需要它的格式hosts=["host1","host2"]自从phosts和putsmy_array.inspect提供输出["host1","host2"]我希望使用其中之一。不幸的是,我终其一生都无法弄清楚如何让它发挥作用。我尝试了以下各项:我发现某处他们指出我需要在函数调用前放置“function_”……这

  4. ruby - 通过 ruby​​ 进程共享变量 - 2

    我正在编写一个gem,我必须在其中fork两个启动两个webrick服务器的进程。我想通过基类的类方法启动这个服务器,因为应该只有这两个服务器在运行,而不是多个。在运行时,我想调用这两个服务器上的一些方法来更改变量。我的问题是,我无法通过基类的类方法访问fork的实例变量。此外,我不能在我的基类中使用线程,因为在幕后我正在使用另一个不是线程安全的库。所以我必须将每个服务器派生到它自己的进程。我用类变量试过了,比如@@server。但是当我试图通过基类访问这个变量时,它是nil。我读到在Ruby中不可能在分支之间共享类变量,对吗?那么,还有其他解决办法吗?我考虑过使用单例,但我不确定这是

  5. ruby - 通过 RVM (OSX Mountain Lion) 安装 Ruby 2.0.0-p247 时遇到问题 - 2

    我的最终目标是安装当前版本的RubyonRails。我在OSXMountainLion上运行。到目前为止,这是我的过程:已安装的RVM$\curl-Lhttps://get.rvm.io|bash-sstable检查已知(我假设已批准)安装$rvmlistknown我看到当前的稳定版本可用[ruby-]2.0.0[-p247]输入命令安装$rvminstall2.0.0-p247注意:我也试过这些安装命令$rvminstallruby-2.0.0-p247$rvminstallruby=2.0.0-p247我很快就无处可去了。结果:$rvminstall2.0.0-p247Search

  6. ruby-on-rails - Enumerator.new 如何处理已通过的 block ? - 2

    我在理解Enumerator.new方法的工作原理时遇到了一些困难。假设文档中的示例:fib=Enumerator.newdo|y|a=b=1loopdoy[1,1,2,3,5,8,13,21,34,55]循环中断条件在哪里,它如何知道循环应该迭代多少次(因为它没有任何明确的中断条件并且看起来像无限循环)? 最佳答案 Enumerator使用Fibers在内部。您的示例等效于:require'fiber'fiber=Fiber.newdoa=b=1loopdoFiber.yieldaa,b=b,a+bendend10.times.m

  7. ruby - 如何根据特征实现 FactoryGirl 的条件行为 - 2

    我有一个用户工厂。我希望默认情况下确认用户。但是鉴于unconfirmed特征,我不希望它们被确认。虽然我有一个基于实现细节而不是抽象的工作实现,但我想知道如何正确地做到这一点。factory:userdoafter(:create)do|user,evaluator|#unwantedimplementationdetailshereunlessFactoryGirl.factories[:user].defined_traits.map(&:name).include?(:unconfirmed)user.confirm!endendtrait:unconfirmeddoenden

  8. ruby-on-rails - 在 Rails 和 ActiveRecord 中查询时忽略某些字段 - 2

    我知道我可以指定某些字段来使用pluck查询数据库。ids=Item.where('due_at但是我想知道,是否有一种方法可以指定我想避免从数据库查询的某些字段。某种反拔?posts=Post.where(published:true).do_not_lookup(:enormous_field) 最佳答案 Model#attribute_names应该返回列/属性数组。您可以排除其中一些并传递给pluck或select方法。像这样:posts=Post.where(published:true).select(Post.attr

  9. ruby - 寻找通过阅读代码确定编程语言的ruby gem? - 2

    几个月前,我读了一篇关于ruby​​gem的博客文章,它可以通过阅读代码本身来确定编程语言。对于我的生活,我不记得博客或gem的名称。谷歌搜索“ruby编程语言猜测”及其变体也无济于事。有人碰巧知道相关gem的名称吗? 最佳答案 是这个吗:http://github.com/chrislo/sourceclassifier/tree/master 关于ruby-寻找通过阅读代码确定编程语言的rubygem?,我们在StackOverflow上找到一个类似的问题:

  10. 通过 MacPorts 的 RubyGems 是个好主意吗? - 2

    从MB升级到新的MBP后,Apple的迁移助手没有移动我的gem。我这次是通过macports安装ruby​​gems,希望在下次升级时避免这种情况。有什么我应该注意的陷阱吗? 最佳答案 如果你想把你的gems安装在你的主目录中(在传输过程中应该复制过来,作为一个附带的好处,会让你以你自己的身份运行geminstall,而不是root),将gemhome:键设置为您在~/.gemrc中的主目录中的路径. 关于通过MacPorts的RubyGems是个好主意吗?,我们在StackOverf

随机推荐