目录
DSL Query基本语法

查询成功

DSL Query的分类
Elasticsearch提供了基于JSON的DSL(Domain Specific Language)来定义查询。常见的查询类型包括一下几部分:
查询所有:查询出所有数据,一般测试用。例如:
● match_all
全文检索(full text)查询:利用分词器对用户输入内容分词,然后去倒排索引库中匹配。例如:
● match_query
● multi_match_query
精确查询:根据精确词条值查找数据,一般是查找keyword、数值、日期、boolean等类型字段。例如:
● ids
● range (根据数值范围做查询)
● term (按精确值查询)
地理(geo)查询:根据经纬度查询。例如:
● geo_distance
● geo_bounding_box
复合(compound)查询:复合查询可以将上述各种查询条件组合起来,合并查询条件。例如:
● bool (组合起来利用逻辑运算查询)
● function_score
全文检索查询,会对用户输入内容分词,常用于搜索框搜索

1、match查询:全文检索查询的一种,会对用户输入内容分词,然后去倒排索引库检索,语法:
# match查询
GET /indexName/_search
{
"query": {
"match": {
"FIELD": "TEXT" # 字段
}
}
}
2、multi_match查询:与match查询类似,只不过允许同时查询多个字段,语法:
# multi_match查询
GET /indexName/_search
{
"query": {
"multi_match": {
"query": "",
"fields": []
}
}
}
match和multi_match的区别是什么?
match:根据一个字段查询
multi_match:根据多个字段查询,参与查询字段越多,查询性能越差
【可利用copy_to将多个字段转到一个字段中】
精确查询一般是查找keyword、数值、日期、boolean等类型字段。所以不会对搜索条件分词。常见的有:
1、term查询::根据词条精确值查询
# term查询
GET /indexName/_search
{
"query": {
"term": {
"FIELD": {
"value": "VALUE"
}
}
}
}
2、range查询:根据值的范围查询(可以是数值、日期的范围)
# range查询
GET /indexName/_search
{
"query": {
"range": {
"FIELD": {
"gte": 10, # 大于等于 【gt————>大于】
"lte": 20 # 小于等于 【lt————>小于】
}
}
}
}
ES中实现地理查询方式由很多种。(根据经纬度查询) 常见的使用场景包括:
携程:搜索我附近的酒店
滴滴:搜索我附近的出租车
微信:搜索我附近的人
geo_bounding_box:查询geo_point值落在某个矩形范围的所有文档

# geo_bounding_box查询
GET /indexName/_search
{
"query": {
"geo_bounding_box":{
"FIELD":{
"top_left":{
"lat":31.1,
"lon":"121.5"
},
"bottom_right":{
"lat":"30.9",
"lon":121.7
}
}
}
}
}
geo_distance:查询到指定中心点小于某个距离值的所有文档

# geo_distance查询
GET /indexName/_search
{
"query": {
"geo_distance":{
"distance":"15km", # 半径
"FIELD":"13.14,21.5" # 中心点
}
}
}
复合(compound)查询可以将其它简单查询组合起来,实现更复杂的搜索逻辑。
相关性算分
当我们利用match查询时,文档结果会根据与搜索词条的关联度打分(_score),返回结果时按照分值降序排列。
elasticsearch中的相关性打分算法
● TF-IDF:在elasticsearch5.0之前,会随着词频增加而越来越大
● BM25:在elasticsearch5.0之后,会随着词频增加而增大,但增长曲线会趋于水平

fuction score query:算分函数查询,可以控制文档相关性算分,根据新的到的算分排序进而控制文档排名,例如百度竞价。

案例:将 “如家” 这个品牌的酒店排名靠前些
1、哪些文档需要算分加权?
——√ 品牌为如家的酒店
2、算分函数是什么?
——√ weight就可以
——3、加权模式是什么?
√ 求和
GET /hotel/——search
{
"query":{
"function_score": {
"query": {//...}, // 原始查询
"functions": [ // 算分函数
{
"filter":{ // 满足的条件,品牌必须是如家
"term":{
"brand":"如家"
}
},
"weight": 2 // 算分权重为2
}
],
"boost_mode": "sum"
}
}
}
function score query定义的三要素
● 过滤条件:哪些文档要加分
● 算分函数:如何计算function score
● 加权方式:function score 与 query score如何运算
布尔查询是一个或多个查询子句的组合。子查询的组合方式有:
must:必须匹配每个子查询,类似“与”
should:选择性匹配子查询,类似“或”
must_not:必须不匹配,不参与算分,类似“非”
filter:必须匹配,不参与算分
GET /hotel/_search
{
"query": {
"bool": {
"must": [
{"term": {"city": "上海"}}
],
"should": [
{"term": {"brand": "7天酒店"}},
{"term": {"city": "速8"}}
],
"must_not": [
{"range": {"price": {"lte": 500 }}}
],
"filter": [
{"range": {"score": {"gte": 45}}}
]
}
}
}
案例:利用bool查询实现功能
需求:搜索名字包含“如家”,价格不高于400,在坐标31.21,121.5周围10km范围内的酒店。
GET /hotel/_search
{
"query": {
"bool": {
"must": [
{"match": {"name": "如家"}}
],
"must_not": [
{"range": {"price": {"gt": 400 }}}
],
"filter": [
{
"geo_distance":{
"distance":"10km",
"FIELD":"31.21,121.5"
}
}
]
}
}
}
elasticsearch支持对搜索结果排序,默认是根据相关度算分(_score)来排序。可以排序字段类型有:keyword类型、数值类型、地理坐标类型、日期类型等。因为其数据类型不同,其语法上也有差异。
① keyword、数值、日期类型
GET /indexName/_search
{
"query":{
"match_all":{}
},
"sort": [
{"FIELD": "desc" // 排序字段和排序方式ASC、DESC
}
]
}
② 地理坐标类型
GET /index/_search
{
"query": {
"match_all": {}
},
"sort": [
{
"_geo_distance": {
"FIELD" : "纬度,经度",
"order": "asc",
"unit": "km" // 排序后的结果展示单位
}
}
]
}
案例一:对酒店数据按照用户评价降序排序,评价相同的按照价格升序排序(评价是score字段,价格是price字段)
GET /hotel/_search
{
"query":{
"match_all":{}
},
"sort": [
{"score": "desc" }, // 排序字段和排序方式ASC、DESC
{"price": "asc" }
]
}
案例二:实现对酒店数据按照到我的位置坐标的距离升序排序
获取经纬度方式:https://lbs.amap.com/demo/jsapi-v2/example/map/click-to-get-lnglat/
)

GET /index/_search
{
"query": {
"match_all": {}
},
"sort": [
{
"_geo_distance": {
"location" : "108.95,34.30",
"order": "asc",
"unit": "km" // 排序后的结果展示单位
}
}
]
}
elasticsearch 默认情况下只返回top10的数据。而如果要查询更多数据就需要修改分页参数了;elasticsearch中通过修改 from、size 参数来控制要返回的分页结果。

GET /hotel/_search
{
"query": {
"match_all": {}
},
"from": 990, // 分页开始的位置
"size": 10, // 期望获取的文档总数
"sort": [
{ "price": "asc"}
]
}
深度分页问题
ES是分布式的,所以会面临深度分页问题。例如按price排序后,获取from = 990,size =10的数据。实际生产环境下,为了使ES能够存储更多数据,ES会进行集群部署将数据进行拆分放在不同的分片上(每个分片的数据不同)。首先在每个数据分片上都排序并查询前1000条文档。然后将所有节点的结果聚合,在内存中重新排序选出前1000条文档;最后从这1000条中,选取从990开始的10条文档。此时查询

针对深度分页,ES提供了两种解决方案
● search after:分页时需要排序,原理是从上一次的排序值开始,查询下一页数据。
官方推荐使用的方式。
● scroll:原理将排序数据形成快照,保存在内存。官方已经不推荐使用
总结:
from + size:
● 优点:支持随机翻页
● 缺点:深度分页问题,默认查询上限(from + size)是10000
● 场景:百度、京东、谷歌、淘宝这样的随机翻页搜索
after search:
● 优点:没有查询上限(单次查询的size不超过10000)
● 缺点:只能向后逐页查询,不支持随机翻页
● 场景:没有随机翻页需求的搜索,例如手机向下滚动翻页
scroll:
● 优点:没有查询上限(单次查询的size不超过10000)
● 缺点:会有额外内存消耗,并且搜索结果是非实时的
● 场景:海量数据的获取和迁移。从ES7.1开始不推荐,建议用 after search方案。
高亮就是在搜索结果中把搜索关键字突出显示。其原理是:将搜索结果中的关键字用标签标记出来
在页面中给标签添加css样式。

语法:默认情况下,ES搜索字段必须与高亮字段一致
GET /hotel/_search
{
"query": {
"match": {
"all": "如家"
}
},
"highlight": {
"fields": { // 要指定高亮的字段(可指定多个)
"name":{
"require_field_match": "flase" // 是否与高亮字段一致
}
}
}
}
我正在用Ruby编写一个简单的程序来检查域列表是否被占用。基本上它循环遍历列表,并使用以下函数进行检查。require'rubygems'require'whois'defcheck_domain(domain)c=Whois::Client.newc.query("google.com").available?end程序不断出错(即使我在google.com中进行硬编码),并打印以下消息。鉴于该程序非常简单,我已经没有什么想法了-有什么建议吗?/Library/Ruby/Gems/1.8/gems/whois-2.0.2/lib/whois/server/adapters/base.
我知道我可以指定某些字段来使用pluck查询数据库。ids=Item.where('due_at但是我想知道,是否有一种方法可以指定我想避免从数据库查询的某些字段。某种反拔?posts=Post.where(published:true).do_not_lookup(:enormous_field) 最佳答案 Model#attribute_names应该返回列/属性数组。您可以排除其中一些并传递给pluck或select方法。像这样:posts=Post.where(published:true).select(Post.attr
我正在尝试找出如何为我的Ruby项目创建一种“无类DSL”,类似于在Cucumber步骤定义文件中定义步骤定义或在Sinatra应用程序中定义路由。例如,我想要一个文件,其中调用了我的所有DSL函数:#sample.rbwhen_string_matches/hello(.+)/do|name|call_another_method(name)end我认为用我的项目特有的一堆方法污染全局(内核)命名空间是一种不好的做法。因此方法when_string_matches和call_another_method将在我的库中定义,并且sample.rb文件将以某种方式在我的DSL方法的上下文中
matlab打开matlab,用最简单的imread方法读取一个图像clcclearimg_h=imread('hua.jpg');返回一个数组(矩阵),往往是a*b*cunit8类型解释一下这个三维数组的意思,行数、数和层数,unit8:指数据类型,无符号八位整形,可理解为0~2^8的数三个层数分别代表RGB三个通道图像rgb最常用的是24-位实现方法,即RGB每个通道有256色阶(2^8)。基于这样的24-位RGB模型的色彩空间可以表现256×256×256≈1670万色当imshow传入了一个二维数组,它将以灰度方式绘制;可以把图像拆分为rgb三层,可以以灰度的方式观察它figure(1
我正在尝试查询我的Rails数据库(Postgres)中的购买表,我想查询时间范围。例如,我想知道在所有日期的下午2点到3点之间进行了多少次购买。此表中有一个created_at列,但我不知道如何在不搜索特定日期的情况下完成此操作。我试过:Purchases.where("created_atBETWEEN?and?",Time.now-1.hour,Time.now)但这最终只会搜索今天与那些时间的日期。 最佳答案 您需要使用PostgreSQL'sdate_part/extractfunction从created_at中提取小时
我在Rails上使用带有ruby的solr。一切正常,我只需要知道是否有任何现有代码来清理用户输入,比如以?开头的查询。或* 最佳答案 我不知道执行此操作的任何代码,但理论上可以通过查看parsingcodeinLucene来完成并搜索thrownewParseException(只有16个匹配!)。在实践中,我认为您最好只捕获代码中的任何solr异常并显示“无效查询”消息或类似信息。编辑:这里有几个“sanitizer”:http://pivotallabs.com/users/zach/blog/articles/937-s
我正在为锦标赛开发一个Rails应用程序。我在这个查询中使用了三个模型:classPlayertruehas_and_belongs_to_many:tournamentsclassTournament:destroyclassPlayerMatch"Player",:foreign_key=>"player_one"belongs_to:player_two,:class_name=>"Player",:foreign_key=>"player_two"在tournaments_controller的显示操作中,我调用以下查询:Tournament.where(:id=>params
我想用sunspot重现以下原始solr查询q=exact_term_text:fooORterm_textv:foo*ORalternate_text:bar*但我无法通过标准的太阳黑子界面理解这是否可能以及如何实现,因为看起来:fulltext方法似乎不接受多个文本/搜索字段参数我不知道将什么参数作为第一个参数传递给fulltext,就好像我通过了"foo"或"bar"结果不匹配如果我传递一个空参数,我得到一个q=*:*范围过滤器(例如with(:term).starting_with('foo*')(顾名思义)作为过滤器查询应用,因此不参与评分。似乎可以手动编写字符串(或者可能使
Ruby有一些不错的文档生成器,例如Yard、rDoc,甚至Glyph。问题是Sphinx可以做网站、PDF、epub、LaTex等。它在重组文本中完成所有这些事情。在Ruby世界中有替代方案吗?也许是程序的组合?如果我也能使用Markdown就更好了。 最佳答案 自1.0版以来,Sphinx有了“域”的概念,它是从Python和/或C以外的语言标记代码实体(如方法调用、对象、函数等)的方法。有一个rubydomain,所以你可以只使用Sphinx本身。您唯一会缺少的(我认为)是Sphinx使用autodoc从源代码自动创建文档
例如,假设我有一个名为Products的模型,并且在ProductsController中,我有以下代码用于product_listView以显示已排序的产品。@products=Product.order(params[:order_by])让我们想象一下,在product_listView中,用户可以使用下拉菜单按价格、评级、重量等进行排序。数据库中的产品不会经常更改。我很难理解的是,每次用户选择新的order_by过滤器时,rails是否必须查询,或者rails是否能够以某种方式缓存事件记录以在服务器端重新排序?有没有一种方法可以编写它,以便在用户排序时rails不会重新查询结果