草庐IT

java实现es的search after查询(三种方式详解)

聶柏柏 2023-07-29 原文

一、概念说明

1、form size查询

"浅"分页可以理解为简单意义上的分页。它的原理很简单,就是查询前20条数据,然后截断前10条,只返回10-20的数据。这样其实白白浪费了前10条的查询。

其中,from定义了目标数据的偏移值,size定义当前返回的数目。默认from为0,size为10,即所有的查询默认仅仅返回前10条数据。

性能上:越往后的分页,执行的效率越低。总体上会随着from的增加,消耗时间也会增加。而且数据量越大,就越明显!

注意:因为es是基于分片的,假设有5个分片,from=100,size=10。则会根据排序规则从5个分片中各取回110条数据,然后汇总成550条数据,最后选择第100条后面的10条数据返回给客户端。

2、scroll深分页

from+size查询在10000-50000条数据(1000到5000页)以内的时候还是可以的,但是如果数据过多的话,就会出现深分页问题。

scroll,就是为解决深分页问题,而出现,scroll查询每次只能获取一页的内容,然后会返回一个scroll_id。根据返回的这个scroll_id可以不断地获取下一页的内容,直到数据读取完毕或者scroll_id保留时间截止,所以scroll并不适用于有跳页的情景。

注意:请求的接口不再使用索引名了,而是 _search/scroll,其中GET和POST方法都可以使用。

根据官方文档的说法,scroll的搜索上下文会在scroll的保留时间截止后自动清除,但是我们知道scroll是非常消耗资源的,所以一个建议就是当不需要了scroll数据的时候,尽可能快的把scroll_id显式删除掉。

清除指定的scroll_id:

DELETE _search/scroll/scroll编号

清除所有的scroll:

DELETE _search/scroll/_all

3、search after深分页

scroll 的方式,官方的建议不用于实时的请求(一般用于数据导出),因为每一个 scroll_id 不仅会占用大量的资源,而且会生成历史快照,对于数据的变更不会反映到快照上。

search_after 分页的方式是根据上一页的最后一条数据来确定下一页的位置,同时在分页请求的过程中,如果有索引数据的增删改查,这些变更也会实时的反映到游标上。但是需要注意,因为每一页的数据依赖于上一页最后一条数据,所以无法跳页请求。

为了找到每一页最后一条数据,每个文档必须有一个全局唯一值,官方推荐使用 _uid 作为全局唯一值,其实使用业务层的 id 也可以。

二、curl命令操作

1、form size

GET test_dev/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "age": "24"
          }
        }
      ],
      "must_not": [],
      "should": []
    }
  },
  "from": 0,
  "size": 3,

  "track_total_hits":true,
  "sort": [],
  "aggs": {}
}

2、scroll

GET test_dev/_search?scroll=5m
{
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "age": "24"
          }
        }
      ],
      "must_not": [],
      "should": []
    }
  },
  "size": 10,
  "from": 0
}

参数说明:

  1. scroll=5m表示设置scroll_id保留5分钟可用。
  2. scroll查询时from必须为0。
  3. size决定后面每次调用_search搜索返回数据的数量

GET _search/scroll

{

        "scroll_id": "**************",

        "scroll": "5m"

}

3、search after

GET test/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "age": "24"
          }
        }
      ],
      "must_not": [],
      "should": []
    }
  },
  "from": 0,
  "size": 20,
  "sort": [
      "_id": {
        "order": "desc"
      }
    }
  ]
}

参数说明:

  1. 使用search_after必须要设置from=0。
  2. 这里我使用timestamp和_id作为唯一值排序。
  3. 我们在返回的最后一条数据里拿到sort属性的值传入到search_after。

往后的每次访问都携带上一次返回数据的最后一条的sort编号。

GET test/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "age": "24"
          }
        }
      ],
      "must_not": [],
      "should": []
    }
  },
  "size": 10,
  "from": 0,
  "search_after": [
    "b90cd1e6cbe7429d105dff4b2e516c62"
  ],
  "sort": [
      "_id": {
        "order": "desc"
      }
    }
  ]
}

三、代码实现

1、form size

太简单,此处省略10000字。

该代码加上后,可以让返回值的条数,跨越9999的限制。

searchSourceBuilder .trackTotalHits(true);

2、scroll

劳烦大驾,请移步到以下:

Java实现es的scroll滚动查询_聶小白的博客-CSDN博客_es java 滚动查询public void selectData() throws IOException { int i=1,size=2; SearchRequest searchRequest = new SearchRequest("index"); Scroll scroll = new Scroll(TimeValue.timeValueMinutes(5L)); searchRequest.scroll(scroll); S...https://blog.csdn.net/m0_50008952/article/details/121633350

3、search after

//第一次请求获取数据
@Test
public void test01() throws IOException {
    SearchRequest searchRequest = new SearchRequest();
    SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
    TermQueryBuilder queryBuilder = QueryBuilders.termQuery("age", 24);
    searchRequest.indices("person");
    searchSourceBuilder.query(queryBuilder).sort("id",SortOrder.ASC);
    searchSourceBuilder.from(0).size(3);
    searchRequest.source(searchSourceBuilder);
    SearchResponse searchResponse = client.search(searchRequest, RequestOptions.DEFAULT);
    //处理数据获取最后一条的sortid
    SearchHit[] hits = searchResponse.getHits().getHits();
    Object[] sortValues1 = hits[hits.length - 1].getSortValues();
    System.out.println("最后一条数据sort_id为:"+Arrays.toString(sortValues1));
    for (SearchHit hit : searchResponse.getHits().getHits()) {
        Object[] sortValues = hit.getSortValues();
        System.out.println(Arrays.toString(sortValues));
        System.out.println(hit.getSourceAsString());
    }
}


代码执行返回值:
最后一条数据sort_id为:[14]
[7]
{"nama":"牛二","age":"24","id":7}
[13]
{"nama":"李彬","age":"24","id":13}
[14]
{"nama":"菠萝","age":"24","id":14}


//往后的每次请求都携带上一次的sort_id进行访问。
@Test
public void test02() throws IOException {
    TermQueryBuilder queryBuilder = QueryBuilders.termQuery("age", 24);
    Object[] objects= new Object[]{"14"};
    //第二次请求,携带sortid进行查询。
    SearchRequest searchRequest = new SearchRequest();
    searchRequest.indices("person");
    SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
    searchSourceBuilder.query(queryBuilder).sort("id",SortOrder.ASC).searchAfter(objects);
    searchSourceBuilder.from(0).size(3);
    searchRequest.source(searchSourceBuilder);
    SearchResponse search = client.search(searchRequest, RequestOptions.DEFAULT);
    for (SearchHit hit : search.getHits().getHits()) {
        System.out.println(Arrays.toString(hit.getSortValues()));
    }
}

有关java实现es的search after查询(三种方式详解)的更多相关文章

  1. ruby - ECONNRESET (Whois::ConnectionError) - 尝试在 Ruby 中查询 Whois 时出错 - 2

    我正在用Ruby编写一个简单的程序来检查域列表是否被占用。基本上它循环遍历列表,并使用以下函数进行检查。require'rubygems'require'whois'defcheck_domain(domain)c=Whois::Client.newc.query("google.com").available?end程序不断出错(即使我在google.com中进行硬编码),并打印以下消息。鉴于该程序非常简单,我已经没有什么想法了-有什么建议吗?/Library/Ruby/Gems/1.8/gems/whois-2.0.2/lib/whois/server/adapters/base.

  2. ruby - 如何以所有可能的方式将字符串拆分为长度最多为 3 的连续子字符串? - 2

    我试图获取一个长度在1到10之间的字符串,并输出将字符串分解为大小为1、2或3的连续子字符串的所有可能方式。例如:输入:123456将整数分割成单个字符,然后继续查找组合。该代码将返回以下所有数组。[1,2,3,4,5,6][12,3,4,5,6][1,23,4,5,6][1,2,34,5,6][1,2,3,45,6][1,2,3,4,56][12,34,5,6][12,3,45,6][12,3,4,56][1,23,45,6][1,2,34,56][1,23,4,56][12,34,56][123,4,5,6][1,234,5,6][1,2,345,6][1,2,3,456][123

  3. ruby - 解析 RDFa、微数据等的最佳方式是什么,使用统一的模式/词汇(例如 schema.org)存储和显示信息 - 2

    我主要使用Ruby来执行此操作,但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式,例如使用这个yaml文件,它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i

  4. java - 等价于 Java 中的 Ruby Hash - 2

    我真的很习惯使用Ruby编写以下代码:my_hash={}my_hash['test']=1Java中对应的数据结构是什么? 最佳答案 HashMapmap=newHashMap();map.put("test",1);我假设? 关于java-等价于Java中的RubyHash,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.com/questions/22737685/

  5. ruby - 如何根据特征实现 FactoryGirl 的条件行为 - 2

    我有一个用户工厂。我希望默认情况下确认用户。但是鉴于unconfirmed特征,我不希望它们被确认。虽然我有一个基于实现细节而不是抽象的工作实现,但我想知道如何正确地做到这一点。factory:userdoafter(:create)do|user,evaluator|#unwantedimplementationdetailshereunlessFactoryGirl.factories[:user].defined_traits.map(&:name).include?(:unconfirmed)user.confirm!endendtrait:unconfirmeddoenden

  6. ruby-on-rails - 在 Rails 和 ActiveRecord 中查询时忽略某些字段 - 2

    我知道我可以指定某些字段来使用pluck查询数据库。ids=Item.where('due_at但是我想知道,是否有一种方法可以指定我想避免从数据库查询的某些字段。某种反拔?posts=Post.where(published:true).do_not_lookup(:enormous_field) 最佳答案 Model#attribute_names应该返回列/属性数组。您可以排除其中一些并传递给pluck或select方法。像这样:posts=Post.where(published:true).select(Post.attr

  7. ruby-on-rails - 正确的 Rails 2.1 做事方式 - 2

    question的一些答案关于redirect_to让我想到了其他一些问题。基本上,我正在使用Rails2.1编写博客应用程序。我一直在尝试自己完成大部分工作(因为我对Rails有所了解),但在需要时会引用Internet上的教程和引用资料。我设法让一个简单的博客正常运行,然后我尝试添加评论。靠我自己,我设法让它进入了可以从script/console添加评论的阶段,但我无法让表单正常工作。我遵循的其中一个教程建议在帖子Controller中创建一个“评论”操作,以添加评论。我的问题是:这是“标准”方式吗?我的另一个问题的答案之一似乎暗示应该有一个CommentsController参

  8. java - 从 JRuby 调用 Java 类的问题 - 2

    我正在尝试使用boilerpipe来自JRuby。我看过guide从JRuby调用Java,并成功地将它与另一个Java包一起使用,但无法弄清楚为什么同样的东西不能用于boilerpipe。我正在尝试基本上从JRuby中执行与此Java等效的操作:URLurl=newURL("http://www.example.com/some-location/index.html");Stringtext=ArticleExtractor.INSTANCE.getText(url);在JRuby中试过这个:require'java'url=java.net.URL.new("http://www

  9. java - 我的模型类或其他类中应该有逻辑吗 - 2

    我只想对我一直在思考的这个问题有其他意见,例如我有classuser_controller和classuserclassUserattr_accessor:name,:usernameendclassUserController//dosomethingaboutanythingaboutusersend问题是我的User类中是否应该有逻辑user=User.newuser.do_something(user1)oritshouldbeuser_controller=UserController.newuser_controller.do_something(user1,user2)我

  10. java - 什么相当于 ruby​​ 的 rack 或 python 的 Java wsgi? - 2

    什么是ruby​​的rack或python的Java的wsgi?还有一个路由库。 最佳答案 来自Python标准PEP333:Bycontrast,althoughJavahasjustasmanywebapplicationframeworksavailable,Java's"servlet"APImakesitpossibleforapplicationswrittenwithanyJavawebapplicationframeworktoruninanywebserverthatsupportstheservletAPI.ht

随机推荐