草庐IT

ElasticSearch 聚合分页查询实现方案

花果山……美猴王 2023-07-21 原文

1 需求分析

最近接到需求，需要对聚合后的商铺信息进行分页查询，同时还要查询商铺下面的商品

大体结构如下

[{
    shop1:[
        {
            spuinfo1
        },
          {
            spuinfo2
        }
    ]
},
 {
    shop1:[
        {
            spuinfo1
        },
          {
            spuinfo2
        }
    ]
}   
]
​
​

这种结构可以通过es的Aggregation来实现，还要对结果进行排序及分页。我们需要返回的数据有：聚合后的数据总数，用于前端展示分页信息，以及分页查询的起始位置。

2 实现方案

结果总数可以通过 cardinality类似SQL中distinct某个字段后，再count，于是使用cardinality获取相关聚合结果的total：

用bucket_sort实现分页

在terms中使用bucket_sort功能的时候，terms中分组的size大小设置应该大于bucket_sort中的from+size的大小，否则会因为terms中size的大小限制了返回的数据。bucket_sort的sort排序是针对父聚合返回的结果进行排序的，比如上述terms返回的结果为1000条，那么bucket_sort仅对这1000条进行排序。

3 query 查询

GET /productinfos/_search
{
  "aggs": {
    "shoppes": {
      "terms": {
        "field": "shoppeId",
        "order": {
          "shoppe_sort": "desc"
        },
        "size": 4
      },
      "aggs": {
        "shop_sort": {
          "sum": {
            "field": "salecount"
          }
        },
        "shoppe_spu": {
          "order": {
            "max": "spuid"
          }
        },
        "shop_bucket": {
          "bucket_sort": {
            "from": 0,
            "size": 5,
            "gap_policy": "SKIP"
          }
        }
      }
    }
  },
  "size": 0
}

4 代码实现

Map<String, SortOrder> orderMap2 = new HashMap<>();
        orderMap2.put("salecount_sort",SortOrder.Desc);
        Aggregation salecount_sort = Aggregation.of(a -> a.max(v -> v.field(param.getOrder())));
​
        int bucketFrom = (param.getPageNum()-1)*param.getPageSize();
        int bucketSize = bucketFrom + param.getPageSize();
Aggregation shoppes = Aggregation.of(
        a -> a.terms(v -> v.field("shoppeId").size(bucketSize).order(orderMap))
                .aggregations("shop_sort", s -> param.getOrder().equals("salecount")? s.sum(v -> v.field(param.getOrder())):s.max(v -> v.field(param.getOrder())))
                .aggregations("shop_bucketSort", b ->b.bucketSort(s -> s.from(bucketFrom).size(param.getPageSize()).gapPolicy(GapPolicy.Skip)))
                .aggregations("shop_spu", b -> b.terms(v -> v.field("spuId").size(param.getSpuNum()).order(orderMap2))
                                .aggregations("salecount_sort",salecount_sort)));
Aggregation shoppeCount = Aggregation.of(c -> c.cardinality(v -> v.field(SearchParamConfig.SHOPPEID)));

ElasticSearch聚合34sortxff0cjava开发语言

有关ElasticSearch 聚合分页查询实现方案的更多相关文章

  1. ruby - ECONNRESET (Whois::ConnectionError) - 尝试在 Ruby 中查询 Whois 时出错 - 2

    我正在用Ruby编写一个简单的程序来检查域列表是否被占用。基本上它循环遍历列表，并使用以下函数进行检查。require'rubygems'require'whois'defcheck_domain(domain)c=Whois::Client.newc.query("google.com").available?end程序不断出错(即使我在google.com中进行硬编码)，并打印以下消息。鉴于该程序非常简单，我已经没有什么想法了-有什么建议吗？/Library/Ruby/Gems/1.8/gems/whois-2.0.2/lib/whois/server/adapters/base.

  2. ruby - 在 jRuby 中使用 'fork' 生成进程的替代方案？ - 2

    在MRIRuby中我可以这样做:deftransferinternal_server=self.init_serverpid=forkdointernal_server.runend#Maketheserverprocessrunindependently.Process.detach(pid)internal_client=self.init_client#Dootherstuffwithconnectingtointernal_server...internal_client.post('somedata')ensure#KillserverProcess.kill('KILL',

  3. ruby - 如何根据特征实现 FactoryGirl 的条件行为 - 2

    我有一个用户工厂。我希望默认情况下确认用户。但是鉴于unconfirmed特征，我不希望它们被确认。虽然我有一个基于实现细节而不是抽象的工作实现，但我想知道如何正确地做到这一点。factory:userdoafter(:create)do|user,evaluator|#unwantedimplementationdetailshereunlessFactoryGirl.factories[:user].defined_traits.map(&:name).include?(:unconfirmed)user.confirm!endendtrait:unconfirmeddoenden

  4. ruby-on-rails - 在 Rails 和 ActiveRecord 中查询时忽略某些字段 - 2

    我知道我可以指定某些字段来使用pluck查询数据库。ids=Item.where('due_at但是我想知道，是否有一种方法可以指定我想避免从数据库查询的某些字段。某种反拔？posts=Post.where(published:true).do_not_lookup(:enormous_field) 最佳答案 Model#attribute_names应该返回列/属性数组。您可以排除其中一些并传递给pluck或select方法。像这样:posts=Post.where(published:true).select(Post.attr

  5. 华为OD机试用Python实现 -【明明的随机数】 2023Q1A - 2

    华为OD机试题本篇题目：明明的随机数题目输入描述输出描述：示例1输入输出说明代码编写思路最近更新的博客华为od2023|什么是华为od，od薪资待遇，od机试题清单华为OD机试真题大全，用Python解华为机试题|机试宝典【华为OD机试】全流程解析+经验分享,题型分享,防作弊指南华为o

  6. 基于C#实现简易绘图工具【100010177】 - 2

    C#实现简易绘图工具一.引言实验目的:通过制作窗体应用程序(C#画图软件),熟悉基本的窗体设计过程以及控件设计,事件处理等,熟悉使用C#的winform窗体进行绘图的基本步骤,对于面向对象编程有更加深刻的体会.Tutorial任务设计一个具有基本功能的画图软件**·包括简单的新建文件,保存,重新绘图等功能**·实现一些基本图形的绘制,包括铅笔和基本形状等,学习橡皮工具的创建**·设计一个合理舒适的UI界面**注明:你可能需要先了解一些关于winform窗体应用程序绘图的基本知识,以及关于GDI+类和结构的知识二.实验环境Windows系统下的visualstudio2017C#窗体应用程序三.

  7. MIMO-OFDM无线通信技术及MATLAB实现（1）无线信道：传播和衰落 - 2

     MIMO技术的优缺点优点通过下面三个增益来总体概括：阵列增益。阵列增益是指由于接收机通过对接收信号的相干合并而活得的平均SNR的提高。在发射机不知道信道信息的情况下，MIMO系统可以获得的阵列增益与接收天线数成正比复用增益。在采用空间复用方案的MIMO系统中，可以获得复用增益，即信道容量成倍增加。信道容量的增加与min(Nt,Nr)成正比分集增益。在采用空间分集方案的MIMO系统中，可以获得分集增益，即可靠性性能的改善。分集增益用独立衰落支路数来描述，即分集指数。在使用了空时编码的MIMO系统中，由于接收天线或发射天线之间的间距较远，可认为它们各自的大尺度衰落是相互独立的，因此分布式MIMO

  8. 【Java入门】使用Java实现文件夹的遍历 - 2

    遍历文件夹我们通常是使用递归进行操作，这种方式比较简单，也比较容易理解。本文为大家介绍另一种不使用递归的方式，由于没有使用递归，只用到了循环和集合，所以效率更高一些！一、使用递归遍历文件夹整体思路1、使用File封装初始目录，2、打印这个目录3、获取这个目录下所有的子文件和子目录的数组。4、遍历这个数组，取出每个File对象4-1、如果File是否是一个文件，打印4-2、否则就是一个目录，递归调用代码实现publicclassSearchFile{publicstaticvoidmain(String[]args){//初始目录Filedir=newFile("d:/Dev");Datebeg

  9. sql - 查询忽略时间戳日期的时间范围 - 2

    我正在尝试查询我的Rails数据库(Postgres)中的购买表，我想查询时间范围。例如，我想知道在所有日期的下午2点到3点之间进行了多少次购买。此表中有一个created_at列，但我不知道如何在不搜索特定日期的情况下完成此操作。我试过:Purchases.where("created_atBETWEEN?and?",Time.now-1.hour,Time.now)但这最终只会搜索今天与那些时间的日期。 最佳答案 您需要使用PostgreSQL'sdate_part/extractfunction从created_at中提取小时

  10. ruby - Arrays Sets 和 SortedSets 在 Ruby 中是如何实现的 - 2

    通常，数组被实现为内存块，集合被实现为HashMap，有序集合被实现为跳跃列表。在Ruby中也是如此吗？我正在尝试从性能和内存占用方面评估Ruby中不同容器的使用情况 最佳答案 数组是Ruby核心库的一部分。每个Ruby实现都有自己的数组实现。Ruby语言规范只规定了Ruby数组的行为，并没有规定任何特定的实现策略。它甚至没有指定任何会强制或至少建议特定实现策略的性能约束。然而，大多数Rubyist对数组的性能特征有一些期望，这会迫使不符合它们的实现变得默默无闻，因为实际上没有人会使用它:插入、前置或追加以及删除元素的最坏情况步骤复

随机推荐