草庐IT

ES结合java代码聚合查询

砖厂老干部 2023-11-01 原文

思路不清晰的小伙伴可以先在es中把聚合代码写出来


{
  "aggs": {
    "brandAgg": {
      "terms": {
        "field": "brandName.keyword"
      },
      "aggs": {
        "typeAgg": {
        "terms": {
          "field": "typeTwoName.keyword"
        }
        },
        "ruleAgg": {
          "terms": {
            "field": "ruleName.keyword"
          },
            "aggs": {
                "ruleValueAgg": {
                  "terms": {
                    "field": "ruleAttrValue.keyword"
                  }
                }
              }
        }
      }
    }
  }

注:字段名称加keyword是精准查询,模糊查询可以去掉

 查询完成后这是聚合的结构

 pom文件中引入依赖es依赖,在这里就不详细介绍了,首先在java中构建对象

//构建对象
            SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();

 在java代码中先把要聚合的名称创建出来

根据刚刚的es代码设置java中的terms名称和field后面的名称相对应

//构建聚合名称
TermsAggregationBuilder brandAgg = AggregationBuilders.terms("brandAgg").field("brandName.keyword");
TermsAggregationBuilder typeAgg = AggregationBuilders.terms("typeAgg").field("typeTwoName.keyword");
TermsAggregationBuilder ruleAgg = AggregationBuilders.terms("ruleAgg").field("ruleName.keyword");
TermsAggregationBuilder ruleValueAgg = AggregationBuilders.terms("ruleValueAgg").field("ruleAttrValue.keyword");

这里是根据es代码中创建的层级关系来依次分配 

//根据聚合分配层级
brandAgg.subAggregation(typeAgg);
brandAgg.subAggregation(ruleAgg);
ruleAgg.subAggregation(ruleValueAgg);
//添加最外层聚合
searchSourceBuilder.aggregation(brandAgg);

创建实体类来接参


    /*=====================聚合分析=====================*/
    /**
     * 查询到的所有商品所涉及的所有品牌
     */
    private Set<BrandVO> brands = new HashSet<>();

    /**
     * 查询到的所有商品所涉及的所有分类
     */
    private Set<TypeVO> types = new HashSet<>();

    /**
     * 查询到的所有商品所涉及的所有属性(规格)
     */
    private Set<AttrVO> attrs = new HashSet<>();

    @Data
    public static class BrandVO {
        private Long brandId;
        private String brandName;
        private String brandImg;
    }

    @Data
    public static class TypeVO {
        private Long TypeId;
        private String TypeName;
    }

    @Data
    public static class AttrVO {
        private Long attrId;
        private String attrName;
        private List<String> attrValue;
    }

    @Data
    public static class BreadCrumbsVO {
        private String attrName;
        private String attrValue;
        private String link;
    }

在方法中把参数先备好

//定义参数
Set<SearchResult.BrandVO> brandVOList = new HashSet<>();
Set<SearchResult.TypeVO> typeList = new HashSet<>();
Set<SearchResult.AttrVO> attrList = new HashSet<>();

首先获取最外层的参数

有一点需要更改的 回调参数是Aggregations需要改成Terms才能调取方法

//获取聚合参数
Aggregations brandAggregations = response.getAggregations();

//获取品牌
Terms brandGations = brandAggregations.get("brandAgg");

循环获取参数添加到指定的集合当中,这个获取的就相当于是es当中key的值

for (Terms.Bucket bucket : brandGations.getBuckets()) {
//添加品牌
SearchResult.BrandVO brandVO = new SearchResult.BrandVO();
brandVO.setBrandName(bucket.getKeyAsString());
brandVOList.add(brandVO);
}

 因为我最外层只有一个分组,所以在循环中继续获取数据

这个bucket就相当于es当中获取下一层级因为我设定的brand和type都是一个层的所以都使用bucket来获取参数

get的变量就是相当于es中设置的名称然后我们拿到下面的key的值加入到我们的集合当中

注意一下这是基于上一层for循环中嵌套的

//获取类型
Aggregations aggregations = bucket.getAggregations();
Terms typeGations = aggregations.get("typeAgg");
//添加类型
for (Terms.Bucket typeGationsBucket : typeGations.getBuckets()) {
    SearchResult.TypeVO typeVO = new SearchResult.TypeVO();
    typeVO.setTypeName(typeGationsBucket.getKeyAsString());
    typeList.add(typeVO);
}

接下来就简单了,根据es当中设定好的层级关系一级一级的获取后在添加到我们设定好的集合当中

把其他的层级都一步一步获取出来

//获取spu
Terms ruleGations = aggregations.get("ruleAgg");
//添加spu
for (Terms.Bucket ruleGationsBucket : ruleGations.getBuckets()) {
    SearchResult.AttrVO attrVO = new SearchResult.AttrVO();
    attrVO.setAttrName(ruleGationsBucket.getKeyAsString());
    //获取sku
    Aggregations attrValueAggregations = ruleGationsBucket.getAggregations();
    Terms ruleValueGations = attrValueAggregations.get("ruleValueAgg");
    //添加sku
    for (Terms.Bucket ruleValueGationsBucket : ruleValueGations.getBuckets()) {
        ArrayList<String> attrValueList = new ArrayList<>();
        for (String attrValue : ruleValueGationsBucket.getKeyAsString().split(",")) {
            attrValueList.add(attrValue);
        }
        attrVO.setAttrValue(attrValueList);
    }
    attrList.add(attrVO);
}

 最后在添加到实体类的对象当中

//添加对象中数据
result.getProductInfoList().addAll(productInfoList);
result.getBrands().addAll(brandVOList);
result.getAttrs().addAll(attrList);
result.getTypes().addAll(typeList);

最后查询,就获取到了我们聚合后的值了,在根据业务进行下一步的操作

最后展示一下所有的代码

SearchResult result = new SearchResult();
try {
    //构建对象
    SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
    //构建聚合名称
    TermsAggregationBuilder brandAgg = AggregationBuilders.terms("brandAgg").field("brandName.keyword");
    TermsAggregationBuilder typeAgg = AggregationBuilders.terms("typeAgg").field("typeTwoName.keyword");
    TermsAggregationBuilder ruleAgg = AggregationBuilders.terms("ruleAgg").field("ruleName.keyword");
    TermsAggregationBuilder ruleValueAgg = AggregationBuilders.terms("ruleValueAgg").field("ruleAttrValue.keyword");
    //根据聚合分配层级
    brandAgg.subAggregation(typeAgg);
    brandAgg.subAggregation(ruleAgg);
    ruleAgg.subAggregation(ruleValueAgg);
    //添加最外层聚合
    searchSourceBuilder.aggregation(brandAgg);
    //定义参数
    Set<SearchResult.BrandVO> brandVOList = new HashSet<>();
    Set<SearchResult.TypeVO> typeList = new HashSet<>();
    Set<SearchResult.AttrVO> attrList = new HashSet<>();
    //获取聚合参数
    Aggregations brandAggregations = response.getAggregations();
    //获取品牌
    Terms brandGations = brandAggregations.get("brandAgg");
    for (Terms.Bucket bucket : brandGations.getBuckets()) {
        //添加品牌
        SearchResult.BrandVO brandVO = new SearchResult.BrandVO();
        brandVO.setBrandName(bucket.getKeyAsString());
        brandVOList.add(brandVO);
        //获取类型
        Aggregations aggregations = bucket.getAggregations();
        Terms typeGations = aggregations.get("typeAgg");
        //添加类型
        for (Terms.Bucket typeGationsBucket : typeGations.getBuckets()) {
            SearchResult.TypeVO typeVO = new SearchResult.TypeVO();
            typeVO.setTypeName(typeGationsBucket.getKeyAsString());
            typeList.add(typeVO);
        }
        //获取spu
        Terms ruleGations = aggregations.get("ruleAgg");
        //添加spu
        for (Terms.Bucket ruleGationsBucket : ruleGations.getBuckets()) {
            SearchResult.AttrVO attrVO = new SearchResult.AttrVO();
            attrVO.setAttrName(ruleGationsBucket.getKeyAsString());
            //获取sku
            Aggregations attrValueAggregations = ruleGationsBucket.getAggregations();
            Terms ruleValueGations = attrValueAggregations.get("ruleValueAgg");
            //添加sku
            for (Terms.Bucket ruleValueGationsBucket : ruleValueGations.getBuckets()) {
                ArrayList<String> attrValueList = new ArrayList<>();
                for (String attrValue : ruleValueGationsBucket.getKeyAsString().split(",")) {
                    attrValueList.add(attrValue);
                }
                attrVO.setAttrValue(attrValueList);
            }
            attrList.add(attrVO);
        }
    }
        //添加对象中数据
        result.getProductInfoList().addAll(productInfoList);
        result.getBrands().addAll(brandVOList);
        result.getAttrs().addAll(attrList);
        result.getTypes().addAll(typeList);
    }
}catch (Exception ex){
    log.error("检索ES失败: {}", ex);
}

有关ES结合java代码聚合查询的更多相关文章

  1. ruby-on-rails - 结合 meta_search 与 acts_as_taggable_on - 2

    我在开发的Rails3网站的一些搜索功能上遇到了一个小问题。我有一个简单的Post模型,如下所示:classPost我正在使用acts_as_taggable_on来更轻松地向我的帖子添加标签。当我有一个标记为“rails”的帖子并执行以下操作时,一切正常:@posts=Post.tagged_with("rails")问题是,我还想搜索帖子的标题。当我有一篇标题为“Helloworld”并标记为“rails”的帖子时,我希望能够通过搜索“hello”或“rails”来找到这篇帖子。因此,我希望标题列的LIKE语句与acts_as_taggable_on提供的tagged_with方法

  2. ruby - ECONNRESET (Whois::ConnectionError) - 尝试在 Ruby 中查询 Whois 时出错 - 2

    我正在用Ruby编写一个简单的程序来检查域列表是否被占用。基本上它循环遍历列表,并使用以下函数进行检查。require'rubygems'require'whois'defcheck_domain(domain)c=Whois::Client.newc.query("google.com").available?end程序不断出错(即使我在google.com中进行硬编码),并打印以下消息。鉴于该程序非常简单,我已经没有什么想法了-有什么建议吗?/Library/Ruby/Gems/1.8/gems/whois-2.0.2/lib/whois/server/adapters/base.

  3. ruby - 如何在 buildr 项目中使用 Ruby 代码? - 2

    如何在buildr项目中使用Ruby?我在很多不同的项目中使用过Ruby、JRuby、Java和Clojure。我目前正在使用我的标准Ruby开发一个模拟应用程序,我想尝试使用Clojure后端(我确实喜欢功能代码)以及JRubygui和测试套件。我还可以看到在未来的不同项目中使用Scala作为后端。我想我要为我的项目尝试一下buildr(http://buildr.apache.org/),但我注意到buildr似乎没有设置为在项目中使用JRuby代码本身!这看起来有点傻,因为该工具旨在统一通用的JVM语言并且是在ruby中构建的。除了将输出的jar包含在一个独特的、仅限ruby​​

  4. ruby-on-rails - Rails 源代码 : initialize hash in a weird way? - 2

    在rails源中:https://github.com/rails/rails/blob/master/activesupport/lib/active_support/lazy_load_hooks.rb可以看到以下内容@load_hooks=Hash.new{|h,k|h[k]=[]}在IRB中,它只是初始化一个空哈希。和做有什么区别@load_hooks=Hash.new 最佳答案 查看rubydocumentationforHashnew→new_hashclicktotogglesourcenew(obj)→new_has

  5. java - 等价于 Java 中的 Ruby Hash - 2

    我真的很习惯使用Ruby编写以下代码:my_hash={}my_hash['test']=1Java中对应的数据结构是什么? 最佳答案 HashMapmap=newHashMap();map.put("test",1);我假设? 关于java-等价于Java中的RubyHash,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.com/questions/22737685/

  6. ruby-on-rails - 在 Rails 和 ActiveRecord 中查询时忽略某些字段 - 2

    我知道我可以指定某些字段来使用pluck查询数据库。ids=Item.where('due_at但是我想知道,是否有一种方法可以指定我想避免从数据库查询的某些字段。某种反拔?posts=Post.where(published:true).do_not_lookup(:enormous_field) 最佳答案 Model#attribute_names应该返回列/属性数组。您可以排除其中一些并传递给pluck或select方法。像这样:posts=Post.where(published:true).select(Post.attr

  7. ruby-on-rails - 浏览 Ruby 源代码 - 2

    我的主要目标是能够完全理解我正在使用的库/gem。我尝试在Github上从头到尾阅读源代码,但这真的很难。我认为更有趣、更温和的踏脚石就是在使用时阅读每个库/gem方法的源代码。例如,我想知道RubyonRails中的redirect_to方法是如何工作的:如何查找redirect_to方法的源代码?我知道在pry中我可以执行类似show-methodmethod的操作,但我如何才能对Rails框架中的方法执行此操作?您对我如何更好地理解Gem及其API有什么建议吗?仅仅阅读源代码似乎真的很难,尤其是对于框架。谢谢! 最佳答案 Ru

  8. ruby - 模块嵌套代码风格偏好 - 2

    我的假设是moduleAmoduleBendend和moduleA::Bend是一样的。我能够从thisblog找到解决方案,thisSOthread和andthisSOthread.为什么以及什么时候应该更喜欢紧凑语法A::B而不是另一个,因为它显然有一个缺点?我有一种直觉,它可能与性能有关,因为在更多命名空间中查找常量需要更多计算。但是我无法通过对普通类进行基准测试来验证这一点。 最佳答案 这两种写作方法经常被混淆。首先要说的是,据我所知,没有可衡量的性能差异。(在下面的书面示例中不断查找)最明显的区别,可能也是最著名的,是你的

  9. ruby - 寻找通过阅读代码确定编程语言的ruby gem? - 2

    几个月前,我读了一篇关于ruby​​gem的博客文章,它可以通过阅读代码本身来确定编程语言。对于我的生活,我不记得博客或gem的名称。谷歌搜索“ruby编程语言猜测”及其变体也无济于事。有人碰巧知道相关gem的名称吗? 最佳答案 是这个吗:http://github.com/chrislo/sourceclassifier/tree/master 关于ruby-寻找通过阅读代码确定编程语言的rubygem?,我们在StackOverflow上找到一个类似的问题:

  10. java - 从 JRuby 调用 Java 类的问题 - 2

    我正在尝试使用boilerpipe来自JRuby。我看过guide从JRuby调用Java,并成功地将它与另一个Java包一起使用,但无法弄清楚为什么同样的东西不能用于boilerpipe。我正在尝试基本上从JRuby中执行与此Java等效的操作:URLurl=newURL("http://www.example.com/some-location/index.html");Stringtext=ArticleExtractor.INSTANCE.getText(url);在JRuby中试过这个:require'java'url=java.net.URL.new("http://www

随机推荐