这篇文章主要介绍group by多个字段查询,这方面的资料在全网都非常少,而我这边的需求需要group by三个字段,而不是仅仅一个字段,大大增加了检索资料的难度,还好这问题被我解决了,多亏了公司里的老程序员。
首先自然是在SpringBoot代码中引入ES查询的client
Maven依赖:
<dependency>
<groupId>org.elasticsearch.client</groupId>
<artifactId>elasticsearch-rest-high-level-client</artifactId>
<version>7.14.0</version>
</dependency>
<dependency>
<groupId>org.elasticsearch</groupId>
<artifactId>elasticsearch</artifactId>
<version>7.14.0</version>
</dependency>
@Autowired
private RestHighLevelClient client;
构建查询请求,并创建查询的Builder,其中的esIndex是个字符串类型,就是ES的索引,然后创建布尔类型查询条件,设置systemId大于0
SearchRequest searchRequest = new SearchRequest(esIndex);
SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();
重点来了,我这边需要groupBy3个字段,核心是tableName,另外两个是dataSouceId、systemId,如果按照SQL语句来写的话就是
select count(0) as count from esIndex (where条件暂时用不着) group by tableName, dataSourceId, systemId
这里使用Aggregation(中文意思:聚合)关键字进行聚合分组,然后是最关键的,多个group by不能使用并列Aggregation,必须使用嵌套聚合,采用subAggregation进行嵌套!!
AggregationBuilder aggregationBuilder = AggregationBuilders.terms("tableName").field("tableName").size(100000);
TermsAggregationBuilder dataSourceAgg = AggregationBuilders.terms("dataSourceId").field("dataSourceId");
TermsAggregationBuilder systemIdAgg = AggregationBuilders.terms("systemId").field("systemId");
dataSourceAgg.subAggregation(systemIdAgg);
aggregationBuilder.subAggregation(dataSourceAgg);
sourceBuilder.aggregation(aggregationBuilder);
这里的是tableName聚合套dataSourceId聚合,dataSourceId聚合套systemId聚合,总共三层嵌套。
然后进行搜索
searchRequest.source(sourceBuilder);
SearchResponse searchResponse = client.search(searchRequest, RequestOptions.DEFAULT);
Aggregations aggregations = searchResponse.getAggregations();
然后你会发现
searchResponse.getAggregations();搜出来的值也是一个嵌套,即aggregations嵌套buckets,buckets再嵌套aggregations,aggregations再嵌套buckets,等等以此类推。到最底层的buckets.size()才是要获取的count值,需要把这些最底层的buckets.size()累加起来才是最终需要的count值,够坑爹的不是吗。
像我这边3个聚合字段,就需要2*3-1次for循环才能统计成功(最后一层的aggregations的size是0,不需要for循环统计),而且每层结构都一样,那么就可以采用递归统计了。
递归统计代码如下:
/**
* 递归统计ES聚合的数量
* @param aggregations
* @return
*/
public static long count(Aggregations aggregations) {
long totalCount = 0L;
for (Aggregation aggregation : aggregations) {
Terms terms = (Terms) aggregation;
List<? extends Terms.Bucket> buckets = terms.getBuckets();
if (buckets.size() > 0) {
if (buckets.get(0).getAggregations().iterator().hasNext()) {
// 如果内部还有aggregation,就继续往下走,不能统计
for (Terms.Bucket bucket : buckets) {
Aggregations aggregationsInners = bucket.getAggregations();
if (aggregationsInners == null || aggregationsInners.asList().size() == 0) {
System.out.println("进入了aggregationsInners == null || aggregationsInners.asList().size() == 0");
} else {
totalCount += count(aggregationsInners);
}
}
} else {
// 到底了,后面没有新的aggregation,可以统计数据了
totalCount += buckets.size();
}
}
}
return totalCount;
}
最后得到的count就是count(0)的值。
完整代码如下:(删除了所有BoolQueryBuilder)
SearchRequest searchRequest = new SearchRequest(esIndex);
SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();
AggregationBuilder aggregationBuilder = AggregationBuilders.terms("tableName").field("tableName").size(100000);
TermsAggregationBuilder dataSourceAgg = AggregationBuilders.terms("dataSourceId").field("dataSourceId");
TermsAggregationBuilder systemIdAgg = AggregationBuilders.terms("systemId").field("systemId");
dataSourceAgg.subAggregation(systemIdAgg);
aggregationBuilder.subAggregation(dataSourceAgg);
sourceBuilder.aggregation(aggregationBuilder);
searchRequest.source(sourceBuilder);
try {
SearchResponse searchResponse = client.search(searchRequest, RequestOptions.DEFAULT);
long count = 0;
Aggregations aggregations = searchResponse.getAggregations();
count = EsAggregationUtil.count(aggregations);
return count;
} catch (IOException e) {
e.printStackTrace();
}
return 0L;
=========================================================
我正在学习如何使用Nokogiri,根据这段代码我遇到了一些问题:require'rubygems'require'mechanize'post_agent=WWW::Mechanize.newpost_page=post_agent.get('http://www.vbulletin.org/forum/showthread.php?t=230708')puts"\nabsolutepathwithtbodygivesnil"putspost_page.parser.xpath('/html/body/div/div/div/div/div/table/tbody/tr/td/div
我有一个Ruby程序,它使用rubyzip压缩XML文件的目录树。gem。我的问题是文件开始变得很重,我想提高压缩级别,因为压缩时间不是问题。我在rubyzipdocumentation中找不到一种为创建的ZIP文件指定压缩级别的方法。有人知道如何更改此设置吗?是否有另一个允许指定压缩级别的Ruby库? 最佳答案 这是我通过查看rubyzip内部创建的代码。level=Zlib::BEST_COMPRESSIONZip::ZipOutputStream.open(zip_file)do|zip|Dir.glob("**/*")d
类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc
很好奇,就使用rubyonrails自动化单元测试而言,你们正在做什么?您是否创建了一个脚本来在cron中运行rake作业并将结果邮寄给您?git中的预提交Hook?只是手动调用?我完全理解测试,但想知道在错误发生之前捕获错误的最佳实践是什么。让我们理所当然地认为测试本身是完美无缺的,并且可以正常工作。下一步是什么以确保他们在正确的时间将可能有害的结果传达给您? 最佳答案 不确定您到底想听什么,但是有几个级别的自动代码库控制:在处理某项功能时,您可以使用类似autotest的内容获得关于哪些有效,哪些无效的即时反馈。要确保您的提
假设我做了一个模块如下:m=Module.newdoclassCendend三个问题:除了对m的引用之外,还有什么方法可以访问C和m中的其他内容?我可以在创建匿名模块后为其命名吗(就像我输入“module...”一样)?如何在使用完匿名模块后将其删除,使其定义的常量不再存在? 最佳答案 三个答案:是的,使用ObjectSpace.此代码使c引用你的类(class)C不引用m:c=nilObjectSpace.each_object{|obj|c=objif(Class===objandobj.name=~/::C$/)}当然这取决于
我正在尝试使用ruby和Savon来使用网络服务。测试服务为http://www.webservicex.net/WS/WSDetails.aspx?WSID=9&CATID=2require'rubygems'require'savon'client=Savon::Client.new"http://www.webservicex.net/stockquote.asmx?WSDL"client.get_quotedo|soap|soap.body={:symbol=>"AAPL"}end返回SOAP异常。检查soap信封,在我看来soap请求没有正确的命名空间。任何人都可以建议我
关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题?更新问题,以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点?我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等),但我确实想创建一个输出文件。
Rails2.3可以选择随时使用RouteSet#add_configuration_file添加更多路由。是否可以在Rails3项目中做同样的事情? 最佳答案 在config/application.rb中:config.paths.config.routes在Rails3.2(也可能是Rails3.1)中,使用:config.paths["config/routes"] 关于ruby-on-rails-Rails3中的多个路由文件,我们在StackOverflow上找到一个类似的问题
我在我的项目目录中完成了compasscreate.和compassinitrails。几个问题:我已将我的.sass文件放在public/stylesheets中。这是放置它们的正确位置吗?当我运行compasswatch时,它不会自动编译这些.sass文件。我必须手动指定文件:compasswatchpublic/stylesheets/myfile.sass等。如何让它自动运行?文件ie.css、print.css和screen.css已放在stylesheets/compiled。如何在编译后不让它们重新出现的情况下删除它们?我自己编译的.sass文件编译成compiled/t
我想将html转换为纯文本。不过,我不想只删除标签,我想智能地保留尽可能多的格式。为插入换行符标签,检测段落并格式化它们等。输入非常简单,通常是格式良好的html(不是整个文档,只是一堆内容,通常没有anchor或图像)。我可以将几个正则表达式放在一起,让我达到80%,但我认为可能有一些现有的解决方案更智能。 最佳答案 首先,不要尝试为此使用正则表达式。很有可能你会想出一个脆弱/脆弱的解决方案,它会随着HTML的变化而崩溃,或者很难管理和维护。您可以使用Nokogiri快速解析HTML并提取文本:require'nokogiri'h