草庐IT

【ElasticSearch8】springboot整合es8(二),实现复杂检索

我要4级了 2023-11-26 原文

目录

官方api:

上一篇:

复合查询

查询对象实体类

构件查询条件列表

queryPageByFileds:查询分页信息

queryCountByFileds:查询满足复合查询条件的数据量

queryByFiledsWithPage:复合条件 分页查询

getFieldValues:构建复合查询条件


官方api:

Connecting | Elasticsearch Java API Client [8.4] | Elastichttps://www.elastic.co/guide/en/elasticsearch/client/java-api-client/current/connecting.html

上一篇:

springboot elasticSearch8开发(一),实现简单查询_大师兄小灰灰的博客-CSDN博客springboot+ElasticSearch8开发,实现简单查询https://blog.csdn.net/qq_24473507/article/details/123924463

上一篇文章发布已经过去了四个月,终于有时间补充一下了。

基于上篇简单查询基础上,新增了复合查询的功能

复合查询

复合查询用到的es查询对象为:

BoolQuery,

BoolQuery内部定义了List类型的Query对象,顾名思义,支持多个关键字复合查询

public class BoolQuery extends QueryBase implements QueryVariant {
    private final List<Query> filter;
    @Nullable
    private final String minimumShouldMatch;
    private final List<Query> must;
    private final List<Query> mustNot;
    private final List<Query> should;

通常都是将多个查询条件组合在一起,常用的有must(and)、must_not(not)、should(or),今天的案例主要用must实现复合查询

直接上代码:

查询对象实体类

添加了时间范围。关键字数组字段:

package com.hdkj.hdiot.configure.es.bean;

import cn.hutool.core.date.DateUtil;
import co.elastic.clients.elasticsearch._types.SortOrder;
import io.swagger.annotations.ApiModelProperty;
import lombok.Builder;
import lombok.Data;
import org.apache.commons.lang3.StringUtils;

import java.util.Date;
import java.util.List;

/**
 * @author liuch
 * @title: EsQueryDTO
 * @description: 查询对象
 * @date 2022/4/2 10:32
 */
@Data
public class EsQueryDTO {
    @ApiModelProperty("索引名称")
    private String indexName;
    @ApiModelProperty("关键字属性")
    private String field;
    @ApiModelProperty("关键字值")
    private String word;
    @ApiModelProperty("关键字值数组")
    private List<String> words;
    @ApiModelProperty("起始行")
    private Integer from;
    @ApiModelProperty("当前页")
    private Integer index;
    @ApiModelProperty("分页条数")
    private Integer size;
    @ApiModelProperty("排序字段")
    private String order;
    @ApiModelProperty("排序方式 asc/desc")
    private String orderType;


    @ApiModelProperty("时间字段")
    private String dateField;
    @ApiModelProperty("时间范围-开始时间")
    private String startTime;
    @ApiModelProperty("时间范围-结束时间")
    private String endTime;

    public String getOrderType() {
        if(StringUtils.isBlank(orderType)){
            orderType = SortOrder.Desc.name();
        }
        return orderType;
    }

    public Integer getSize() {
        return size==0?30:size;
    }

    public Integer getFrom() {
        return  getIndex()!=0?((getIndex()-1)*getSize()):0;
    }

    public Integer getIndex() {
        return null==index?0:index;
    }

    public String getStartTime(int offset) {
        if(StringUtils.isBlank(startTime)){
            startTime = DateUtil.format(DateUtil.offsetDay(new Date(),offset),"yyyy-MM-dd 00:00:00");
            return String.valueOf(DateUtil.parse(startTime,"yyyy-MM-dd 00:00:00").getTime());
        }
        return startTime;
    }

    public String getEndTime() {
        if(StringUtils.isBlank(endTime)){
            endTime = String.valueOf(System.currentTimeMillis());
        }
        return endTime;
    }
}

构件查询条件列表

ElasticClientUtils工具类复合查询方法:

queryPageByFileds:查询分页信息

基于from/size方式实现分页查询,是有查询限制的

为了保证性能,es默认最大查询1W条数据,可以通过调整max_result_window值修改最大查询数量。具体内容兄弟们自行找度娘。

这里直接最大支持查询1W条数据。

 /**
     * @param
     * @param client
     * @param dto
     * @param target
     * @return com.hdkj.hdiot.configure.common.PageData<T>
     * @author liuch
     * @description 查询分页信息-复合查询
     * @date 2022/4/2 17:16
     */
    public PageData<T> queryPageByFileds(ElasticsearchClient client, EsQueryDTO dto, List<Query> queries,Class<T> target) throws Exception {
        if(null == queries){
            queries = new ArrayList<>();
        }
          //查询满足复合查询条件的数据量
        long total = queryCountByFileds(client,queries, dto);
        //总条数超过1万,则只返回一万总条数
        if(total>10000){
            total = 10000;
        }
        List<T> result = queryByFiledsWithPage(client, dto, queries,target);
        PageData<T> pageData = new PageData<>(result, total);
        return pageData;
    }

queryCountByFileds:查询满足复合查询条件的数据量


    /**
     * @param
     * @param client
     * @param dto
     * @return long
     * @author liuch
     * @description 根据关键字查询总条数-复合查询
     * @date 2022/4/2 17:15
     */
    public long queryCountByFileds(ElasticsearchClient client, List<Query> queries, EsQueryDTO dto) throws Exception {
        getFieldValues(dto, queries);
        CountResponse count = client.count(c -> c.index(dto.getIndexName()).query(q->q.bool(b->b.must(queries))));
        long total = count.count();
        return total;
    }

queryByFiledsWithPage:复合条件 分页查询


    /**
     * @param client
     * @param dto
     * @param target
     * @return java.util.List<T>
     * @author liuch
     * @description 根据关键字分页查询- 复合查询
     * @date 2022/4/2 17:15
     */
    public List<T> queryByFiledsWithPage(ElasticsearchClient client, EsQueryDTO dto, List<Query> queries,Class<T> target) throws Exception {
        List<T> result = new ArrayList<>();
        List<SortOptions> sorts = new ArrayList<>();
        if (StringUtils.isNotBlank(dto.getOrder())) {
            //设置排序
            SortOptions sortOptions = SortOptions.of(s -> s.field(f -> f.field(dto.getOrder()).order(SortOrder.valueOf(dto.getOrderType()))));
            sorts.add(sortOptions);
        }
        //执行复合查询
        SearchResponse<HashMap> search = client.search(s -> s
                        .index(dto.getIndexName())
                        .query(q->q.bool(b->b.must(queries)))
                        .sort(sorts).from(dto.getFrom()).size(dto.getSize()),
                HashMap.class);
        return getResult(target, result, search);
    }

getFieldValues:构建复合查询条件


    /**
     * 构建复合查询条件
     * @param dto
     * @param queries
     */
    private void getFieldValues(EsQueryDTO dto, List<Query> queries) {
        List<FieldValue> fieldValues = new ArrayList<>();
        //根据关键字列表构件复合查询的值
        dto.getWords().stream().forEach(word -> fieldValues.add(FieldValue.of(word)));
        //给默认查询条件设置多个值
        queries.add(Query.of(q->q.terms(t -> t.field(dto.getField()).terms(v -> v.value(fieldValues)))));
    }

查询:根据实际业务场景,将时间范围作为条件之一,再设置需要的其他条件

/**
     * 获取解码失败报文
     *
     * @param dto
     * @return
     */
    @Override
    public Result getDecodeFailMsg(EsQueryDTO dto) {
        try {
            //查询索引名称
            dto.setIndexName("origin_data");
            //默认查询关键字
            dto.setField("drvid");
            dto.setOrder("created");
            dto.setOrderType(SortOrder.Desc.name());
            List<Query> queryList = new ArrayList<>();
            if (StringUtils.isNotBlank(dto.getStartTime())) {
                //通过range设置时间查询范围
                queryList.add(Query.of(q -> q.range(r -> r.field("created").from(dto.getStartTime()).to(dto.getEndTime()))));
            }
            //添加解码失败条件和值
            queryList.add(Query.of(q -> q.term(t -> t.field("decoded").value(0))));
            PageData<HdiotOriginalDTO> pageData = new ElasticClientUtils<HdiotOriginalDTO>().queryPageByFileds(client, dto, queryList, HdiotOriginalDTO.class);
            return new Result().ok(pageData);
        } catch (Exception e) {
            e.printStackTrace();
            return new Result().error(e.getMessage());
        }
    }

以上就是复合查询的全部内容,可能比较乱,有问题欢迎大家评论区发言指正。

后面会再更新一篇基于scroll的深度分页查询,大家多多支持!

https://blog.csdn.net/qq_24473507/article/details/126525835https://blog.csdn.net/qq_24473507/article/details/126525835

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/qq_24473507/article/details/126524062
————————————————
版权声明:本文为CSDN博主「大师兄小灰灰」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/qq_24473507/article/details/126524062

有关【ElasticSearch8】springboot整合es8(二),实现复杂检索的更多相关文章

  1. ruby - 如何根据特征实现 FactoryGirl 的条件行为 - 2

    我有一个用户工厂。我希望默认情况下确认用户。但是鉴于unconfirmed特征,我不希望它们被确认。虽然我有一个基于实现细节而不是抽象的工作实现,但我想知道如何正确地做到这一点。factory:userdoafter(:create)do|user,evaluator|#unwantedimplementationdetailshereunlessFactoryGirl.factories[:user].defined_traits.map(&:name).include?(:unconfirmed)user.confirm!endendtrait:unconfirmeddoenden

  2. 华为OD机试用Python实现 -【明明的随机数】 2023Q1A - 2

    华为OD机试题本篇题目:明明的随机数题目输入描述输出描述:示例1输入输出说明代码编写思路最近更新的博客华为od2023|什么是华为od,od薪资待遇,od机试题清单华为OD机试真题大全,用Python解华为机试题|机试宝典【华为OD机试】全流程解析+经验分享,题型分享,防作弊指南华为o

  3. 使用canal同步MySQL数据到ES - 2

    文章目录一、概述简介原理模块二、配置Mysql使用版本环境要求1.操作系统2.mysql要求三、配置canal-server离线下载在线下载上传解压修改配置单机配置集群配置分库分表配置1.修改全局配置2.实例配置垂直分库水平分库3.修改group-instance.xml4.启动监听四、配置canal-adapter1修改启动配置2配置映射文件3启动ES数据同步查询所有订阅同步数据同步开关启动4.验证五、配置canal-admin一、概述简介canal是Alibaba旗下的一款开源项目,Java开发。基于数据库增量日志解析,提供增量数据订阅&消费。Git地址:https://github.co

  4. 基于C#实现简易绘图工具【100010177】 - 2

    C#实现简易绘图工具一.引言实验目的:通过制作窗体应用程序(C#画图软件),熟悉基本的窗体设计过程以及控件设计,事件处理等,熟悉使用C#的winform窗体进行绘图的基本步骤,对于面向对象编程有更加深刻的体会.Tutorial任务设计一个具有基本功能的画图软件**·包括简单的新建文件,保存,重新绘图等功能**·实现一些基本图形的绘制,包括铅笔和基本形状等,学习橡皮工具的创建**·设计一个合理舒适的UI界面**注明:你可能需要先了解一些关于winform窗体应用程序绘图的基本知识,以及关于GDI+类和结构的知识二.实验环境Windows系统下的visualstudio2017C#窗体应用程序三.

  5. MIMO-OFDM无线通信技术及MATLAB实现(1)无线信道:传播和衰落 - 2

     MIMO技术的优缺点优点通过下面三个增益来总体概括:阵列增益。阵列增益是指由于接收机通过对接收信号的相干合并而活得的平均SNR的提高。在发射机不知道信道信息的情况下,MIMO系统可以获得的阵列增益与接收天线数成正比复用增益。在采用空间复用方案的MIMO系统中,可以获得复用增益,即信道容量成倍增加。信道容量的增加与min(Nt,Nr)成正比分集增益。在采用空间分集方案的MIMO系统中,可以获得分集增益,即可靠性性能的改善。分集增益用独立衰落支路数来描述,即分集指数。在使用了空时编码的MIMO系统中,由于接收天线或发射天线之间的间距较远,可认为它们各自的大尺度衰落是相互独立的,因此分布式MIMO

  6. 【Java入门】使用Java实现文件夹的遍历 - 2

    遍历文件夹我们通常是使用递归进行操作,这种方式比较简单,也比较容易理解。本文为大家介绍另一种不使用递归的方式,由于没有使用递归,只用到了循环和集合,所以效率更高一些!一、使用递归遍历文件夹整体思路1、使用File封装初始目录,2、打印这个目录3、获取这个目录下所有的子文件和子目录的数组。4、遍历这个数组,取出每个File对象4-1、如果File是否是一个文件,打印4-2、否则就是一个目录,递归调用代码实现publicclassSearchFile{publicstaticvoidmain(String[]args){//初始目录Filedir=newFile("d:/Dev");Datebeg

  7. ES基础入门 - 2

    ES一、简介1、ElasticStackES技术栈:ElasticSearch:存数据+搜索;QL;Kibana:Web可视化平台,分析。LogStash:日志收集,Log4j:产生日志;log.info(xxx)。。。。使用场景:metrics:指标监控…2、基本概念Index(索引)动词:保存(插入)名词:类似MySQL数据库,给数据Type(类型)已废弃,以前类似MySQL的表现在用索引对数据分类Document(文档)真正要保存的一个JSON数据{name:"tcx"}二、入门实战{"name":"DESKTOP-1TSVGKG","cluster_name":"elasticsear

  8. ruby - Arrays Sets 和 SortedSets 在 Ruby 中是如何实现的 - 2

    通常,数组被实现为内存块,集合被实现为HashMap,有序集合被实现为跳跃列表。在Ruby中也是如此吗?我正在尝试从性能和内存占用方面评估Ruby中不同容器的使用情况 最佳答案 数组是Ruby核心库的一部分。每个Ruby实现都有自己的数组实现。Ruby语言规范只规定了Ruby数组的行为,并没有规定任何特定的实现策略。它甚至没有指定任何会强制或至少建议特定实现策略的性能约束。然而,大多数Rubyist对数组的性能特征有一些期望,这会迫使不符合它们的实现变得默默无闻,因为实际上没有人会使用它:插入、前置或追加以及删除元素的最坏情况步骤复

  9. ruby - 使用 AES 的 Rails 加密,过于复杂 - 2

    我在加密来self正在使用的第三方供应商的值时遇到问题。他们的指令如下:1)Converttheencryptionpasswordtoabytearray.2)Convertthevaluetobeencryptedtoabytearray.3)Theentirelengthofthearrayisinsertedasthefirstfourbytesontothefrontofthefirstblockoftheresultantbytearraybeforeencryption.4)EncryptthevalueusingAESwith:1.256-bitkeysize,2.25

  10. ruby-on-rails - 使用 HTTP.get_response 检索 Facebook 访问 token 时出现 Rails EOF 错误 - 2

    我试图在我的网站上实现使用Facebook登录功能,但在尝试从Facebook取回访问token时遇到障碍。这是我的代码:ifparams[:error_reason]=="user_denied"thenflash[:error]="TologinwithFacebook,youmustclick'Allow'toletthesiteaccessyourinformation"redirect_to:loginelsifparams[:code]thentoken_uri=URI.parse("https://graph.facebook.com/oauth/access_token

随机推荐