草庐IT

Spring Boot整合分布式搜索引擎ElasticSearch 实现相关基本操作

百思不得小赵 2023-05-20 原文

文章目录

一、ElasticSearch 介绍

Elasticsearch 是一个分布式、高扩展、高实时的搜索与数据分析引擎。它能很方便的使大量数据具有搜索、分析和探索的能力。充分利用Elasticsearch的水平伸缩性,能使数据在生产环境变得更有价值。Elasticsearch 的实现原理主要分为以下几个步骤,首先用户将数据提交到Elasticsearch 数据库中,再通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据,当用户搜索数据时候,再根据权重将结果排名,打分,再将返回结果呈现给用户。

ElasticSearch 官网地址:https://www.elastic.co/cn/

二、环境准备

在开始开发之前,我们需要准备一些环境配置:

  • jdk 1.8 或其他更高版本
  • 开发工具 IDEA
  • 管理依赖 Maven
  • ElasticSearch环境,此处使用docker搭建,ElasticSearch 版本为7.17.7
  • Spring Boot 2.X

三、创建Spring Boot项目导入依赖

<dependencies>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-web</artifactId>
    </dependency>

    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-data-elasticsearch</artifactId>
    </dependency>

    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-test</artifactId>
        <scope>test</scope>
    </dependency>
</dependencies>

注意:依赖版本必须与你当前所用的版本保持一致,否则连接失败

四、创建高级客户端

新建config目录存放项目配置类

@Configuration
public class ElasticSearchClientConfig {
    @Bean
    public RestHighLevelClient restHighLevelClient(){
        RestHighLevelClient client = new RestHighLevelClient(
                RestClient.builder(
                        new HttpHost("服务器IP地址", 9200, "http")));
        return client;
    }
}

五、基本操作

索引操作

@SpringBootTest
class DemoApplicationTests {

    @Autowired
    private RestHighLevelClient restHighLevelClient;

    /**
    * 创建索引
    **/
    @Test
    void testCreateIndex() throws IOException {
        //1.创建索引请求
        CreateIndexRequest request = new CreateIndexRequest("lt");
        //2.客户端执行请求IndicesClient,执行create方法创建索引,请求后获得响应
        CreateIndexResponse response=
                restHighLevelClient.indices().create(request, RequestOptions.DEFAULT);
        System.out.println(response);
    }

    /**
     * 判断索引是否存在
     **/
    @Test
    void testExistIndex() throws IOException {
        //1.查询索引请求
        GetIndexRequest request=new GetIndexRequest("lt");
        //2.执行exists方法判断是否存在
        boolean exists=restHighLevelClient.indices().exists(request,RequestOptions.DEFAULT);
        System.out.println(exists ? "存在" : "消失");
    }

    /**
     * 删除索引
     **/
    @Test
    void testDeleteIndex() throws IOException {
        //1.删除索引请求
        DeleteIndexRequest request=new DeleteIndexRequest("lt");
        //执行delete方法删除指定索引
        AcknowledgedResponse delete = restHighLevelClient.indices().delete(request, RequestOptions.DEFAULT);
        System.out.println(delete.isAcknowledged() ? "删除成功" : "删除失败");
    }
}

文档操作

创建实体类User

@Data
@NoArgsConstructor
@AllArgsConstructor
@ToString
public class User {
    private String name;
    private Integer age;
    private String[] funny;
}

文档相关操作代码

/**
 * 创建文档
 **/
@Test
void testAddUser() throws IOException {
    //1.创建对象
    User user=new User("小赵",21,new String[]{"篮球","吃饭"});
    //2.创建请求
    IndexRequest request=new IndexRequest("lt");
    //3.设置规则 PUT /lt/_doc/1
    //设置文档id=6,设置超时=1s等,不设置会使用默认的
    //同时支持链式编程如 request.id("6").timeout("1s");
    request.id("6");
    request.timeout("1s");

    //4.将数据放入请求,要将对象转化为json格式
    //XContentType.JSON,告诉它传的数据是JSON类型
    request.source(JSONValue.toJSONString(user), XContentType.JSON);

    //5.客户端发送请求,获取响应结果
    IndexResponse indexResponse=restHighLevelClient.index(request,RequestOptions.DEFAULT);
    System.out.println(indexResponse.toString());
    System.out.println(indexResponse.status());
}

/**
 * 获取文档数据
 **/
@Test
void testGetUser() throws IOException {
    //1.创建请求,指定索引、文档id
    GetRequest request=new GetRequest("lt","1");
    GetResponse getResponse=restHighLevelClient.get(request,RequestOptions.DEFAULT);

    System.out.println(getResponse);//获取响应结果
    //getResponse.getSource() 返回的是Map集合
    System.out.println(getResponse.getSourceAsString());//获取响应结果source中内容,转化为字符串
}

/**
 * 更新文档
 **/
@Test
void testUpdateUser() throws IOException {
    //1.创建请求,指定索引、文档id
    UpdateRequest request=new UpdateRequest("lt","6");

    User user =new User("xiaozhao",21,new String[]{"xxx","xxx"});
    //将创建的对象放入文档中
    request.doc(JSONValue.toJSONString(user),XContentType.JSON);

    UpdateResponse updateResponse=restHighLevelClient.update(request,RequestOptions.DEFAULT);
    System.out.println(updateResponse.status());
}

/**
 * 删除文档
 **/
@Test
void testDeleteUser() throws IOException {
    //创建删除请求,指定要删除的索引与文档ID
    DeleteRequest request=new DeleteRequest("lt","6");

    DeleteResponse updateResponse=restHighLevelClient.delete(request,RequestOptions.DEFAULT);
    System.out.println(updateResponse.status());
}

批量插入数据

/**
 * 批量插入数据
 **/
@Test
void testBulkAddUser() throws IOException {
    BulkRequest bulkRequest=new BulkRequest();
    //设置超时
    bulkRequest.timeout("10s");

    ArrayList<User> list=new ArrayList<>();
    list.add(new User("Java",25,new String[]{"内卷"}));
    list.add(new User("Go",18,new String[]{"内卷"}));
    list.add(new User("C",30,new String[]{"内卷"}));
    list.add(new User("C++",26,new String[]{"内卷"}));
    list.add(new User("Python",20,new String[]{"内卷"}));

    int id=1;
    //批量处理请求
    for (User u :list){
        //不设置id会生成随机id
        bulkRequest.add(new IndexRequest("ljx666")
                .id(""+(id++))
                .source(JSONValue.toJSONString(u),XContentType.JSON));
    }

    BulkResponse bulkResponse=restHighLevelClient.bulk(bulkRequest,RequestOptions.DEFAULT);
    System.out.println(bulkResponse.hasFailures());//是否执行失败,false为执行成功
}

其他操作

@Test
void testSearch() throws IOException {
    SearchRequest searchRequest=new SearchRequest("ljx666");//里面可以放多个索引
    SearchSourceBuilder sourceBuilder=new SearchSourceBuilder();//构造搜索条件

    //此处可以使用QueryBuilders工具类中的方法
    //1.查询所有
    sourceBuilder.query(QueryBuilders.matchAllQuery());
    //2.查询name中含有Java的
    sourceBuilder.query(QueryBuilders.multiMatchQuery("java","name"));
    //3.分页查询
    sourceBuilder.from(0).size(5);

    //4.按照score正序排列
    //sourceBuilder.sort(SortBuilders.scoreSort().order(SortOrder.ASC));
    //5.按照id倒序排列(score会失效返回NaN)
    //sourceBuilder.sort(SortBuilders.fieldSort("_id").order(SortOrder.DESC));

    //6.给指定字段加上指定高亮样式
    HighlightBuilder highlightBuilder=new HighlightBuilder();
    highlightBuilder.field("name").preTags("<span style='color:red;'>").postTags("</span>");
    sourceBuilder.highlighter(highlightBuilder);

    searchRequest.source(sourceBuilder);
    SearchResponse searchResponse=restHighLevelClient.search(searchRequest,RequestOptions.DEFAULT);

    //获取总条数
    System.out.println(searchResponse.getHits().getTotalHits().value);
    //输出结果数据(如果不设置返回条数,大于10条默认只返回10条)
    SearchHit[] hits=searchResponse.getHits().getHits();
    for(SearchHit hit :hits){
        System.out.println("分数:"+hit.getScore());
        Map<String,Object> source=hit.getSourceAsMap();
        System.out.println("index->"+hit.getIndex());
        System.out.println("id->"+hit.getId());
        for(Map.Entry<String,Object> s:source.entrySet()){
            System.out.println(s.getKey()+"--"+s.getValue());
        }
    }
}

六、总结

  • 依赖版本必须与你当前所用的版本保持一致,否则连接失败。
  • 如果添加时不指定文档ID,他就会随机生成一个ID,ID唯一。
  • 创建文档时若该ID已存在,发送创建文档请求后会更新文档中的数据。
  • 更新文档时需要将实体对象中的属性全部指定值,不然会被设置为空,如果只设置了一个字段,那么只有该字段会被修改成功,其他会被修改为null。
  • hasFailures()方法是返回是否失败,即它的值为false时说明上传成功
  • elasticsearch很消耗内存,极力推荐使用docker部署运行

有关Spring Boot整合分布式搜索引擎ElasticSearch 实现相关基本操作的更多相关文章

  1. ruby - 在没有 sass 引擎的情况下使用 sass 颜色函数 - 2

    我想在一个没有Sass引擎的类中使用Sass颜色函数。我已经在项目中使用了sassgem,所以我认为搭载会像以下一样简单:classRectangleincludeSass::Script::FunctionsdefcolorSass::Script::Color.new([0x82,0x39,0x06])enddefrender#hamlengineexecutedwithcontextofself#sothatwithintemlateicouldcall#%stop{offset:'0%',stop:{color:lighten(color)}}endend更新:参见上面的#re

  2. ruby - 如何根据特征实现 FactoryGirl 的条件行为 - 2

    我有一个用户工厂。我希望默认情况下确认用户。但是鉴于unconfirmed特征,我不希望它们被确认。虽然我有一个基于实现细节而不是抽象的工作实现,但我想知道如何正确地做到这一点。factory:userdoafter(:create)do|user,evaluator|#unwantedimplementationdetailshereunlessFactoryGirl.factories[:user].defined_traits.map(&:name).include?(:unconfirmed)user.confirm!endendtrait:unconfirmeddoenden

  3. ruby-on-rails - Nokogiri:使用 XPath 搜索 <div> - 2

    我使用Nokogiri(Rubygem)css搜索寻找某些在我的html里面。看起来Nokogiri的css搜索不喜欢正则表达式。我想切换到Nokogiri的xpath搜索,因为这似乎支持搜索字符串中的正则表达式。如何在xpath搜索中实现下面提到的(伪)css搜索?require'rubygems'require'nokogiri'value=Nokogiri::HTML.parse(ABBlaCD3"HTML_END#my_blockisgivenmy_bl="1"#my_eqcorrespondstothisregexmy_eq="\/[0-9]+\/"#FIXMEThefoll

  4. ruby - 分布式事务和队列,ruby,erlang,scala - 2

    我有一个涉及多台机器、消息队列和事务的问题。因此,例如用户点击网页,点击将消息发送到另一台机器,该机器将付款添加到用户的帐户。每秒可能有数千次点击。事务的所有方面都应该是容错的。我以前从未遇到过这样的事情,但一些阅读表明这是一个众所周知的问题。所以我的问题。我假设安全的方法是使用两阶段提交,但协议(protocol)是阻塞的,所以我不会获得所需的性能,我是否正确?我通常写Ruby,但似乎Redis之类的数据库和Rescue、RabbitMQ等消息队列系统对我的帮助不大——即使我实现某种两阶段提交,如果Redis崩溃,数据也会丢失,因为它本质上只是内存。所有这些让我开始关注erlang和

  5. ruby-on-rails - Rails 中的推荐引擎 - 2

    我想为我的Rails网络应用程序提供推荐功能。特别是,我想向新注册的用户推荐他可能想要关注的其他用户。Rails中是否有用于此目的的引擎/gem?如果没有,我应该从哪里开始构建它?谢谢。 最佳答案 有Coletivogemhttps://github.com/diogenes/coletivo我试了一下。在MySQL上运行。Neo4jhttp://neo4j.org真的很容易实现一个“跟随谁”。事实上,大多数展示其能力的样本都涉及“跟随谁”。快速提示-只有在JRuby上运行时,Neo4j.rb才会很酷。如果不是-使用Neograph

  6. 世界前沿3D开发引擎HOOPS全面讲解——集3D数据读取、3D图形渲染、3D数据发布于一体的全新3D应用开发工具 - 2

    无论您是想搭建桌面端、WEB端或者移动端APP应用,HOOPSPlatform组件都可以为您提供弹性的3D集成架构,同时,由工业领域3D技术专家组成的HOOPS技术团队也能为您提供技术支持服务。如果您的客户期望有一种在多个平台(桌面/WEB/APP,而且某些客户端是“瘦”客户端)快速、方便地将数据接入到3D应用系统的解决方案,并且当访问数据时,在各个平台上的性能和用户体验保持一致,HOOPSPlatform将帮助您完成。利用HOOPSPlatform,您可以开发在任何环境下的3D基础应用架构。HOOPSPlatform可以帮您打造3D创新型产品,HOOPSSDK包含的技术有:快速且准确的CAD

  7. 叮咚买菜基于 Apache Doris 统一 OLAP 引擎的应用实践 - 2

    导读:随着叮咚买菜业务的发展,不同的业务场景对数据分析提出了不同的需求,他们希望引入一款实时OLAP数据库,构建一个灵活的多维实时查询和分析的平台,统一数据的接入和查询方案,解决各业务线对数据高效实时查询和精细化运营的需求。经过调研选型,最终引入ApacheDoris作为最终的OLAP分析引擎,Doris作为核心的OLAP引擎支持复杂地分析操作、提供多维的数据视图,在叮咚买菜数十个业务场景中广泛应用。作者|叮咚买菜资深数据工程师韩青叮咚买菜创立于2017年5月,是一家专注美好食物的创业公司。叮咚买菜专注吃的事业,为满足更多人“想吃什么”而努力,通过美好食材的供应、美好滋味的开发以及美食品牌的孵

  8. 华为OD机试用Python实现 -【明明的随机数】 2023Q1A - 2

    华为OD机试题本篇题目:明明的随机数题目输入描述输出描述:示例1输入输出说明代码编写思路最近更新的博客华为od2023|什么是华为od,od薪资待遇,od机试题清单华为OD机试真题大全,用Python解华为机试题|机试宝典【华为OD机试】全流程解析+经验分享,题型分享,防作弊指南华为o

  9. UE4 源码阅读:从引擎启动到Receive Begin Play - 2

    一、引擎主循环UE版本:4.27一、引擎主循环的位置:Launch.cpp:GuardedMain函数二、、GuardedMain函数执行逻辑:1、EnginePreInit:加载大多数模块int32ErrorLevel=EnginePreInit(CmdLine);PreInit模块加载顺序:模块加载过程:(1)注册模块中定义的UObject,同时为每个类构造一个类默认对象(CDO,记录类的默认状态,作为模板用于子类实例创建)(2)调用模块的StartUpModule方法2、FEngineLoop::Init()1、检查Engine的配置文件找出使用了哪一个GameEngine类(UGame

  10. 基于C#实现简易绘图工具【100010177】 - 2

    C#实现简易绘图工具一.引言实验目的:通过制作窗体应用程序(C#画图软件),熟悉基本的窗体设计过程以及控件设计,事件处理等,熟悉使用C#的winform窗体进行绘图的基本步骤,对于面向对象编程有更加深刻的体会.Tutorial任务设计一个具有基本功能的画图软件**·包括简单的新建文件,保存,重新绘图等功能**·实现一些基本图形的绘制,包括铅笔和基本形状等,学习橡皮工具的创建**·设计一个合理舒适的UI界面**注明:你可能需要先了解一些关于winform窗体应用程序绘图的基本知识,以及关于GDI+类和结构的知识二.实验环境Windows系统下的visualstudio2017C#窗体应用程序三.

随机推荐