草庐IT

Java注解(4):一个真实的Elasticsearch案例

湘王 2023-04-16 原文

昨天把拼了一半的注解+Elasticsearch积木放下了,因为东西太多了拼不好,还容易乱。休息了一晚上接着来。

 

接着昨天,创建elasticsearch文档注解(相当于数据表的注解):

/**
 * elastic文档注解,定义每个elasticsearch文档上的属性
 *
 * @author xiangwang
 */
@Inherited
@Retention(RetentionPolicy.RUNTIME)
@Target({ ElementType.TYPE })
public @interface Document {
    String index();

    String type() default "_doc";

    boolean useServerConfiguration() default false;

    short shards() default 1;

    short replicas() default 0;

    String refreshInterval() default "1s";

    String indexStoreType() default "fs";
}

 

然后再创建elasticsearch文档(相当于数据表):

/**
 * elastic文档对象
 *
 * @author xiangwang
 */
@Document(index = "document", type = "_doc", shards = 1, replicas = 0)
public class ElasticDocument {
    private static final long serialVersionUID = 2879048112350101009L;
    // 文档编码
    @DocField(name = "guid", type = FieldType.Keyword)
    protected String guid = "";
    // 标题
    @DocField(name = "title", type = FieldType.Text, analyzer = "ik_max_word", searchAnalyzer = "ik_max_word")
    protected String title = "";
    // 文档创建时间(资源实际创建时间)
    @DocField(name = "createtime", type = FieldType.Long)
    protected long createtime;
    // 文档更新时间(资源实际更新时间)
    @DocField(name = "updatetime", type = FieldType.Long)
    protected long updatetime;

    public ElasticDocument() {
    }
    public String getGuid() {
        return guid;
    }
    public void setGuid(String guid) {
        this.guid = guid;
    }
    public String getTitle() {
        return title;
    }
    public void setTitle(String title) {
        this.title = title;
    }
    public long getCreatetime() {
        return createtime;
    }
    public void setCreatetime(long createtime) {
        this.createtime = createtime;
    }
    public long getUpdatetime() {
        return updatetime;
    }
    public void setUpdatetime(long updatetime) {
        this.updatetime = updatetime;
    }
    @Override
    public String toString() {
        return String.format("{\"guid\":\"%s\", \"title\":\"%s\", \"createtime\":%d, " +
                        "\"updatetime\":%d}", guid, title, createtime, updatetime);
    }
}

 

这里面的@Document就是刚才创建的文档注解。

最后,创建一个真正的执行者,就由它来完成所有材料的拼装:

/**
 * ElasticDao
 *
 * @author xiangwang
 */
@Component
public class ElasticDao {
    // ElasticConfiguration中定义的Bean对象
    @Autowired
    private RestHighLevelClient client;

    /**
     * 索引是否存在
     *
     */
    public boolean indexExist(final String index) {
        try {
            return client.indices().exists(new GetIndexRequest(index), RequestOptions.DEFAULT);
        } catch (IOException e) {
            System.out.println("index exist exception");
        }
        return false;
    }

    /**
     * 解析类注解,获取包括父类字段在内的所有字段
     * 因为解析的时候,会把父类及自身的一些额外字段给解析进去
     * 如logger、serialVersionUID等
     * 所以需要把这些无用的字段排除掉
     * 这里不存在继承,所以直接调用clazz.getDeclaredFields()
     * 另外,如果存在继承关系,该怎么处理呢?(可以思考一下)
     *
     */
    public static List<Field> getAllDeclaredFields(Class<?> clazz) {
        return new ArrayList<>(Arrays.asList(clazz.getDeclaredFields()));
    }

    /**
     * 创建索引,前面都是为了实现它作准备
     * 这里会通过注解,一路解析文档的字段,拼接成可执行的脚本交给elasticsearch的api去执行
     *
     */
    public boolean createIndex(final String index, final Class<?> clazz) {
        try {
            Document document = (Document) clazz.getAnnotation(Document.class);
            int shards = document.shards();
            int replicas = document.replicas();
            if (indexExist(index)) {
                return false;
            }

            CreateIndexRequest request = new CreateIndexRequest(index);
            request.settings(Settings.builder()
                    .put("index.number_of_shards", shards)
                    .put("index.number_of_replicas", replicas)
            );
            StringBuilder builder = new StringBuilder();
            builder.append("{\n");
            builder.append("   \"properties\": {\n");

            List<Field> list = getAllDeclaredFields(clazz);
            int length = list.size();
            for (int i = 0; i < length; i++) {
                DocField docField = list.get(i).getAnnotation(DocField.class);
                if (null == docField) {
                    continue;
                }
                builder.append("      \"").append(docField.name()).append("\" : {\n");
                builder.append("         \"type\" : \"").append(docField.type().value).append("\"");
                if (docField.index()) {
                    builder.append(", \n");
                    builder.append("         \"index\" : ").append(docField.index());
                }
                if (docField.fielddata()) {
                    builder.append(", \n");
                    builder.append("         \"fielddata\" : ").append(docField.fielddata());
                }
                if (docField.store()) {
                    builder.append(", \n");
                    builder.append("         \"store\" : ").append(docField.store());
                }
                if (StringUtils.isNotBlank(docField.analyzer())) {
                    builder.append(", \n");
                    builder.append("         \"analyzer\" : \"").append(docField.analyzer()).append("\"");
                }
                if (StringUtils.isNotBlank(docField.format())) {
                    builder.append(", \n");
                    builder.append("         \"format\" : \"").append(docField.format()).append("\"");
                }
                if (StringUtils.isNotBlank(docField.searchAnalyzer())) {
                    builder.append(", \n");
                    builder.append("         \"search_analyzer\" : \"").append(docField.searchAnalyzer()).append("\"");
                }
                if (StringUtils.isNotBlank(docField.pattern())) {
                    builder.append(", \n");
                    builder.append("         \"pattern\" : \"").append(docField.pattern()).append("\"");
                }
                if (StringUtils.isNotBlank(docField.normalizer())) {
                    builder.append(", \n");
                    builder.append("         \"normalizer\" : \"").append(docField.normalizer()).append("\"");
                }
                if (i == length -1) {
                    builder.append("\n      }\n");
                } else {
                    builder.append("\n      }, \n");
                }
            }
            builder.append("   }\n");
            builder.append("}\n");
            request.mapping(JSON.parseObject(builder.toString()).toJSONString(), XContentType.JSON);
            CreateIndexResponse response = client.indices().create(request, RequestOptions.DEFAULT);
            boolean acknowledged = response.isAcknowledged();
            return acknowledged;
        } catch (IOException e) {
            System.out.println("create index exception");
        }
        return false;
    }
}

 

好了,现在该搭个台子让这个执行者上台表演了:

/**
 * 索引Service实现
 *
 * @author xiangwang
 */
@Service
public class IndexService {
    @Resource
    private ElasticDao elasticDao;

    /**
     * 索引初始化
     *
     * 这个方法可以在启动应用时调用,可以在接口中调用,也可以在main方法中调用
     */
    @PostConstruct
    private void initIndex() {
        boolean flag = false;
        // 创建一个名为Test的索引
        if (!elasticDao.indexExist("Test")) {
            flag = elasticDao.createIndex("Test", ElasticDocument.class);
            if (flag) {
                System.out.println("create Test index success");
            } else {
                System.out.println("create Test index failure");
            }
        } else {
            System.out.println("Test index exist");
        }
    }
}

 

这就是整个注解结合Elasticsearch的真实案例。

其实这玩意一开始只是作为代码里面的小工具,但到后来随着需求越来越多,越来越变态,在我们后来的系统中它发展成了一个内部的小系统,可以通过管理后台的功能按钮来动态创建、修改、删除Elasticsearch的索引和文档,以及导出、导入数据等等功能,既非常强大,也非常方便。

我想,那些目前主流开发的框架也都是这么从小做起,一点点发展起来的吧。

 

有关Java注解(4):一个真实的Elasticsearch案例的更多相关文章

  1. ruby - 使用 Vim Rails,您可以创建一个新的迁移文件并一次性打开它吗? - 2

    使用带有Rails插件的vim,您可以创建一个迁移文件,然后一次性打开该文件吗?textmate也可以这样吗? 最佳答案 你可以使用rails.vim然后做类似的事情::Rgeneratemigratonadd_foo_to_bar插件将打开迁移生成的文件,这正是您想要的。我不能代表textmate。 关于ruby-使用VimRails,您可以创建一个新的迁移文件并一次性打开它吗?,我们在StackOverflow上找到一个类似的问题: https://sta

  2. ruby-on-rails - Rails - 一个 View 中的多个模型 - 2

    我需要从一个View访问多个模型。以前,我的links_controller仅用于提供以不同方式排序的链接资源。现在我想包括一个部分(我假设)显示按分数排序的顶级用户(@users=User.all.sort_by(&:score))我知道我可以将此代码插入每个链接操作并从View访问它,但这似乎不是“ruby方式”,我将需要在不久的将来访问更多模型。这可能会变得很脏,是否有针对这种情况的任何技术?注意事项:我认为我的应用程序正朝着单一格式和动态页面内容的方向发展,本质上是一个典型的网络应用程序。我知道before_filter但考虑到我希望应用程序进入的方向,这似乎很麻烦。最终从任何

  3. ruby-on-rails - 渲染另一个 Controller 的 View - 2

    我想要做的是有2个不同的Controller,client和test_client。客户端Controller已经构建,我想创建一个test_clientController,我可以使用它来玩弄客户端的UI并根据需要进行调整。我主要是想绕过我在客户端中内置的验证及其对加载数据的管理Controller的依赖。所以我希望test_clientController加载示例数据集,然后呈现客户端Controller的索引View,以便我可以调整客户端UI。就是这样。我在test_clients索引方法中试过这个:classTestClientdefindexrender:template=>

  4. ruby-on-rails - 如果 Object::try 被发送到一个 nil 对象,为什么它会起作用? - 2

    如果您尝试在Ruby中的nil对象上调用方法,则会出现NoMethodError异常并显示消息:"undefinedmethod‘...’fornil:NilClass"然而,有一个tryRails中的方法,如果它被发送到一个nil对象,它只返回nil:require'rubygems'require'active_support/all'nil.try(:nonexisting_method)#noNoMethodErrorexceptionanymore那么try如何在内部工作以防止该异常? 最佳答案 像Ruby中的所有其他对象

  5. ruby - 为什么 SecureRandom.uuid 创建一个唯一的字符串? - 2

    关闭。这个问题需要detailsorclarity.它目前不接受答案。想改进这个问题吗?通过editingthispost添加细节并澄清问题.关闭8年前。Improvethisquestion为什么SecureRandom.uuid创建一个唯一的字符串?SecureRandom.uuid#=>"35cb4e30-54e1-49f9-b5ce-4134799eb2c0"SecureRandom.uuid方法创建的字符串从不重复?

  6. java - 等价于 Java 中的 Ruby Hash - 2

    我真的很习惯使用Ruby编写以下代码:my_hash={}my_hash['test']=1Java中对应的数据结构是什么? 最佳答案 HashMapmap=newHashMap();map.put("test",1);我假设? 关于java-等价于Java中的RubyHash,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.com/questions/22737685/

  7. ruby-on-rails - Rails - 从另一个模型中创建一个模型的实例 - 2

    我有一个正在构建的应用程序,我需要一个模型来创建另一个模型的实例。我希望每辆车都有4个轮胎。汽车模型classCar轮胎模型classTire但是,在make_tires内部有一个错误,如果我为Tire尝试它,则没有用于创建或新建的activerecord方法。当我检查轮胎时,它没有这些方法。我该如何补救?错误是这样的:未定义的方法'create'forActiveRecord::AttributeMethods::Serialization::Tire::Module我测试了两个环境:测试和开发,它们都因相同的错误而失败。 最佳答案

  8. ruby - 用 Ruby 编写一个简单的网络服务器 - 2

    我想在Ruby中创建一个用于开发目的的极其简单的Web服务器(不,不想使用现成的解决方案)。代码如下:#!/usr/bin/rubyrequire'socket'server=TCPServer.new('127.0.0.1',8080)whileconnection=server.acceptheaders=[]length=0whileline=connection.getsheaders想法是从命令行运行这个脚本,提供另一个脚本,它将在其标准输入上获取请求,并在其标准输出上返回完整的响应。到目前为止一切顺利,但事实证明这真的很脆弱,因为它在第二个请求上中断并出现错误:/usr/b

  9. ruby - 一个 YAML 对象可以引用另一个吗? - 2

    我想让一个yaml对象引用另一个,如下所示:intro:"Hello,dearuser."registration:$introThanksforregistering!new_message:$introYouhaveanewmessage!上面的语法只是它如何工作的一个例子(这也是它在thiscpanmodule中的工作方式。)我正在使用标准的ruby​​yaml解析器。这可能吗? 最佳答案 一些yaml对象确实引用了其他对象:irb>require'yaml'#=>trueirb>str="hello"#=>"hello"ir

  10. java - 从 JRuby 调用 Java 类的问题 - 2

    我正在尝试使用boilerpipe来自JRuby。我看过guide从JRuby调用Java,并成功地将它与另一个Java包一起使用,但无法弄清楚为什么同样的东西不能用于boilerpipe。我正在尝试基本上从JRuby中执行与此Java等效的操作:URLurl=newURL("http://www.example.com/some-location/index.html");Stringtext=ArticleExtractor.INSTANCE.getText(url);在JRuby中试过这个:require'java'url=java.net.URL.new("http://www

随机推荐