草庐IT

20230830

全部标签

hive表向es集群同步数据20230830

背景:实际开发中遇到一个需求,就是需要将hive表中的数据同步到es集群中,之前没有做过,查看一些帖子,发现有一种方案挺不错的,记录一下。我的电脑环境如下软件名称版本Hadoop3.3.0hive3.1.3jdk1.8Elasticsearch7.10.2kibana7.10.2logstash7.10.2ES-Hadoop7.10.2ES-Hadoop的引入hadoop、hive和es的关系如下图,中间有一个组件叫做ES-Hadoop,是连接Hadoop和es的桥梁,es的官网上提供了这个组件,解决Hadoop和es之间的数据同步问题。下面说一下数据同步的具体步骤第一步:去es的官网上下载E