草庐IT

hive catalog

全部标签

HiveCatalog 介绍与使用

作者:苏文鹏,腾讯CSIG工程师一、背景ApacheHive已经成为了数据仓库生态系统中的核心。它不仅仅是一个用于大数据分析和ETL场景的SQL引擎,同样它也是一个数据管理平台,可用于发现、定义和演化数据。Flink与Hive的集成包含两个层面:一是利用了Hive的Metastore作为持久化的Catalog,用户可通过HiveCatalog将不同会话中的Flink元数据存储到HiveMetastore中。例如,用户可以使用HiveCatalog将其Kafka表或Elasticsearch表存储在HiveMetastore中,并后续在SQL查询中重新使用它们。二是利用Flink来读写Hive的