1.hudi的介绍Hudi是什么Hudi（HadoopUpsertsDeletesandIncrementals缩写）：用于管理分布式文件系统DFS上大型分析数据集存储。一言以蔽之，Hudi是一种针对分析型业务的、扫描优化的数据存储抽象，它能够使DFS数据集在分钟级的时延内支持变更，也支持下游系统对这个数据集的增量处理。Hudi功能Hudi是在大数据存储上的一个数据集，可以将ChangeLogs通过upsert的方式合并进Hudi；Hudi对上可以暴露成一个普通Hive或Spark表，通过API或命令行可以获取到增量修改的信息，继续供下游消费；Hudi保管修改历史，可以做时间旅行或回退；Hud
目录0.相关文章链接1. 创建表1.1. 启动spark-sql1.2. 建表参数1.3. 创建非分区表1.4. 创建分区表1.5. 在已有的hudi表上创建新表1.6. 通过CTAS(CreateTableAsSelect)建表2. 插入数据2.1. 向非分区表插入数据2.2. 向分区表动态分区插入数据2.3. 向分区表静态分区插入数据2.4. 使用bulk_insert插入数据3. 查询数据3.1. 查询3.2. 时间旅行查询4. 更新数据4.1. update4.2. MergeInto5. 删除数据6. 覆盖数据7. 修改表结构（AlterTable）8. 修改分区9. 存储过程（Pr
一、什么是数据湖 对于经常跟数据打交道的同学，初步听到数据湖这个概念的时候，肯定有点懵，但是相信大家对于数据仓库 这个概念并不陌生。 到了20世纪80年代以后，基于关系型数据库的事务处理成为了企业IT应用的主流。在这个阶段，企业的IT应用主要还是着重于业务职能的自动化及信息的存储、汇总、统计、查询等方面，而分析能力是比较薄弱的，因此这样的信息处理模式称之为事务处理。进而，在网络应用和实时交互处理功能日益强大和普遍的今天，基于在线计算的事务处理被称之为在线事务处理（OLTP）。OLTP是事务处理从单机到网络环境发展的新阶段。 OLTP的特点在于事务处理量
1.社区发展现状项目ApacheIcebergApacheHudiApachePaimon开源时间2018/11/62019/1/172023/3/12LicenseApache-2.0Apache-2.0Apache-2.0GithubWatch1481.2k70GithubStar5.3k4.9k1.7kGithubFork1.9k2.3k702Githubissue(Open)898481263Githubissue(closed)20542410488GithubOpenPR(Open)56544982GithubOpenPR(Closed)624073782049Committers
本文介绍的整体方案选型是：使用KafkaConnect的DebeziumMySQLSourceConnector将MySQL的CDC数据（Avro格式）接入到Kafka之后，通过Flink读取并解析这些CDC数据，其中，数据是以Confluent的Avro格式存储的，也就是说，Avro格式的数据在写入到Kafka以及从Kafka读取时，都需要和ConfluentSchemaRegistry进行交互，从而获取Schema信息，消息经Flink读取后会写入到Hudi表，从而完成全部的数据接入工作。1.前置依赖本文不会展开介绍CDC数据进入Kafka之前的操作，此部分可以参考:《CDC数据入湖方案:
博主历时三年精心创作的《大数据平台架构与原型实现：数据中台建设实战》一书现已由知名IT图书品牌电子工业出版社博文视点出版发行，点击《重磅推荐：建大数据平台太难了！给我发个工程原型吧！》了解图书详情，京东购书链接：https://item.jd.com/12677623.html，扫描左侧二维码进入京东手机购书页面。问题描述使用Flink向Hudi表中写入数据，使用SparkSQL的Shell查询Hudi表（使用的是HudiHMSCatalog统一管理和同步Hudi表的元数据），结果在Spark中只能查询到打开Shell之前表中的数据，之后通过Flink写入的数据不可见，但重新打开一个新的Spa
本文是《CDC数据入湖方案：MySQL＞FlinkCDC＞Kafka＞Hudi》的增强版，在打通从源端数据库到Hudi表的完整链路的前提下，还额外做了如下两项工作：引入ConfluentSchemaRegistry，有效控制和管理上下游的Schema变更使用Avro格式替换Json，搭配SchemaRegistry，可以抽离Avro中的Schema数据，减少了Avro消息的体积，提升传输速率1.环境准备本文依旧使用Debezium官方提供的一个MySQLDocker镜像，构建操作可参考其官方文档，使用的是其内置的inventory数据库；本文需要搭建一个ConfluentSchemaRegis
集成HiveHudi源表对应一份HDFS数据，通过Spark，Flink组件或者HudiCLI，可以将Hudi表的数据映射为*Hive外部表*，基于该外部表，Hive可以方便的进行实时视图，读优化视图以及增量视图的查询。集成步骤以hive3.1.2、hudi0.12.0为例，其他版本类似。（1）拷贝编译好的jar包将hudi-hadoop-mr-bundle-0.12.0.jar,hudi-hive-sync-bundle-0.12.0.jar放到hive节点的lib目录下；cp/opt/software/hudi-0.12.0/packaging/hudi-hadoop-mr-bundle/
HudiHMSCatalog完全使用指南1.HudiHMSCatalog基本介绍2.在Flink中写入数据3.在FlinkSQL中查看数据4.在Spark中查看数据5.在Hive中查看数据1.HudiHMSCatalog基本介绍功能亮点：当Flink和Spark同时接入HiveMetastore（HMS）时，用HiveMetastore对Hudi的元数据进行管理，无论是使用Flink还是Spark引擎建表，另外一种引擎或者Hive都可以直接查询。本文以HDP集群为例，其他版本分别为：Flink：1.13.6Spark：3.2.1Hudi：0.12.0在HDP集群中，Hive的配置文件路径为/e
系列专题：数据湖系列文章1、数据湖框架 如前面几篇文章所述，目前市面上流行的三大开源数据湖方案分别为：DeltaLake、ApacheIceberg和ApacheHudi。1、DeltaLake：DataBricks公司推出的一种数据湖方案， 网址：https://delta.io/2、ApacheIceberg：以类似于SQL的形式高性能的处理大型的开放式表， 网址：https://iceberg.apache.org/3、ApacheHudi：HadoopUpsertsanDIncrementals，管理大型分析数据集在HDFS上的存储，
