一、概述Hudi（HadoopUpsertsDeletesandIncrementals），简称Hudi，是一个流式数据湖平台，支持对海量数据快速更新，内置表格式，支持事务的存储层、一系列表服务、数据服务(开箱即用的摄取工具)以及完善的运维监控工具，它可以以极低的延迟将数据快速存储到HDFS或云存储（S3）的工具，最主要的特点支持记录级别的插入更新（Upsert）和删除，同时还支持增量查询。GitHub地址：https://github.com/apache/hudi官方文档：https://hudi.apache.org/cn/docs/overview关于ApacheHudi数据湖也可以参
一、概述Hudi（HadoopUpsertsDeletesandIncrementals），简称Hudi，是一个流式数据湖平台，支持对海量数据快速更新，内置表格式，支持事务的存储层、一系列表服务、数据服务(开箱即用的摄取工具)以及完善的运维监控工具，它可以以极低的延迟将数据快速存储到HDFS或云存储（S3）的工具，最主要的特点支持记录级别的插入更新（Upsert）和删除，同时还支持增量查询。GitHub地址：https://github.com/apache/hudi官方文档：https://hudi.apache.org/cn/docs/overview关于ApacheHudi数据湖也
一、概述Hudi（HadoopUpsertsDeletesandIncrementals），简称Hudi，是一个流式数据湖平台，支持对海量数据快速更新，内置表格式，支持事务的存储层、一系列表服务、数据服务(开箱即用的摄取工具)以及完善的运维监控工具，它可以以极低的延迟将数据快速存储到HDFS或云存储（S3）的工具，最主要的特点支持记录级别的插入更新（Upsert）和删除，同时还支持增量查询。GitHub地址：https://github.com/apache/hudi官方文档：https://hudi.apache.org/cn/docs/overview关于ApacheHudi数据湖也
过去的几年里，随着大数据的进一步发展，现代数据栈的生态愈加丰富完善，而数据湖在这期间几乎已成为现代数据栈的必备品，它的出现大大简化了用户管理数据的难度，让用户更加关心于数据本身，而非组件本身。T3出行在数据湖基础上，对现代数据栈进行了一些探索，并初步打造了特征平台。在本文中，我将给大家分享下T3出行结合公司业务场景，在现代技术栈这方面，做的一些探索于与实践，以及在此基础上打造的特征平台。一、什么是 ModernDataStack现代数据栈是最近几年出现的一个新名词，其本质是一系列构建在数据仓库周围的工具。其主要出发点是给公司内部，如算法、数据处理、数据分析等团队提供一个更简单易用的产品，提升公
过去的几年里，随着大数据的进一步发展，现代数据栈的生态愈加丰富完善，而数据湖在这期间几乎已成为现代数据栈的必备品，它的出现大大简化了用户管理数据的难度，让用户更加关心于数据本身，而非组件本身。T3出行在数据湖基础上，对现代数据栈进行了一些探索，并初步打造了特征平台。在本文中，我将给大家分享下T3出行结合公司业务场景，在现代技术栈这方面，做的一些探索于与实践，以及在此基础上打造的特征平台。一、什么是 ModernDataStack现代数据栈是最近几年出现的一个新名词，其本质是一系列构建在数据仓库周围的工具。其主要出发点是给公司内部，如算法、数据处理、数据分析等团队提供一个更简单易用的产品，提升公
背景介绍 Linkis是一款优秀的计算中间件，他对应用层屏蔽了复杂的底层计算引擎和存储方案，让大数据变得更加简单易用，同时也让运维变得更加方便。我们的平台很早就部署了WDS全家桶给业务用户和数据分析用户使用。近段时间，我们也调研和实现了hudi作为我们数据湖落地的方案，他帮助我们解决了在hdfs上进行实时upsert的问题，让我们能够完成诸如实时ETL,实时对账等项目。hudi作为一个数据湖的实现，我觉得他也是一种数据存储方案，所以我也希望它能够由Linkis来进行管理，这样我们的平台就可以统一起来对外提供能力。因此我这边做了一个Linkis和Hudi的结合和使用的分享。1.环境版本介绍1.
背景介绍 Linkis是一款优秀的计算中间件，他对应用层屏蔽了复杂的底层计算引擎和存储方案，让大数据变得更加简单易用，同时也让运维变得更加方便。我们的平台很早就部署了WDS全家桶给业务用户和数据分析用户使用。近段时间，我们也调研和实现了hudi作为我们数据湖落地的方案，他帮助我们解决了在hdfs上进行实时upsert的问题，让我们能够完成诸如实时ETL,实时对账等项目。hudi作为一个数据湖的实现，我觉得他也是一种数据存储方案，所以我也希望它能够由Linkis来进行管理，这样我们的平台就可以统一起来对外提供能力。因此我这边做了一个Linkis和Hudi的结合和使用的分享。1.环境版本介绍1.
1.引入Apache Hudi支持多种分区方式数据集，如多级分区、单分区、时间日期分区、无分区数据集等，用户可根据实际需求选择合适的分区方式，下面来详细了解Hudi如何配置何种类型分区。2.分区处理为说明Hudi对不同分区类型的处理，假定写入Hudi的Schema如下{"type":"record","name":"HudiSchemaDemo","namespace":"hoodie.HudiSchemaDemo","fields":[{"name":"age","type":["long","null"]},{"name":"location","type":["strin
1.引入Apache Hudi支持多种分区方式数据集，如多级分区、单分区、时间日期分区、无分区数据集等，用户可根据实际需求选择合适的分区方式，下面来详细了解Hudi如何配置何种类型分区。2.分区处理为说明Hudi对不同分区类型的处理，假定写入Hudi的Schema如下{"type":"record","name":"HudiSchemaDemo","namespace":"hoodie.HudiSchemaDemo","fields":[{"name":"age","type":["long","null"]},{"name":"location","type":["strin
