一、概述JMXExporter 是一个用于将 Java 应用程序的 JMX（JavaManagementExtensions）指标导出为 Prometheus 格式的度量数据的开源工具。Prometheus 是一种流行的开源监控和告警工具，它使用 Pull 模型来收集和存储度量数据，而JMXExporter允许你将Java应用程序的内部性能指标导出到Prometheus 中，从而实现对 Java 应用程序的监控和警报。以下是 JMXExporter 的一些关键特点和用途：度量数据导出：JMXExporter 允许你选择并配置要从 Java 应用程序导出的 JMX 指标。这些指标可以是 JVM
一、概述JMX 是 JavaManagementExtensions（Java管理扩展）的缩写，它是Java平台上用于管理和监控应用程序、系统和网络资源的一种标准化的管理和监控框架。JMX 提供了一种标准的方式，通过这种方式，开发人员可以暴露应用程序中的各种管理和监控信息，然后可以使用 JMX 客户端工具或应用程序来访问和操作这些信息。JMX 允许开发人员定义称为 MBeans（ManagedBeans）的管理组件，这些组件充当被管理资源的代理，并通过 JMX 接口公开资源的操作和属性。通过 MBeans，您可以监控和管理各种Java应用程序和服务器的性能、状态和配置。JMX 主要用于以下一些
文章目录简介概述作用特性数据存储、计算引擎插件化实时流批一体数据表演化（TableEvolution）模式演化（SchemaEvolution）分区演化（PartitionEvolution）列顺序演化（SortOrderEvolution）隐藏分区（HiddenPartition）镜像数据查询（TimeTravel）支持事务（ACID）基于乐观锁的并发支持文件级数据剪裁其他数据湖框架的对比存储结构数据文件datafiles表快照Snapshot清单列表Manifestlist清单文件Manifestfile与Hive集成环境准备创建和管理Catalog默认使用HiveCatalog指定Cat
文章目录一、概述二、环境准备三、Trino系统库表的讲解1）information_schema2）jdbc3）metadata4）runtime（重点）四、Trino查询Hive数据1）查询Hive表2）创建Hive表3）加载数据到Hive表4）分区查询优化5）trino操作hive数据源完整示例1、配置数据源2、创建Hive表3、加载数据到Hive表4、执行Trino查询五、TrinoSQL与HiveSQL的语法的区别1）针对时间类型的函数名称2）join时ON语法的支持3）数据类型一、概述Presto（Trino）是一个快速、分布式的SQL查询引擎，可以用于查询各种数据源，包括Hadoo
Iceberg从入门到精通系列之十：flinksql往Iceberg表插入数据一、INSERTINTO二、INSERTOVERWRITE三、UPSERT四、查询Batch模式五、查询Streaming模式六、读取Kafka流插入到iceberg表中一、INSERTINTOCREATETABLE`stu`(idint,namestring,ageint)PARTITIONEDBY(age)insertintostuvalues(3,'杀sheng',16),(4,'鸣人',19)二、INSERTOVERWRITE仅支持Flink的Batch模式SETexecution.runtime-mode=
Iceberg从入门到精通系列之七：FlinkSQL创建Catalog一、语法说明二、flink集成hivejar包三、放到指定目录四、启动hivemetastore服务五、创建hivecatalog六、查看catalog七、HadoopCatalog八、创建sql-client初始化文件九、启动flinksql指定初始化文件一、语法说明createcatalogcatalog_name>with('type'='iceberg',``=``);type：必须是icebergcatalog-type：内置了hive和hadoop两种catalog，也可以使用catalog-impl来自定义ca
Iceberg从入门到精通系列之六：Flink集成Iceberg一、下载Flink二、解压Flink安装包三、配置环境变量四、激活环境变量五、下载Icebergflinkjar包六、部署Icebergflinkjar包七、修改flink配置八、启动flink九、启动flinksqlclient一、下载Flink下载Flink：https://www.apache.org/dyn/closer.lua/flink/flink-1.17.1/flink-1.17.1-bin-scala_2.12.tgz二、解压Flink安装包tar-zxvfflink-1.17.1-bin-scala_2.12.
目录1.由来2.基本概念3.应用场景4.安装1.下载2.解压3.配置1.节点属性2.JVM配置3.配置属性4.日志级别5.Catalog属性6.配置jdk4.服务端启动5.客户端1.下载2.客户端启动6.使用1.web访问地址2.查询3.常用命令1.由来trino的前身是Presto，后面创始人和facebook闹翻，被迫改名叫了trino。2.基本概念trino是一个计算引擎，没有自己的存储。他可以运行在sql-on-anthing。其存储与计算分离的核心就是通过连接器实现的。trino提供了Hive,Mysql等连接器，也可以自定义实现连接器。trino的服务器有2种角色，coordina
Iceberg从入门到精通系列之九：flinksql修改Iceberg表一、修改表属性二、修改表名三、删除表一、修改表属性ALTERTABLE`hive_catalog`.`default`.`sample`SET('write.format.default'='avro');二、修改表名ALTERTABLE`hive_catalog`.`default`.`sample`RENAMETO`hive_catalog`.`default`.`new_sample`;三、删除表DROPTABLE`hive_catalog`.`default`.`sample`;
【前言】了解一个组件的最好方式是先使用该组件，今天我们就来聊聊如何通过javaapi对iceberg进行操作。为什么是选择api进行介绍，而不是更通用的flink、spark、hive等。一方面是觉得flink、spark使用iceberg的介绍网上已经有很多，官网的介绍也比较清晰，而javaapi的介绍则相对少些；另一方面，不管是flink，spark最终都还是调用这些基本的api完成相关的操作的，因此先从api入手，后续对flink，spark，trino等组件对iceberg的操作原理理解起来也会更容易些。所以就有了本文的内容。【catalog的创建】在创建数据库，表之前需要先创建cat
