草庐IT

flink 整合rocketmq

下面代码路径:source->rocketmq->common->selectorDefaultTopicSelector.java类publicclassDefaultTopicSelectorT>implementsTopicSelectorT>{privatefinalStringtopicName;privatefinalStringtagName;publicDefaultTopicSelector(finalStringtopicName){this(topicName,"");}publicDefaultTopicSelector(StringtopicName,Stringta

示例代码:使用golang进行flink开发

以下是一个使用Golang进行Flink开发的简单示例代码:packagemainimport("context""encoding/json""log""time""github.com/apache/flink-ai-extended/pkg/client""github.com/apache/flink-ai-extended/pkg/client/endpoint""github.com/apache/flink-ai-extended/pkg/config")typeMyEventstruct{IDstring`json:"id"`Typestring`json:"type"`Con

Flink CDC Oracle 用户权限不足 ORA-01031: insufficient privileges

FlinkCDCOracle用户权限不足版本:flink1.14.5、flinkcdc2.2.1、oracle11g、场景:flinkcdc实时抽取oracle的数据表。DBA为了数据库安全考虑,对访问用户权限进行控制。将oracle的flinkuser用户XE下的orders表授权只读权限给readuser用户。授权情况如下:createuserreaduseridentifiedby'123456';grantcreatesession,execute_catalog_role,select_catalog_roletoreaduser;grantselectonflinkuser.ord

尚硅谷大数据Flink1.17实战教程-笔记02【Flink部署】

尚硅谷大数据技术-教程-学习路线-笔记汇总表【课程资料下载】视频地址:尚硅谷大数据Flink1.17实战教程从入门到精通_哔哩哔哩_bilibili尚硅谷大数据Flink1.17实战教程-笔记01【Flink概述、Flink快速上手】尚硅谷大数据Flink1.17实战教程-笔记02【Flink部署】尚硅谷大数据Flink1.17实战教程-笔记03【】尚硅谷大数据Flink1.17实战教程-笔记04【】尚硅谷大数据Flink1.17实战教程-笔记05【】尚硅谷大数据Flink1.17实战教程-笔记06【】尚硅谷大数据Flink1.17实战教程-笔记07【】尚硅谷大数据Flink1.17实战教程-

Flink CDC整库同步(多表异构同步)

前言flinkcdc单表同步比较简单,按照官方案例基本都能成功,多表异构同步、整库同步这块一直想尝试一下,社区说使用API可以做到,但是一直没能白嫖到可行方案(代码),然后自己动手尝试了下,咳咳,无奈技术太菜,java各种语法都搞的不是太明白,时间跨度蛮久,中间遇到了不少问题,中途偶然间在群里看到了很久很久以前群友发的一份同步方案,可惜缺少了反序列化的过程,借鉴过来改巴改巴(也改了好几个星期,太菜了),勉强是能跑了,分享出来,能帮到大家一点也就很好了。方案思路这个方案的整体思路我先说一下(大佬的思路,我借鉴的),首先我们先使用mysqlcatalog获取到各个表的信息(列名、列类型之类的),然

Flink 系例 之 Connectors 连接 ElasticSearch

通过使用FlinkDataStreamConnectors数据流连接器连接到ElasticSearch搜索引擎的文档数据库Index,并提供数据流输入与输出操作;示例环境java.version:1.8.xflink.version:1.11.1elasticsearch:6.x示例数据源 (项目码云下载)Flink系例之搭建开发环境与数据示例模块 (pom.xml)Flink系例之DataStreamConnectors与示例模块数据流输入DataStreamSource.javapackagecom.flink.examples.elasticsearch;importcom.flink.

flink-cdc-mysql The MySQL server has a timezone offset (0 seconds ahead of UTC) which does not match

报错信息MySQLserverhasatimezoneoffset(0secondsaheadofUTC)whichdoesnotmatchtheconfiguredtimezoneAsia/Shanghai.Specifytherightserver-time-zonetoavoidinconsistenciesfortime-relatedfields.Causedby:org.apache.flink.table.api.ValidationException:TheMySQLserverhasatimezoneoffset(0secondsaheadofUTC)whichdoesnot

实测解决 flink cdc mysql 时间字段差8小时/差13小时问题

//自定义时间转换配置properties.setProperty("converters","dateConverters");properties.setProperty("dateConverters.type","com.ysservice.utils.MySqlDateTimeConverter");//构建mysqlSourceMySqlSourcemysqlCdcSource=MySqlSource.String>builder().hostname(FlinkConfig.source_hostname).port(3306).databaseList(databaseName

【flink sql】创建表

flinksql创建表语法CREATETABLE[IFNOTEXISTS][catalog_name.][db_name.]table_name({physical_column_definition>|metadata_column_definition>|computed_column_definition>}[,...n][watermark_definition>][table_constraint>][,...n])[COMMENTtable_comment][PARTITIONEDBY(partition_column_name1,partition_column_name2,..

ApacheStreamPark2.1.0部署及执行flink-cdc任务同步mysql表的数据到es的实践

文章目录@[toc]1.ApacheStreamPark是什么?2.介绍2.1特性2.2架构2.3Zeppelin和StreamPark的对比3.相关连接4.部署4.1二进制包编译构建4.2镜像构建4.3初始化sql4.4部署4.4.1Docker-compose.yaml部署脚本4.4.2配置文件准备4.4.3flink启动配置4.4.4streampark启动配置4.4.5遇到的问题5cdc实践5.1确定flink是否正常5.2streampark管理端配置5.2.1flink-home配置5.2.2flink-cluster配置5.2.3新增cdc-sql和上传jar或添加依赖5.3cd