这几天研究了一下Dinky，确实是一款很不错的软件，功能很强大，也很实用，可以极大的方便我们flinksql的开发工作，同时他也支持其他一些主流数据库的SQL,像starrocks。下面的连接为Dinky的链接:Dinky(dlink.top)Dinky号称基于Flink二次开发，没有侵入Flink,所以这一点就值得我们学习，为了了解Dinky我自己也搭建了一套Dinky环境，确实使用起来非常舒适 ，搭建过程也是比较容易，下面简单列一下搭建过程。1.Dinky环境搭建1. 解压到指定目录上传安装包并解压：tar-zxvfdlink-release-0.7.3.tar.gz-C/opt/modu
Dinky版本：0.7.3Flink版本：1.13.0问题描述问题1：已有实例不显示在Dinky的【注册中心】—【Flink实例管理】中：hadoop集群以及zookeeper重启后，之前创建的一个yarn-session实例莫名其妙找不到了；此时还没有启动yarn-session集群（但显然与这个没有关系，因为就算没有启动yarn-session集群，实例状态会显示异常，但不会直接没有）接下来启动yarn-session集群接下来点击心跳会发现：出现报错信息：obtainapplicationIdfailed,Pleasecheckurliscorrected:java.lang.Excep
IDEA中运行Dinky0.7.5之KAFKA数据源调试问题解决过程1.首次代码编译本文所使用的IDEA版本信息如下：IntelliJIDEA2023.1.3(CommunityEdition)Build#IC-231.9161.38,builtonJune20,2023Runtimeversion:17.0.7+10-b829.16amd64VM:OpenJDK64-BitServerVMbyJetBrainss.r.o.Windows10.0GC:G1YoungGeneration,G1OldGenerationMemory:2048MCores:4Non-BundledPlugins:
Dinky简介与部署(Docker)Dinky简介实时即未来，Dinky为ApacheFlink而生，让FlinkSQL纵享丝滑。Dinky是一个开箱即用、易扩展，以ApacheFlink为基础，连接OLAP和数据湖等众多框架的一站式实时计算平台，致力于流批一体和湖仓一体的探索与实践。沉浸式FlinkSQL数据开发：自动提示补全、语法高亮、语句美化、在线调试、语法校验、执行计划、MetaStore、血缘分析、版本对比等支持FlinkSQL多版本开发及多种执行模式：Local、Standalone、Yarn/KubernetesSession、YarnPer-Job、Yarn/Kubernete
一、概述Dinky是一个开箱即用的一站式实时计算平台以ApacheFlink为基础，连接OLAP和数据湖等众多框架致力于流批一体和湖仓一体的建设与实践。本文以此为FlinkSQL可视化工具。FlinkSQL使得使用标准SQL开发流式应用变得简单，免去代码开发。FlinkCDC本文使用MySQLCDC连接器允许从MySQL数据库读取快照数据和增量数据。环境及主要软件版本说明kafka_2.12-3.4.0.tgzflink-1.14.6-bin-scala_2.12.tgzflink-sql-connector-mysql-cdc-2.3.0.jarflink-sql-connector-ela
什么是Dinky实时即未来，Dinky为ApacheFlink而生，让FlinkSQL纵享丝滑。Dinky是一个开箱即用、易扩展，以ApacheFlink为基础，连接OLAP和数据湖等众多框架的一站式实时计算平台，致力于流批一体和湖仓一体的探索与实践。最后，Dinky的发展皆归功于ApacheFlink等其他优秀的开源项目的指导与成果如何在本地编译、运行？clone项目gitclonehttps://github.com/DataLinkDC/dinky.git#根据需要决定是否切换到指定版本或分支#gitcheckout0.8.0构建mysql镜像#构建镜像cddinkydockerbuil
一、版本doris：doris-1.2.3-rc02flink：flink1.4.6dinky：0.7.2jdk：1.8.0_191mysql：5.7二、安装doris官网下载地址：https://archive.apache.org/dist/doris/1.2/1.2.3-rc02/ #doris单机部署#创建doris目录mkdir/opt/module/doristarzxvfapache-doris-fe-1.2.3-bin-x86_64.tar.xz-C/opt/module/doristarzxvfapache-doris-be-1.2.3-bin-x86_64.tar.xz-C
Dinky0.6.2已发布，优化Flink应用体验前言ApacheFlink作为新一代的实时计算框架已经被应用到各个行业与领域，虽说应用程度不同，但都会遇到一些使用上的痛点，基础的应用痛点比如FlinkSQL作业提交不友好、作业无监控报警等。很大程度上说，FlinkSQL大大加快了Flink的应用推广，而本文将简述开源项目Dinky如何改善Flink的痛点来优化FlinkSQL应用体验。简介实时即未来，Dlink为ApacheFlink而生，让FlinkSQL纵享丝滑，并致力于实时计算平台建设。Dinky基于ApacheFlink实现Dlink，增强Flink的应用与体验，探索流式数仓。即站在
大家好，我是脚丫先生流批一体，越来越流行了，牛逼一体。之前用java封装flink-sql-client提交脚本文件，很是摩擦。不过，在研发流批一体平台的时候发现了Dinky，终于丝滑了。今天就给小伙伴们推荐下低调但实力强大的Dinky！功能强大，解放自己。Dinky基于ApacheFlink二次开发，无侵入，开箱即用实时即未来，批流为一体。用好Dinky，无限丝滑。官方网站官方有着详细的使用教程，并且已经开源了。最重要的是可以加入交流群，随时问作者(比较耐心的一个大佬)。Dinky平台搭建Dinky，跟着官方搭建教程一步一操作，比较简单。作为FlinSQL实时计算平台，其核心功能：支持Fli
一、前言ChunJun（原FlinkX）是一个基于Flink提供易用、稳定、高效的批流统一的数据集成工具，既可以采集静态的数据，比如MySQL，HDFS等，也可以采集实时变化的数据，比如binlog，Kafka等。同时ChunJun也是一个支持原生FlinkSql所有语法和特性的计算框架。ChunJun具有丰富的插件种类，多达40种，如常见的mysql、binlog、logminer等，大部分插件都支持source/reader、sink/writer及维表功能。目前很多用户在思考能否在Dinky上使用ChunJun的插件以提供更全面的能力。那本文将带来如何在Dinky上集成ChunJun丰富
