Flink系列文章1、Flink部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink的tableapi与sql的基本概念、通用api介绍及入门示例14、Flink的tableapi与sql之数据类型:内置数据类型以及它们的属性15、Flink的tableapi与sql之流式概念-详解的介绍了动态表、时间属性配置（如何处理更新结果）、时态表、流上的join、流上的确定性以及查询配置16、Flink的tableapi与sql之连接外部系统:读写外部系统的连接器和格式以及FileSystem示例（1）16、Flink的ta
首先确保已经安装docker，如果是windows安装docker，可参考wsl2安装docker1、安装zkdockerrun-d--restart=always-eALLOW_ANONYMOUS_LOGIN=yes--log-driverjson-file--log-optmax-size=100m--log-optmax-file=2--namezookeeper-p2181:2181-v/etc/localtime:/etc/localtimebitnami/zookeeper:latest2、安装kafka注意：将192.168.xx.xx替换为你的主机IP即可dockerrun-d
一.背景Kafka和Hbase在现场应用广泛，现场问题也较多，本季度通过对现场问题就行跟踪和总结，同时结合一些调研，尝试提高难点问题的解决效率，从而提高客户和现场满意度。非难点问题（历史遇到过问题）：这类问题一般容易解决，区域技术支持、总部技术支持已经过滤了一版（会到组内和组件责任人，目前虽然积累了一些现场问题解决经验和文档（这些大部分是基于已知问题点））难点问题（未知问题）：但是对于未知类型（或者是能定位到，但是不容易解决的，大约总问题的10%-20%），除了基于日志、现在、linux传统命令行排查外，我们缺少一些高效率的工具箱形成解决未知问题方法论，目前组内解决未知问题的压力偏大,面对现场
1.kafka概述1.1kafka的前世今生kafka最初是LinkedIn的一个内部基础设施系统。最初开发的起因是，LinkedIn虽然有了数据库和其他系统可以用来存储数据，但是缺乏一个可以帮助处理持续数据流的组件。所以在设计理念上，开发者不想只是开发一个能够存储数据的系统，如关系数据库、Nosql数据库、搜索引擎等等，更希望把数据看成一个持续变化和不断增长的流，并基于这样的想法构建出一个数据系统，一个数据架构。Kafka外在表现很像消息系统，允许发布和订阅消息流，但是它和传统的消息系统有很大的差异：Kafka是个现代分布式系统，以集群的方式运行，可以自由伸缩。Kafka可以按照要求存储数据
1.报错详情此问题仅出现在云服务器上，非云服务器未出现过一下报错：15:50:26.736[kafka-producer-network-thread|producer-1]WARNo.a.k.c.NetworkClient-[processDisconnection,782]-[ProducerclientId=producer-1]Connectiontonode-1(/172.81.205.216:9092)couldnotbeestablished.Brokermaynotbeavailable.2.配置问题非云服务器：#报错时仅配置了listeners=PLAINTEXT://IP:
我下载了AndroidStudio版本[build135.1653844]并创建了一个新项目。我收到一个错误:FailedtocompleteGradleexecution.Cause:Thenewlycreateddaemonprocesshasadifferentcontextthanexpected.Itwon'tbepossibletoreconnecttothisdaemon.Contextmismatch:Javahomeisdifferent.Wanted:DefaultDaemonContext[uid=null,javaHome=C:\ProgramFiles\Jav
哈喽大家好，我是咸鱼最近这段时间比较忙，将近一周没更新文章，再不更新我那为数不多的粉丝量就要库库往下掉了T﹏T刚好最近在学Kafka，于是决定写篇跟Kafka相关的文章（文中有不对的地方欢迎大家指出）考虑到有些小伙伴可能是第一次接触Kafka，所以先简单介绍一下什么是Kafka吧！Kafka介绍Kafka是一个高吞吐的分布式消息系统，不但像传统消息队列（RaabitMQ、RocketMQ等）那样能够【异步处理、流量消峰、服务解耦】还能够把消息持久化到磁盘上，用于批量消费。除此之外由于Kafka被设计成分布式系统，吞吐量和可用性大大提高Kafka角色kafka客户端生产者（producer）：也
问题：简单写一下消费测的示例代码？publicstaticvoidmain(String[]args)throwsInterruptedException{Propertiesproperties=newProperties();properties.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG,"192.168.239.132:9091,192.168.239.132:9092,192.168.239.132:9093");properties.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG,Stri
消息系统消息系统被用于各种场景，如解耦数据生产者，缓存未处理的消息。Kafka可作为传统的消息系统的替代者，与传统消息系统相比，kafka有更好的吞吐量、更好的可用性，这有利于处理大规模的消息。根据经验，通常消息传递对吞吐量要求较低，但可能要求较低的端到端延迟，并经常依赖kafka可靠的durable机制。在这方面，Kafka可以与传统的消息传递系统(ActiveMQ和RabbitMQ)相媲美。存储系统写入到kafka中的数据是落地到了磁盘上，并且有冗余备份，kafka允许producer等待确认,通过配置，可实现直到所有的replication完成复制才算写入成功，这样可保证数据的可用性。K
docker-compose安装zookeeper集群参考文章：http://t.csdn.cn/TtTYIhttps://blog.csdn.net/u010416101/article/details/122803105?spm=1001.2014.3001.5501准备工作：在开始新建集群之前，新建好文件夹，用来挂载kafka、zookeeper数据，如下：zookeeper文件夹D:\soft\docker\zookeeper\zoo1\dataD:\soft\docker\zookeeper\zoo1\datalogD:\soft\docker\zookeeper\zoo2\dat
