原创/朱季谦接触kafka开发已经两年多，也看过关于kafka的一些书，但一直没有怎么对它做总结，借着最近正好在看《ApacheKafka实战》一书，同时自己又搭建了三台kafka服务器，正好可以做一些总结记录。本文主要是记录如何在kafka集群服务器上创建topic，查看topic列表、分区、副本详情，删除topic，测试topic发送与消费，算是最基础的操作了，当然，不同版本其实指令是有所差异的，本文只针对kafka2.x版本。虽然这些指令都很简单，但久不用了，很容易就会忘记，所谓好记性不如烂笔头，记录下来会更好。主要写给一些刚接触kafka的小白，大神请自行绕路。最后，推荐两本写kafk
Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。3、FlikTableAPI和SQL基础系列本部分介绍FlinkTableApi和SQL的基本用法，比如TableAPI和SQL创建库、表用法、查询、窗口函数、catalog等等内容。4、FlikTableAPI和SQL提高与应用系列本部分是tableapi和sql的应用部分，和实际的生产应
Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。3、FlikTableAPI和SQL基础系列本部分介绍FlinkTableApi和SQL的基本用法，比如TableAPI和SQL创建库、表用法、查询、窗口函数、catalog等等内容。4、FlikTableAPI和SQL提高与应用系列本部分是tableapi和sql的应用部分，和实际的生产应
一、统计流程所有流计算统计的流程都是：1、接入数据源2、进行多次数据转换操作(过滤、拆分、聚合计算等)3、计算结果的存储其中数据源可以是多个、数据转换的节点处理完数据可以发送到一个和多个下一个节点继续处理数据Flink程序构建的基本单元是stream和transformation（DataSet实质上也是stream）。stream是一个中间结果数据，transformation对数据的加工和操作，该操作以一个或多个stream为输入，计算输出一个或多个stream为结果，最后可以sink来存储数据。包括数据源，每一次发射出来的数据结果都通过DataStream来传递给下一级继续处理每一个Tr
前言Dockerfile是Docker用来构建镜像的文本文件，它包含了构建镜像的所有的指令以及对应的说明，有自定义的指令和格式,可以通过dockerbuild命令从Dockerfile中构建镜像。Dockerfile制作原则容器与Dockerfile制作相关的规则如下：基础镜像尽量首先使用官方镜像中的镜像；FROM指令应该包含参数tag;编写指令时应该充分利用指令生成镜像层的原理，尽量安排相同的不变的放在前面；ADD和COPY指令很相近，但推荐用COPY,ADD可以下载URL和自动下载文件解压并保留原文件，ADD指令用RUNwget或RUNcurl代替；RUN指令不要在一行中单独使用RUNap
AApacheFlink继续快速发展，是Apache最活跃的社区之一。共有240多位贡献者热情参与Flink1.16，完成了19个FLIP和1100多个问题，为社区带来了许多令人兴奋的功能。Flink已经是流计算领域的佼佼者。流批一体化的理念逐渐被大家所认可，并在越来越多的企业中成功落地。之前的流批集成强调统一的API和统一的计算框架。今年Flink在此基础上推出了StreamingWarehouse，进一步升级了流批融合的概念：真正完成了流批计算和流批存储的融合，从而实现了流的实时性。-批量集成分析。在1.16版本中，Flink社区在对流和批处理方面都完成了很多改进：（1）在批处理方面，完成
译者|陈峻审校|重楼如今，对于使用批处理工作流程的数据团队而言，要满足业务的实时要求并非易事。从数据的交付、处理到分析，整个批处理工作流往往需要大量的等待，其中包括：等待数据被发送到ETL工具处，等待数据被批量处理，等待数据被加载到数据仓库，甚至需要等待查询的完成。不过，开源世界已对此有了解决方案：通过ApacheKafka、Flink和Druid的协同使用，我们可创建一个实时数据架构，以消除上述等待状态。如下图所示，该数据架构可以在从事件到分析、再到应用的整个数据工作流程中，无缝地提供数据的新鲜度、扩展性和可靠性。目前，Lyft、Pinterest、Reddit和Paytm等知名公司，都在同
准备工作本文简述Flink在Linux中安装步骤，和示例程序的运行。需要安装JDK1.8及以上版本。下载地址：下载Flink的二进制包点进去后，选择如下链接：解压flink-1.10.1-bin-scala_2.12.tgz，我这里解压到soft目录[root@hadoop1softpackage]#tar-zxvfflink-1.10.1-bin-scala_2.12.tgz-C../soft/单节点安装解压后进入Flink的bin目录执行如下脚本即可[root@hadoop1bin]#./start-cluster.shStartingcluster.Startingstandalones
导读：本文主要介绍顺网科技在使用Flink计算引擎中遇到的一些挑战，基于StreamPark作为实时数据平台如何来解决这些问题，从而大规模支持公司的业务。公司业务介绍遇到的挑战为什么用StreamPark落地实践带来的收益未来规划 公司业务介绍杭州顺网科技股份有限公司成立于2005年，秉承科技连接快乐的企业使命，是国内具有影响力的泛娱乐技术服务平台之一。多年来公司始终以产品和技术为驱动，致力于以数字化平台服务为人们创造沉浸式的全场景娱乐体验。自顺网科技成立以来，随着业务快速发展，顺网科技服务了8万家线下实体店，拥有超过5000万互联网用户，年触达超1.4亿网民，每10家公共上网服务场所有7家使
常用命令kubectlapi-resources#查询可操作的资源对象列表kubectlgetpod#查看默认命名空间下所有podkubectldescribepodpodname#获取默认命名空间下POD详情#如果要查看制定命名空间则使用-nnsnamekubectlgetpod-nnskubectldescribepodpodname-nns#以YAML格式提供比kubectldescribepod更加详细的信息，即系统拥有的关于Pod的所有信息kubectlgetpodpodname-oyaml#查看Pod对应的labelskubectlgetpod--show-labels#deplo
