Flink实现同时消费多个kafka topic，并输出到多个topic
1）代码使用的flink版本为1.16.1，旧版本的依赖及api可能不同，同时使用了hutool的JSON工具类，两者均可自行更换；
2）本次编写的两个方案，均只适用于数据源topic来自同一个集群，且kafka消费组相同，暂未研究flink的connect算子join多条流
<properties>
<maven.compiler.source>8</maven.compiler.source>
<maven.compiler.target>8</maven.compiler.target>
<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
<flink.version>1.16.1</flink.version>
<hutool.version>5.8.15</hutool.version>
</properties>
<dependency>
<groupId>cn.hutool</groupId>
<artifactId>hutool-all</artifactId>
<version>${hutool.version}</version>
</dependency>
<!--flink-->
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-java</artifactId>
<version>${flink.version}</version>
<exclusions>
<exclusion>
<artifactId>commons-lang3</artifactId>
<groupId>org.apache.commons</groupId>
</exclusion>
</exclusions>
</dependency>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-streaming-java</artifactId>
<version>${flink.version}</version>
<exclusions>
<exclusion>
<artifactId>commons-lang3</artifactId>
<groupId>org.apache.commons</groupId>
</exclusion>
</exclusions>
</dependency>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-clients</artifactId>
<version>${flink.version}</version>
</dependency>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-connector-kafka</artifactId>
<version>${flink.version}</version>
</dependency>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-connector-base</artifactId>
<version>${flink.version}</version>
</dependency>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-connector-files</artifactId>
<version>${flink.version}</version>
</dependency>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-connector-jdbc</artifactId>
<version>${flink.version}</version>
</dependency>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-runtime-web</artifactId>
<version>${flink.version}</version>
</dependency>
代码涉及Hadoop相关环境，若无该环境的同学，可以设置为本地路径
# 输入topic列表
newInputTopic=hive_data_input_topic
# 输出topic列表
newOutputTopic=topic-test
public static void main(String[] args) throws Exception {
// 设置操作HDFS的用户
System.setProperty("HADOOP_USER_NAME", "hadoop");
// 获取命令行参数，args[0] 为配置文件路径 input/customer.properties
ParameterTool parameterTool = ParameterTool.fromPropertiesFile(args[0]);
String inputTopic = parameterTool.get("newInputTopic");
String outputTopic = parameterTool.get("newOutputTopic");
// 构建输入topic
ArrayList<String> inputTopicList = new ArrayList<>();
inputTopicList.add("canal_mysql_input_topic");
if (!StringUtils.isNullOrWhitespaceOnly(inputTopic)) {
inputTopicList.add(inputTopic);
}
// 构建输出topic
Map<String, String> hashMap = new HashMap<>();
hashMap.put("ap_article", "canal_input_topic");
hashMap.put("ap_user", "cast_topic_input");
if (!StringUtils.isNullOrWhitespaceOnly(outputTopic)) {
hashMap.put("hive_table_orders", "topic-test");
}
// 构建配置
Configuration configuration = new Configuration();
// 设定本地flink dashboard的webUi访问端口，即http://localhost:9091
configuration.setString("rest.port", "9091");
// 设定从指定的checkpoint恢复,此处为HDFS路径，可更换为本地路径"file:///D:\\test\\flink-tuning\\checkpoint\\jobId\\chk-xx"
String savePointPath = "hdfs://masterNode:8020/flink-tuning/checkpoint/b66ee8431170f07764db0e777c58848a/chk-36";
// 设置savepoint路径，以及是否允许本次提交的程序有新增有状态算子，必须给原来的算子配置uid作为唯一标识，否则会出现问题
SavepointRestoreSettings restoreSettings = SavepointRestoreSettings.forPath(savePointPath, true);
SavepointRestoreSettings.toConfiguration(restoreSettings, configuration);
// 获取执行环境
StreamExecutionEnvironment environment = StreamExecutionEnvironment.getExecutionEnvironment(configuration);
// 开启检查点,设置检查点间隔时间
environment.enableCheckpointing(5000, CheckpointingMode.EXACTLY_ONCE);
// 设置状态后端类型
environment.setStateBackend(new HashMapStateBackend());
CheckpointConfig checkpointConfig = environment.getCheckpointConfig();
// 设置checkpoint文件存放路径，设置本地路径：file:///D:\\test\\flink-tuning\\checkpoint
checkpointConfig.setCheckpointStorage("hdfs://masterNode:8020/flink-tuning/checkpoint");
// 设置并发数，同时最多可以有几个checkpoint执行
checkpointConfig.setMaxConcurrentCheckpoints(1);
// checkpoint失败次数，超过此次数，job挂掉（checkpoint不会重试，会等待下一个checkpoint）
checkpointConfig.setTolerableCheckpointFailureNumber(5);
// 超时多久没完成checkpoint，任务失败
checkpointConfig.setCheckpointTimeout(TimeUnit.MINUTES.toMillis(1));
// 手动cancel掉job时，保留在外部系统的checkpoint不会被删除
checkpointConfig.setExternalizedCheckpointCleanup(CheckpointConfig.ExternalizedCheckpointCleanup.RETAIN_ON_CANCELLATION);
// 从kafka读取数据
KafkaSource<String> kafkaSource = KafkaSource.<String>builder()
.setBootstrapServers("192.168.200.130:9092")
.setTopics(inputTopicList)
.setGroupId("group-test-savepoint")
// 从消费组的offset提交位点开始消费，若未找到上一次消费位点，则从设置该topic的offset为最新的位置
.setStartingOffsets(OffsetsInitializer.committedOffsets(OffsetResetStrategy.LATEST))
.setProperty("partition.discovery.interval.ms", "10000") // 每 10 秒检查一次新分区,避免分区扩容导致没有算子消费
.setValueOnlyDeserializer(new SimpleStringSchema())
.build();
SingleOutputStreamOperator<String> streamSource = environment.fromSource(kafkaSource, WatermarkStrategy.noWatermarks(), "kafka source")
.uid("kafka_source") // 最好设置一下算子的id
.setParallelism(5); // 设置并行度 = topic分区数
// 此处使用循环，会开辟map键值对个数的算子链，多个filter --> sink算子链，详情见下图
// map中可配置topic所属集群，以及鉴权信息等，此处省略
for (String key : hashMap.keySet()) {
// filter算子根据数据中的表名table与topic之间的映射关系，过滤数据
SingleOutputStreamOperator<String> outputStreamOperator = streamSource.filter(vo -> {
JSONObject jsonObject = JSONUtil.parseObj(vo);
String tableName = (String) jsonObject.get("table");
return tableName.equals(key);
}).uid("filter-" + key).setParallelism(5);
// 构建kafka sink
KafkaSink<String> kafkaSink = KafkaSink.<String>builder()
// kafka集群，可根据不同topic所在集群不同，动态更换ip
.setBootstrapServers("192.168.200.130:9092")
// 自定义kafka序列化器
.setRecordSerializer(KafkaRecordSerializationSchema.builder()
// 根据映射获取输出topic
.setTopic(hashMap.get(key))
.setValueSerializationSchema(new SimpleStringSchema())
.build())
// 一致性语义：至少一次
.setDeliveryGuarantee(DeliveryGuarantee.AT_LEAST_ONCE)
.build();
// sink算子
outputStreamOperator.sinkTo(kafkaSink).uid("sink-" + key).setParallelism(1);
}
// 执行
environment.execute();
public static void main(String[] args) throws Exception {
// 环境配置同上，故此处省略。。。
// 从kafka读取数据
KafkaSource<String> kafkaSource = KafkaSource.<String>builder()
.setBootstrapServers("192.168.200.130:9092")
.setTopics(inputTopicList)
.setGroupId("group-test-savepoint")
// 从消费组的offset提交位点开始消费，若未找到上一次消费位点，则从设置该topic的offset为最新的位置
.setStartingOffsets(OffsetsInitializer.committedOffsets(OffsetResetStrategy.LATEST))
.setProperty("partition.discovery.interval.ms", "10000") // 每 10 秒检查一次新分区,避免分区扩容导致没有算子消费
.setValueOnlyDeserializer(new SimpleStringSchema())
.build();
SingleOutputStreamOperator<String> streamSource = environment.fromSource(kafkaSource, WatermarkStrategy.noWatermarks(), "kafka source")
.uid("kafka_source") // 最好设置一下算子的id
.setParallelism(5); // 设置并行度 = topic分区数
// 输出到kafka，此处没有循环，只会产生一条算子链
KafkaSink<String> kafkaSink = KafkaSink.<String>builder()
.setBootstrapServers("192.168.200.130:9092") // 输出topic的kafka集群固定
.setRecordSerializer((KafkaRecordSerializationSchema<String>) (data, context, timestamp) -> {
JSONObject jsonObject = JSONUtil.parseObj(data);
// 获取表名
String table = (String) jsonObject.get("table");
// 获取topic
String topic = hashMap.get(table);
return new ProducerRecord<>(topic, data.getBytes(StandardCharsets.UTF_8));
})
.setDeliveryGuarantee(DeliveryGuarantee.AT_LEAST_ONCE)
.build();
// sink算子
streamSource.sinkTo(kafkaSink).uid("sink-" + key).setParallelism(1);
}
// 执行
environment.execute();
Rails2.3可以选择随时使用RouteSet#add_configuration_file添加更多路由。是否可以在Rails3项目中做同样的事情？ 最佳答案 在config/application.rb中:config.paths.config.routes在Rails3.2(也可能是Rails3.1)中，使用:config.paths["config/routes"] 关于ruby-on-rails-Rails3中的多个路由文件，我们在StackOverflow上找到一个类似的问题
我有多个ActiveRecord子类Item的实例数组，我需要根据最早的事件循环打印。在这种情况下，我需要打印付款和维护日期，如下所示:ItemAmaintenancerequiredin5daysItemBpaymentrequiredin6daysItemApaymentrequiredin7daysItemBmaintenancerequiredin8days我目前有两个查询，用于查找maintenance和payment项目(非排他性查询)，并输出如下内容:paymentrequiredin...maintenancerequiredin...有什么方法可以改善上述(丑陋的)代
我需要从一个View访问多个模型。以前，我的links_controller仅用于提供以不同方式排序的链接资源。现在我想包括一个部分(我假设)显示按分数排序的顶级用户(@users=User.all.sort_by(&:score))我知道我可以将此代码插入每个链接操作并从View访问它，但这似乎不是“ruby方式”，我将需要在不久的将来访问更多模型。这可能会变得很脏，是否有针对这种情况的任何技术？注意事项:我认为我的应用程序正朝着单一格式和动态页面内容的方向发展，本质上是一个典型的网络应用程序。我知道before_filter但考虑到我希望应用程序进入的方向，这似乎很麻烦。最终从任何
为了将Cucumber用于命令行脚本，我按照提供的说明安装了arubagem。它在我的Gemfile中，我可以验证是否安装了正确的版本并且我已经包含了require'aruba/cucumber'在'features/env.rb'中为了确保它能正常工作，我写了以下场景:@announceScenario:Testingcucumber/arubaGivenablankslateThentheoutputfrom"ls-la"shouldcontain"drw"假设事情应该失败。它确实失败了，但失败的原因是错误的:@announceScenario:Testingcucumber/ar
我正在使用puppet为ruby程序提供一组常量。我需要提供一组主机名，我的程序将对其进行迭代。在我之前使用的bash脚本中，我只是将它作为一个puppet变量hosts=>"host1,host2"我将其提供给bash脚本作为HOSTS=显然这对ruby不太适用——我需要它的格式hosts=["host1","host2"]自从phosts和putsmy_array.inspect提供输出["host1","host2"]我希望使用其中之一。不幸的是，我终其一生都无法弄清楚如何让它发挥作用。我尝试了以下各项:我发现某处他们指出我需要在函数调用前放置“function_”……这
我有一个具有一些属性的模型:attr1、attr2和attr3。我需要在不执行回调和验证的情况下更新此属性。我找到了update_column方法，但我想同时更新三个属性。我需要这样的东西:update_columns({attr1:val1,attr2:val2,attr3:val3})代替update_column(attr1,val1)update_column(attr2,val2)update_column(attr3,val3) 最佳答案 您可以使用update_columns(attr1:val1,attr2:val2
我正在尝试修改当前依赖于定义为activeresource的gem:s.add_dependency"activeresource","~>3.0"为了让gem与Rails4一起工作，我需要扩展依赖关系以与activeresource的版本3或4一起工作。我不想简单地添加以下内容，因为它可能会在以后引起问题:s.add_dependency"activeresource",">=3.0"有没有办法指定可接受版本的列表？~>3.0还是~>4.0？ 最佳答案 根据thedocumentation,如果你想要3到4之间的所有版本，你可以这
这是一道面试题，我没有答对，但还是很好奇怎么解。你有N个人的大家庭，分别是1,2,3,...,N岁。你想给你的大家庭拍张照片。所有的家庭成员都排成一排。“我是家里的friend，建议家庭成员安排如下:”1岁的家庭成员坐在这一排的最左边。每两个坐在一起的家庭成员的年龄相差不得超过2岁。输入:整数N，1≤N≤55。输出:摄影师可以拍摄的照片数量。示例->输入:4，输出:4符合条件的数组:[1,2,3,4][1,2,4,3][1,3,2,4][1,3,4,2]另一个例子:输入:5输出:6符合条件的数组:[1,2,3,4,5][1,2,3,5,4][1,2,4,3,5][1,2,4,5,3][
我有一个用户工厂。我希望默认情况下确认用户。但是鉴于unconfirmed特征，我不希望它们被确认。虽然我有一个基于实现细节而不是抽象的工作实现，但我想知道如何正确地做到这一点。factory:userdoafter(:create)do|user,evaluator|#unwantedimplementationdetailshereunlessFactoryGirl.factories[:user].defined_traits.map(&:name).include?(:unconfirmed)user.confirm!endendtrait:unconfirmeddoenden
我正在尝试按0-9和a-z的顺序创建数字和字母列表。我有一组值value_array=['0','1','2','3','4','5','6','7','8','9','a','b'，'光盘'，'e','f','g','h','i','j','k','l','m','n','o','p','q','r','s','','u','v','w','x','y','z']和一个组合列表的数组，按顺序，这些数字可以产生x个字符，比方说三个list_array=[]和一个当前字母和数字组合的数组(在将它插入列表数组之前我会把它变成一个字符串，]current_combo['0','0','0']