草庐IT

TypeInformation

全部标签

Flink 数据类型 & TypeInformation信息

Flink流应用程序处理的是以数据对象表示的事件流。所以在Flink内部,我么需要能够处理这些对象。它们需要被序列化和反序列化,以便通过网络传送它们;或者从状态后端、检查点和保存点读取它们。为了有效地做到这一点,Flink需要明确知道应用程序所处理的数据类型。并为每个数据类型生成特定的序列化器、反序列化器和比较器。Flink支持非常完善的数据类型,数据类型描述信息都是由TypeInformation定义,比较常用的TypeInformation有BasicTypeInfo、TupleTypeInfo、CaseClassTypeInfo、PojoTypeInfo类等。TypeInformatio

hadoop - 如何在flink中的readHadoopFile中指定TypeInformation?

在从Hadoop获取输入文件时,我无法理解Flink中如何指定类型信息。我正在尝试这样做:DataSet>data=env.readHadoopFile(newTextInputFormat(),LongWritable.class,Text.class,args[0],job,);文档说它需要类型信息作为最后一个参数。但我无法理解我应该如何给予它。有人可以帮忙吗? 最佳答案 这是一个如何在Flink中使用HadoopInputFormat的简短示例:finalExecutionEnvironmentenv=ExecutionEnv