草庐IT

wordcount

全部标签

MacOS下安装Apache Flink及测试WordCount

1.安装java1.8版本steven@wangyuxiangdeMacBook-Pro~java-versionjavaversion"1.8.0_211"Java(TM)SERuntimeEnvironment(build1.8.0_211-b12)JavaHotSpot(TM)64-BitServerVM(build25.211-b12,mixedmode)2.安装flink使用brew安装flink,命令如下:brewinstallapache-flink3.查看是否安装成功steven@wangyuxiangdeMacBook-Pro~flink-vVersion:1.13.2,

0009 - 基于MapReduce的应用案例

大数据梦工厂(0009-基于MapReduce的应用案例)1-MapReduce词频统计案例1.1-样本数据这是一个经典的词频统计的案例:统计如下样本数据中每个单词出现的次数。[root@hadoop-01~]#catinput.txtSparkHBaseAzkabanFlumeHiveFlinkStormHadoopHBaseSparkFlinkPrestoKuduAzkabanHBaseStormPrestoKafkaHBaseHadoopHiveFlinkKuduHBaseFlinkHiveStormHiveFlinkHadoopFlumeHBaseHiveKuduZookeeperHa

0009 - 基于MapReduce的应用案例

大数据梦工厂(0009-基于MapReduce的应用案例)1-MapReduce词频统计案例1.1-样本数据这是一个经典的词频统计的案例:统计如下样本数据中每个单词出现的次数。[root@hadoop-01~]#catinput.txtSparkHBaseAzkabanFlumeHiveFlinkStormHadoopHBaseSparkFlinkPrestoKuduAzkabanHBaseStormPrestoKafkaHBaseHadoopHiveFlinkKuduHBaseFlinkHiveStormHiveFlinkHadoopFlumeHBaseHiveKuduZookeeperHa

6.0 MapReduce 使用

在学习了之前的MapReduce概念之后,我们应该已经知道什么是Map和Reduce,并了解了他们的工作方式。本章将学习如何使用MapReduce。WordCountWordCount就是"词语统计",这是MapReduce工作程序中最经典的一种。它的主要任务是对一个文本文件中的词语作归纳统计,统计出每个出现过的词语一共出现的次数。Hadoop中包含了许多经典的MapReduce示例程序,其中就包含WordCount。注意:这个案例在HDFS不运行的状态下依然可以运行,所以我们先在单机模式下测试首先,启动一个之前制作的hadoop_proto镜像的新容器:dockerrun-d--name=w

6.0 MapReduce 使用

在学习了之前的MapReduce概念之后,我们应该已经知道什么是Map和Reduce,并了解了他们的工作方式。本章将学习如何使用MapReduce。WordCountWordCount就是"词语统计",这是MapReduce工作程序中最经典的一种。它的主要任务是对一个文本文件中的词语作归纳统计,统计出每个出现过的词语一共出现的次数。Hadoop中包含了许多经典的MapReduce示例程序,其中就包含WordCount。注意:这个案例在HDFS不运行的状态下依然可以运行,所以我们先在单机模式下测试首先,启动一个之前制作的hadoop_proto镜像的新容器:dockerrun-d--name=w