集群安装集群规划上传安装包到hadoop01(或者离线下载）1.cd/bigdata/softrz或wgethttps://archive.apache.org/dist/hadoop/common/hadoop-3.3.3/hadoop-3.3.3.tar.gz解压到指定目录（以自己的实际目录为准） tar-zxvf/bigdata/soft/hadoop-3.3.3.tar.gz-C/bigdata/server创建软连接 cd/bigdata/server ln-shadoop-3.3.3/hadoopHadoop配置文件修改Hadoop安装主要是配置文件的修改，一般在主节点进行修改，完
问题1：Couldn’tcreateproxyproviderclassorg.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProhadoop处于ha高可用模式了需要将高可用环境下的hdfs-site.xml文件复制到idea的resource下，特别是其中的dfs.client.failover.proxy.provider.myclusterorg.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider问题2：Classorg.apache
Kafka到HDFS，除了用KafkaAPI和flume之外，还可以用kettle，最大优点是不用写代码！版本：Kettle版本：8.2、Hadoop版本：3.1.3前提： 详情请看鄙人的一百零一、Kettle8.2.0连接Hive3.1.2(踩坑，亲测有效)http://t.csdn.cn/mWfOChttp://t.csdn.cn/mWfOC前提一、Hadoop系列配置文件已复制到kettle路径下 路径为：D:\java\kettle\pdi-ce-8.2.0.0-342\data-integration\plugins\pentaho-big-data-plugin\hadoop
1、创建目录创建单层目录执行命令：hdfsdfs-mkdir/ied利用HadoopWebUI查看创建的目录 创建多层目录，执行命令：hdfsdfs-mkdir/luzhou/lzy，会报错，因为/luzhou目录不存在 可以先创建/luzhou目录，然后在里面再创建lzy子目录，但是也可以一步到位，需要一个-p参数执行命令：hdfsdfs-mkdir-p/luzhou/lzy 利用HadoopWebUI查看创建的多层目录 2、查看目录执行命令：hdfsdfs-ls/，查看根目录 执行命令：hdfsdfs-ls/luzhou 查看根目录里全部的资源，要用到地柜参数-R（必须大写），执行命令：
1、创建目录创建单层目录执行命令：hdfsdfs-mkdir/ied利用HadoopWebUI查看创建的目录 创建多层目录，执行命令：hdfsdfs-mkdir/luzhou/lzy，会报错，因为/luzhou目录不存在 可以先创建/luzhou目录，然后在里面再创建lzy子目录，但是也可以一步到位，需要一个-p参数执行命令：hdfsdfs-mkdir-p/luzhou/lzy 利用HadoopWebUI查看创建的多层目录 2、查看目录执行命令：hdfsdfs-ls/，查看根目录 执行命令：hdfsdfs-ls/luzhou 查看根目录里全部的资源，要用到地柜参数-R（必须大写），执行命令：
文章目录01引言02impala概述2.1简介2.2架构2.2.1Impalad（守护进程）2.2.2Statestore（存储状态）2.2.3metadata（元数据）/metastore（元存储）03impala安装04impala接口05impala查询处理5.1database5.2table5.3条件06文末01引言最近因为DataX需要集成impala，所以有必要学习下impala，本文来讲解下。02impala概述2.1简介简介：Impala是一个MPP（大规模并行处理）SQL查询引擎：是一个用C++和Java编写的开源软件；用于处理存储在Hadoop集群中大量的数据；性能最高的
文章目录01引言02impala概述2.1简介2.2架构2.2.1Impalad（守护进程）2.2.2Statestore（存储状态）2.2.3metadata（元数据）/metastore（元存储）03impala安装04impala接口05impala查询处理5.1database5.2table5.3条件06文末01引言最近因为DataX需要集成impala，所以有必要学习下impala，本文来讲解下。02impala概述2.1简介简介：Impala是一个MPP（大规模并行处理）SQL查询引擎：是一个用C++和Java编写的开源软件；用于处理存储在Hadoop集群中大量的数据；性能最高的
1.虚拟机环境准备： 1.0）首先准备好一台已经安装好了的虚拟机(我这里用的是Centos) 2.0）安装vim编辑器使用 yum-yinstallvim,也可以直接用vi注意：安装好了vim,一定要执行yum-yupdate来更新数据源，之后重启reboot虚拟机。 3.0）配置静态IP前，先关闭虚拟机，在编辑里找到虚拟网络编辑器并点击。 需要记住这两个值，后面可以要用。 4.0）开机进入终端查看ip,①可以通过ipaddr查看，②用ifconfig,但前提你要先执行载 yum-y installnet-tools,否则会出现这个情况
1.虚拟机环境准备： 1.0）首先准备好一台已经安装好了的虚拟机(我这里用的是Centos) 2.0）安装vim编辑器使用 yum-yinstallvim,也可以直接用vi注意：安装好了vim,一定要执行yum-yupdate来更新数据源，之后重启reboot虚拟机。 3.0）配置静态IP前，先关闭虚拟机，在编辑里找到虚拟网络编辑器并点击。 需要记住这两个值，后面可以要用。 4.0）开机进入终端查看ip,①可以通过ipaddr查看，②用ifconfig,但前提你要先执行载 yum-y installnet-tools,否则会出现这个情况
引言：通过Java本地把windows里的文件资源上传到centOs环境下的hdfs文件系统里，中间遇到了很多问题，不过最终还是把文件上传到了hdfs里了环境：centos-7.0,hadoop.2.8.5.gz,jdk1.8,eclipse1、下载hadoop.2.8.5.tar.gz和jdk1.8的linux版本安装包，上传到linux的根目录下并配置环境变量，useraddhadoop一个用户，这点就不再详细说了，自己百度一下，随便把hadoop.tar.gz解压到一目录里，比如/opt/hadoop/hadoop.2.8.5,配置好以后可以看到版本。2、我们进入到/opt/hadoop
