草庐IT

CDH大数据平台 15Cloudera Manager Console之flume、kafka安装和配置数据采集实战(markdown新版)

?个人主页:@与自己作战?作者简介:CSDN@博客专家、CSDN@大数据领域优质创作者、CSDN@内容合伙人、阿里云@专家博主?希望大佬们多多支持,携手共进?如果文章对你有帮助的话,欢迎评论?点赞?收藏?加关注⛔如需要支持请私信我,?必支持文章目录一、kafka配置(cdh-master-v01)1、kafka创建topic1.2、kafka验证topic是否创建成功2、创建flume票据认证(flumea账号操作)3、修改flume配置flume-env.sh文

CDH大数据平台 15Cloudera Manager Console之flume、kafka安装和配置数据采集实战(markdown新版)

?个人主页:@与自己作战?作者简介:CSDN@博客专家、CSDN@大数据领域优质创作者、CSDN@内容合伙人、阿里云@专家博主?希望大佬们多多支持,携手共进?如果文章对你有帮助的话,欢迎评论?点赞?收藏?加关注⛔如需要支持请私信我,?必支持文章目录一、kafka配置(cdh-master-v01)1、kafka创建topic1.2、kafka验证topic是否创建成功2、创建flume票据认证(flumea账号操作)3、修改flume配置flume-env.sh文

大数据Hadoop之——Cloudera Hadoop(CM 6.3.1+CDH 6.3.2环境部署)

目录一、概述1)目前比较流行Hadoop版本2)CDH特点二、CDH组件介绍1)Hive2)Impala1、Impala优势2、工作原理3、Impala查询原理4、Impala的特性3)Kudu1、Kudu优势2、Kudu-Impala集成5)Sentry6)Spark三、ClouderaManager1)Terminology(术语)2)Architecture(架构)3)心跳检测4)StateManagement(状态管理)5)ConfigurationManagement(配置管理)1、HostTemplates(主机模板)2、ServerandClientConfiguration(服

大数据Hadoop之——Cloudera Hadoop(CM 6.3.1+CDH 6.3.2环境部署)

目录一、概述1)目前比较流行Hadoop版本2)CDH特点二、CDH组件介绍1)Hive2)Impala1、Impala优势2、工作原理3、Impala查询原理4、Impala的特性3)Kudu1、Kudu优势2、Kudu-Impala集成5)Sentry6)Spark三、ClouderaManager1)Terminology(术语)2)Architecture(架构)3)心跳检测4)StateManagement(状态管理)5)ConfigurationManagement(配置管理)1、HostTemplates(主机模板)2、ServerandClientConfiguration(服

离线自动化部署CDH

离线CDH集群自动化部署工具离线CDH集群安装与部署的自动化脚本工具,简单支持「离线一键装机」。脚本将对系统配置做出一定修改,使用前请务必确认当前服务器无其他人员、任务使用,以免造成不必要的麻烦,建议提前使用测试服务器或虚拟机测试体验。一、Features已实现的自动化功能(仅支持Redhat/CentOS系列):Usage:init_ssh|install_softs|init_sys|init_dev|init_mysql|test_sys|init_cm|install_allinit_ssh:Configurepassword-freeloginfromthecontrolmachin

离线自动化部署CDH

离线CDH集群自动化部署工具离线CDH集群安装与部署的自动化脚本工具,简单支持「离线一键装机」。脚本将对系统配置做出一定修改,使用前请务必确认当前服务器无其他人员、任务使用,以免造成不必要的麻烦,建议提前使用测试服务器或虚拟机测试体验。一、Features已实现的自动化功能(仅支持Redhat/CentOS系列):Usage:init_ssh|install_softs|init_sys|init_dev|init_mysql|test_sys|init_cm|install_allinit_ssh:Configurepassword-freeloginfromthecontrolmachin

CDH6.3配置HDFS高可用,多NameNode

概述搭建HDFS的NameNode集群,在单个NameNode宕机或繁忙时,可以做故障转移和压力平摊;配置的过程比较复杂,网上的可查资料也很少步骤1.停止运行中的所有hdfs角色,并删除SecondaryNameNode开启了高可用,不需要SecondaryNameNode,该角色并不具备故障转移的功能,可以理解为一个备份点,解读SecondaryNameNode的功能;在只有一个NameNode的情况下,必须配置SecondaryNameNode;但多个NameNode的时候,如果没删除会报错校验不通过,这里先忽略不理2.新增JournalNode,NameNode和FailoverCont

CDH6.3配置HDFS高可用,多NameNode

概述搭建HDFS的NameNode集群,在单个NameNode宕机或繁忙时,可以做故障转移和压力平摊;配置的过程比较复杂,网上的可查资料也很少步骤1.停止运行中的所有hdfs角色,并删除SecondaryNameNode开启了高可用,不需要SecondaryNameNode,该角色并不具备故障转移的功能,可以理解为一个备份点,解读SecondaryNameNode的功能;在只有一个NameNode的情况下,必须配置SecondaryNameNode;但多个NameNode的时候,如果没删除会报错校验不通过,这里先忽略不理2.新增JournalNode,NameNode和FailoverCont