离线CDH集群自动化部署工具离线CDH集群安装与部署的自动化脚本工具，简单支持「离线一键装机」。脚本将对系统配置做出一定修改，使用前请务必确认当前服务器无其他人员、任务使用，以免造成不必要的麻烦，建议提前使用测试服务器或虚拟机测试体验。一、Features已实现的自动化功能（仅支持Redhat/CentOS系列）：Usage:init_ssh|install_softs|init_sys|init_dev|init_mysql|test_sys|init_cm|install_allinit_ssh:Configurepassword-freeloginfromthecontrolmachin

离线CDH集群自动化部署工具离线CDH集群安装与部署的自动化脚本工具，简单支持「离线一键装机」。脚本将对系统配置做出一定修改，使用前请务必确认当前服务器无其他人员、任务使用，以免造成不必要的麻烦，建议提前使用测试服务器或虚拟机测试体验。一、Features已实现的自动化功能（仅支持Redhat/CentOS系列）：Usage:init_ssh|install_softs|init_sys|init_dev|init_mysql|test_sys|init_cm|install_allinit_ssh:Configurepassword-freeloginfromthecontrolmachin

一、InstallationRocketMQ-4.9.2onCentOS7.9地址：https://rocketmq.apache.orghttps://github.com/apache/rocketmqhttps://archive.apache.org/dist/rocketmq/4.9.2/rocketmq-all-4.9.2-bin-release.zip 准备环境 二、下载RocketMQwgethttps://archive.apache.org/dist/rocketmq/4.9.2/rocketmq-all-4.9.2-bin-release.zip安装解压工具yuminst

一、InstallationRocketMQ-4.9.2onCentOS7.9地址：https://rocketmq.apache.orghttps://github.com/apache/rocketmqhttps://archive.apache.org/dist/rocketmq/4.9.2/rocketmq-all-4.9.2-bin-release.zip 准备环境 二、下载RocketMQwgethttps://archive.apache.org/dist/rocketmq/4.9.2/rocketmq-all-4.9.2-bin-release.zip安装解压工具yuminst

概述搭建HDFS的NameNode集群,在单个NameNode宕机或繁忙时,可以做故障转移和压力平摊;配置的过程比较复杂,网上的可查资料也很少步骤1.停止运行中的所有hdfs角色,并删除SecondaryNameNode开启了高可用,不需要SecondaryNameNode,该角色并不具备故障转移的功能,可以理解为一个备份点,解读SecondaryNameNode的功能;在只有一个NameNode的情况下,必须配置SecondaryNameNode;但多个NameNode的时候,如果没删除会报错校验不通过,这里先忽略不理2.新增JournalNode,NameNode和FailoverCont

概述搭建HDFS的NameNode集群,在单个NameNode宕机或繁忙时,可以做故障转移和压力平摊;配置的过程比较复杂,网上的可查资料也很少步骤1.停止运行中的所有hdfs角色,并删除SecondaryNameNode开启了高可用,不需要SecondaryNameNode,该角色并不具备故障转移的功能,可以理解为一个备份点,解读SecondaryNameNode的功能;在只有一个NameNode的情况下,必须配置SecondaryNameNode;但多个NameNode的时候,如果没删除会报错校验不通过,这里先忽略不理2.新增JournalNode,NameNode和FailoverCont

distributecachepurge阻塞task的bug测试。cdh4.2.0:测试方法：local.cache.size=650因为cachedirsize和count是存在内存中的HashMap中的，把local.cache.size值设置的足够小，在每次job运行时都会触发deletedistributecache的操作。又因为是private的，是同步删除，会造成task阻塞。使用dd来构造1M个的小文件至某一个cachedir目录。观察阻塞时间，bug可以重现。#!/bin/bashdir=`foriin{1..11};dofind/home/xxx/hard_disk/${i}

distributecachepurge阻塞task的bug测试。cdh4.2.0:测试方法：local.cache.size=650因为cachedirsize和count是存在内存中的HashMap中的，把local.cache.size值设置的足够小，在每次job运行时都会触发deletedistributecache的操作。又因为是private的，是同步删除，会造成task阻塞。使用dd来构造1M个的小文件至某一个cachedir目录。观察阻塞时间，bug可以重现。#!/bin/bashdir=`foriin{1..11};dofind/home/xxx/hard_disk/${i}