记录:303场景:在CentOS7.9操作系统上,离线安装CM6.3.1和CDH6.3.2大数据平台。主要内容:配置集群基础环境、安装MySQL数据库、配置本地yum源、配置NTP校时、安装CM和CDH基础依赖包、安装CM和CDH。名词:Hadoop:是一个由Apache基金会开发的分布式系统基础架构。CM:ClouderaManager简称,Cloudera公司开发的一款大数据集群安装部署工具。CDH:Cloudera’sDistributionIncludingApacheHadoop简称,Cloudera公司构建的Hadoop稳定发行版。1.平台环境规划使用5台CentOS7.9操作系统
对于复制的虚拟机,在开机时,VMware自动为其分配了相同的Mac地址以及IP地址(除IP地址是dhcp自动获取外)UUID(UniversallyUniqueIdentifier)是系统层面的全局唯一标识符号,Mac地址以及IP地址是网络层面的标识号两台不同的Linux系统拥有相同的UUID并不影响系统的使用以及系统之间的通信但会影响网络通信1.设置静态ip1.1找到配置文件ifcfg-ens160注:文件名可能有所不同,但格式都是ifcfg-ensxxxcd/etc/sysconfig/network-scripts/1.2修改配置文件ifcfg-ens160viifcfg-ens160T
对于复制的虚拟机,在开机时,VMware自动为其分配了相同的Mac地址以及IP地址(除IP地址是dhcp自动获取外)UUID(UniversallyUniqueIdentifier)是系统层面的全局唯一标识符号,Mac地址以及IP地址是网络层面的标识号两台不同的Linux系统拥有相同的UUID并不影响系统的使用以及系统之间的通信但会影响网络通信1.设置静态ip1.1找到配置文件ifcfg-ens160注:文件名可能有所不同,但格式都是ifcfg-ensxxxcd/etc/sysconfig/network-scripts/1.2修改配置文件ifcfg-ens160viifcfg-ens160T
1.CentOS7系统开机时选择默认第一启动项,按字母"e"键编辑启动项;如图1所示图12.使用键盘上下左右方向键,往下找到linux16开头的一行,定位到ro(readonly);如图2所示图23.编辑ro为rw(readwrite),并在其后写入init=/sysroot/bin/sh,然后按照提示按Ctrl+x键启动;如图3所示图34. 进入CentOS7系统的单用户模式;如图4所示图45. 输入chroot/sysroot,来修改目录,获取root权限;如图5所示图56. 输入passwdroot修改root密码,输入两次新密码,完成密码重置;如图6所示图67. 输入touch/.au
1.CentOS7系统开机时选择默认第一启动项,按字母"e"键编辑启动项;如图1所示图12.使用键盘上下左右方向键,往下找到linux16开头的一行,定位到ro(readonly);如图2所示图23.编辑ro为rw(readwrite),并在其后写入init=/sysroot/bin/sh,然后按照提示按Ctrl+x键启动;如图3所示图34. 进入CentOS7系统的单用户模式;如图4所示图45. 输入chroot/sysroot,来修改目录,获取root权限;如图5所示图56. 输入passwdroot修改root密码,输入两次新密码,完成密码重置;如图6所示图67. 输入touch/.au
一、虚拟机安装CentOS7并配置共享文件夹二、CentOS7上hadoop伪分布式搭建全流程完整教程三、本机使用python操作hdfs搭建及常见问题四、mapreduce搭建五、mapper-reducer编程搭建六、hive数据仓库安装一、虚拟机安装二、centos系统安装三、共享文件夹配置一、虚拟机安装二、centos系统安装1.镜像下载2.CentOS系统安装3.调整处理器分配三、共享文件夹配置1.创建共享文件夹2.挂载共享目录一、虚拟机安装VMware16.1.2下载注:win10安装低于16.1的版本会,启动虚拟机时会导致本机重启激活密匙二、centos系统安装1.镜像下载链接2
一、虚拟机安装CentOS7并配置共享文件夹二、CentOS7上hadoop伪分布式搭建全流程完整教程三、本机使用python操作hdfs搭建及常见问题四、mapreduce搭建五、mapper-reducer编程搭建六、hive数据仓库安装一、虚拟机安装二、centos系统安装三、共享文件夹配置一、虚拟机安装二、centos系统安装1.镜像下载2.CentOS系统安装3.调整处理器分配三、共享文件夹配置1.创建共享文件夹2.挂载共享目录一、虚拟机安装VMware16.1.2下载注:win10安装低于16.1的版本会,启动虚拟机时会导致本机重启激活密匙二、centos系统安装1.镜像下载链接2
1创建jenkins.sh脚本mkdir-p/home/jenkins/.shellcd/home/jenkins/.shell1.1编写jenkins.sh脚本#!/bin/bash#author农耕园#此处声明`JENKINS_HOME`变量#原因在开机自启动是,该文件访问不到环境变量中`JENKINS_HOME`变量exportJENKINS_HOME=/root/.jenkins#其他环境变量(如过Jenkins服务还有其他的环境配置一并添加在此处,很重要。)exportJAVA_HOME=/usr/local/jdkexportJRE_HOME=/usr/local/jdk/jree
1创建jenkins.sh脚本mkdir-p/home/jenkins/.shellcd/home/jenkins/.shell1.1编写jenkins.sh脚本#!/bin/bash#author农耕园#此处声明`JENKINS_HOME`变量#原因在开机自启动是,该文件访问不到环境变量中`JENKINS_HOME`变量exportJENKINS_HOME=/root/.jenkins#其他环境变量(如过Jenkins服务还有其他的环境配置一并添加在此处,很重要。)exportJAVA_HOME=/usr/local/jdkexportJRE_HOME=/usr/local/jdk/jree
CentOS8详细安装教程--图文介绍超详细目录VMware介绍CentOS介绍一、下载镜像地址:Download这里选择阿里镜像 二、开始安装Centos81.【文件】----->【新建虚拟机】(快捷键:Ctrl+N)2. 这里我们选择【典型】即可---->【下一步】3.【稍后安装】---->【下一步】 4. 操作系统选择【Linux】--->版本这里选择【CentOS864位】---->【下一步】 5.【自定义名称】--->【选择存放路径】--->【下一步】 6.【设置默认磁盘大小】--->【拆分为多个文件】--->【下一步】 7.【自定义硬件】 8.【CD/DVD】--->【手动选择IS