目录1）安全模式2）进入安全模式场景3）退出安全模式条件4）基本语法5）案例1：启动集群进入安全模式6）案例2：磁盘修复7）案例3：模拟等待安全模式1）安全模式文件系统只接受读数据请求，而不接受删除、修改等变更请求2）进入安全模式场景NameNode在加载镜像文件和编辑日志期间处于安全模式；NameNode再接收DataNode注册时，处于安全模式3）退出安全模式条件dfs.namenode.safemode.min.datanodes:最小可用datanode数量，默认0dfs.namenode.safemode.threshold-pct:副本数达到最小要求的block占系统总block数

小肥柴的Hadoop之旅1.2Hadoop概述目录1.2Hadoop概述1.2.1回归问题1.2.2Google的三篇论文1.2.3Hadoop的诞生过程1.2.4Hadoop特点简介参考文献和资料)目录1.2Hadoop概述1.2.1回归问题通过前一篇帖子的介绍，特别是问题思考部分的说明，我们大致能够感受到为何需要新的技术体系来解决大数据问题，接下来咱们继续梳理细节。step_0传统方案既贵又搞不定大数据问题。（1）传统数据的处理模式：用户+集中式系统+关系型数据库优点是架构相对简单，但缺陷也十分明显：1）集中式的存储，集中式的计算，中心系统的工作十分繁忙。2）随着数据和业务的不断增长，往往

这是一篇新手笔记在提交spark任务的时候，若--class参数类名指定错误会让任务无法运行那么如果不会看文件路径的话，如何精准找出自己打包的类名呢？可以使用此条命令找到自己的类：jartf找到自己需要运行的任务，就可以直接使用spark-submit命令上传任务了spark-submit--masteryarn--driver-memory2G--driver-cores2--num-executors2--executor-memory3g--executor-cores4 --classspark.spark_hive1/opt/demo2.jar成功运行！

2.NameNode在启动时自动进入安全模式，在安全模式阶段，说法错误的是A. 安全模式目的是在系统启动时检查各个DataNode上数据块的有效性B.根据策略对数据块进行必要的复制或删除C.当数据块最小百分比数满足最小副本数条件时，会自动退出安全模式D.文件系统允许有修改标准答案：D3.关于HDFS的文件写入，正确的是A.支持多用户对同一个文件的写操作B.用户可以在文件的任意位置进行修改C.默认将文件复制成三份存放D.复制的文件默认都存在同一机架上标准答案：C9.下面与HDFS类似的框架是？CANTFSBFAT32CGFS(也是分布式文件系统，谷歌自己的分布式文件系统)DEXT34.HDFS无

一、获取jar包jenkins控制台--系统管理--工具和动作--Jenkins命令行接口按照提示下载：jenkins-cli.jar二、获取导出/导入的命令（Commandget-job）java-jarjenkins-cli.jar-shttps://jenkins-prod.wanyanzhenjiang.com/jenkins/-webSocketget-jobJOBDumpsthejobdefinitionXMLtostdout.JOB:Nameofthejob 三、导出/导入job的实际案例java-jarjenkins-cli.jar-shttp://172.31.174.62:

1、HDFS工作流程启动NameNode，NameNode加载fsimage到内存，对内存数据执行editslog日志中的事务操作。文件系统元数据内存镜像加载完毕，进行fsimage和editslog日志的合并，并创建新的fsimage文件和一个空的editslog日志文件。NameNode等待DataNode上传block列表信息，直到副本数满足最小副本条件,这个过程NameNode处于安全模式，最小副本条件指整个文件系统中有99.9%的block达到了最小副本数（默认值是1，可设置）。当满足了最小副本条件，再过30秒，NameNode就会退出安全模式。NameNode安全模式（safemo

docker重启报错如下：Jobfordocker.servicefailedbecausethecontrolprocessexitedwitherrorcode.See"systemctlstatusdocker.service"and"journalctl-xe"fordetails. 解决办法：直接把配置文件名称修改一下即可。1，进入目录下修改配置文件名称，路径：cd/etc/docker/2，把daemon.json配置文件改成daemon.conf即可，命令：mvdaemon.jsondaemon.conf。 3，重启正常 

文章目录一、部署环境安装说明1.HBASE和JDK版本对应关系2.HBASE和Hadoop版本对应关系3.预先声明二、配置Hadoop安装环境2.1.设置免密2.2.配置环境变量2.3.配置Hadoop相关文件2.4.验证三、安装HBASE3.1.解压3.2.配置环境变量3.3.修改配置一、部署环境安装说明名称版本腾讯云centos7.xjdk1.8Hadoop3.1.1HBASE2.0.61.HBASE和JDK版本对应关系HBASE官网：https://hbase.apache.org/HBASE官方指南：https://hbase.apache.org/book.htmlHBASE和JDK

文章目录HadoopYARNCgroups实践什么是cgroupscgroups概念YARN使用cgroups背景cgroups在YARN中的工作原理cgroups在YARN中的实践步骤NOTE参考HadoopYARNCgroups实践什么是cgroupscgroups的全名叫做ControlGroups，它是Linux内核的一个功能，用来限制、控制与分离一个进程组的资源（如CPU、内存、网络、磁盘IO等）。cgroups主要提供有以下四个功能：ResourceLimiting:Group可以设定CPU、内存等使用上限；Prioritization:不同的Group可以拥有不同的CPU跟磁盘I

文章目录目录前言一、从MySQL数据库中获取需要展示的数据。1.引入库2.连接到MySQL数据库二、创建图表三、运行后结果展示四、学习心得 总结前言     将Mysql表数据可视化展示在Web程序中可以借助ECharts这样的图表库来实现。通过Web程序连接MySQL数据库，获取数据后，使用ECharts图表库将数据转换为可视化图表展示在Web页面上。这样用户可以通过浏览器访问Web程序，直观地看到MySQL表中的数据关系和统计结果。一、从MySQL数据库中获取需要展示的数据。    下面这段代码是一个基于Flask框架的Web应用程序，实现了连接到MySQL数据库，并提供了一个接口/dat