文章目录0，Cloudera管理页面相关debug端口1，Hadoop端口未授权访问访问hadoopweb页面2，检测Jetty版本漏洞临时修复办法：直接修改jetty版本号0，Cloudera管理页面相关debug端口CDH管理页面相关端口：ClouderaManagementService配置-->相关debug端口：8087，8084，8091，8086）1，Hadoop端口未授权访问解决方案：https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/HttpAuthentication.htmlclo
一、写数据流程：客户端（Client通过java虚拟机）向NameNode请求上传文件（内部过程：客户端通过对DistributedFileSystem对象调用create()函数来创建文件），参数：路径/a.txt，块规格，副本数。NameNode检查目标文件是否已存在，父目录是否存在。做出响应返回是否可以上传。过程：1、namenode执行各种不同的检查以确保这个文件不存在，并且客户端有创建该文件的权限。2、检查通过后，namenode就会为创建新文件记录一条记录并向客户端返回一个FSDataOutputStream对象；否则，文件创建失败并向客户端抛出一个IOException异常。客户
1、在k8s上部署redis单机1.1、redis简介redis是一款基于BSD协议，开源的非关系型数据库（nosql数据库），作者是意大利开发者SalvatoreSanfilippo在2009年发布，使用C语言编写；redis是基于内存存储，而且是目前比较流行的键值数据库（key-valuedatabase），它提供将内存通过网络远程共享的一种服务，提供类似功能的还有memcache，但相比memcache，redis还提供了易扩展、高性能、具备数据持久性等功能。主要的应用场景有session共享，常用于web集群中的tomcat或PHP中多web服务器的session共享；消息队列，ELK
1、客户端环境准备（1）将Hadoop-2.9.2安装包解压到非中文路径（例如：E:\hadoop-2.9.2）（2） 配置HADOOP_HOME环境变量（3） 配置Path环境变量。（4） 创建一个Maven工程ClientDemo（5）导入相应的依赖坐标+日志配置文件4.0.0com.lagou.hdfsclient_demo1.0-SNAPSHOTjunitjunitRELEASEorg.apache.logging.log4jlog4j-core2.8.2org.apache.hadoophadoop-common2.9.2org.apache.hadoophadoop-client2
1、客户端环境准备（1）将Hadoop-2.9.2安装包解压到非中文路径（例如：E:\hadoop-2.9.2）（2） 配置HADOOP_HOME环境变量（3） 配置Path环境变量。（4） 创建一个Maven工程ClientDemo（5）导入相应的依赖坐标+日志配置文件4.0.0com.lagou.hdfsclient_demo1.0-SNAPSHOTjunitjunitRELEASEorg.apache.logging.log4jlog4j-core2.8.2org.apache.hadoophadoop-common2.9.2org.apache.hadoophadoop-client2
大数据学习笔记01学习林子雨大数据教材的一些笔记HDFS常用操作启动Hadoop，在HDFS中创建用户目录“/user/hadoop”；$cd/usr/local/hadoop$./sbin/start-dfs.sh$jps在Linux系统的本地文件系统的“/usr/local/spark/mycode”目录下新建一个文本文件Word.txt$cd/usr/local/spark$mkdirmycode$touchWord.txt||$vimWord.txt将HDFS中Word.txt文件在终端显示$pwd查看所在路径$./bin/hdfsdfs-cat./Word.txt在HDFS中的“/u
目录1.集群规划２.文件配置3.启动集群4.查看集群 在开始Hadoop集群的HDFS高可用环境搭建之前，需要完成zookeeper搭建工作。1.集群规划节点NameNodeDataNodeResourceManagerNodeManagerJournalNodeZKFCQuorumPeerMainmaster√√√√√√√slave1√√√√√√slave2√√√√集群规划完成后，既可以开始搭建HDFSHA集群环境。２.文件配置 Hadoop的相关配置文件主要包括core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml和worker
1、背景在我们开发的过程中有这么一种场景，/projectA目录是hadoopdeploy用户创建的，他对这个目录有wrx权限，同时这个目录属于supergroup，在这个组中的用户也具有这个目录的wrx权限，对于其他人,不可访问这个目录。现在有这么一个特殊的用户root，我想root用户可以访问这个目录，在不修改root用户组和其他人的权限的情况下，还有什么方式可以实现这个功能呢？背景由上图可以，root用户想访问/projectA目录，在hdfs中可以通过acl来实现。2、环境准备#创建目录[hadoopdeploy@hadoop01~]$hdfsdfs-mkdir/projectA#列出
hive启动的过程中报错：Caused by:org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeException):Cannotcreatedirectory/export/servers/hive/tmp/root/3f53533f-2d07-4ca2-8580-95cb5434e9e3.Namenodeisinsafemode.是因为hive进入了安全模式，可以输入下面代码正常退出安全模式：hdfsdfsadmin-safemodeleave如果显示Safemodeis
hive启动的过程中报错：Caused by:org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeException):Cannotcreatedirectory/export/servers/hive/tmp/root/3f53533f-2d07-4ca2-8580-95cb5434e9e3.Namenodeisinsafemode.是因为hive进入了安全模式，可以输入下面代码正常退出安全模式：hdfsdfsadmin-safemodeleave如果显示Safemodeis
