1、创建目录创建单层目录执行命令：hdfsdfs-mkdir/ied利用HadoopWebUI查看创建的目录 创建多层目录，执行命令：hdfsdfs-mkdir/luzhou/lzy，会报错，因为/luzhou目录不存在 可以先创建/luzhou目录，然后在里面再创建lzy子目录，但是也可以一步到位，需要一个-p参数执行命令：hdfsdfs-mkdir-p/luzhou/lzy 利用HadoopWebUI查看创建的多层目录 2、查看目录执行命令：hdfsdfs-ls/，查看根目录 执行命令：hdfsdfs-ls/luzhou 查看根目录里全部的资源，要用到地柜参数-R（必须大写），执行命令：
引言：通过Java本地把windows里的文件资源上传到centOs环境下的hdfs文件系统里，中间遇到了很多问题，不过最终还是把文件上传到了hdfs里了环境：centos-7.0,hadoop.2.8.5.gz,jdk1.8,eclipse1、下载hadoop.2.8.5.tar.gz和jdk1.8的linux版本安装包，上传到linux的根目录下并配置环境变量，useraddhadoop一个用户，这点就不再详细说了，自己百度一下，随便把hadoop.tar.gz解压到一目录里，比如/opt/hadoop/hadoop.2.8.5,配置好以后可以看到版本。2、我们进入到/opt/hadoop
引言：通过Java本地把windows里的文件资源上传到centOs环境下的hdfs文件系统里，中间遇到了很多问题，不过最终还是把文件上传到了hdfs里了环境：centos-7.0,hadoop.2.8.5.gz,jdk1.8,eclipse1、下载hadoop.2.8.5.tar.gz和jdk1.8的linux版本安装包，上传到linux的根目录下并配置环境变量，useraddhadoop一个用户，这点就不再详细说了，自己百度一下，随便把hadoop.tar.gz解压到一目录里，比如/opt/hadoop/hadoop.2.8.5,配置好以后可以看到版本。2、我们进入到/opt/hadoop
查看文件系统的文件，执行：hdfsdfs-ls/文件路径2.创建目录，执行：hdfs-dfs-mkdir/文件名3.删除目录，执行：hdfs-rm-r/文件名
MariaDBGaleraCluster集群介绍MariaDBGaleraCluster（下文简称MGC集群），是一套在MySQLinnodb存储引擎上面实现多主、数据实时同步以及强一致性的关系存储架构，业务层面无需做读写分离工作，数据库读写压力都能按照既定的规则分发到各个节点上去，在数据方面完全兼容MariaDB和MySQL。MGC是基于Galera协议的高可用方案：Galera是Codership提供的多主数据同步复制机制，可以实现多个节点间的数据同步复制以及读写，并且可保障数据库的服务高可用及数据一致性。MGC集群是由节点组成的，推荐配置至少3个节点，但是也可以运行在2个节点上。每个节点
MariaDBGaleraCluster集群介绍MariaDBGaleraCluster（下文简称MGC集群），是一套在MySQLinnodb存储引擎上面实现多主、数据实时同步以及强一致性的关系存储架构，业务层面无需做读写分离工作，数据库读写压力都能按照既定的规则分发到各个节点上去，在数据方面完全兼容MariaDB和MySQL。MGC是基于Galera协议的高可用方案：Galera是Codership提供的多主数据同步复制机制，可以实现多个节点间的数据同步复制以及读写，并且可保障数据库的服务高可用及数据一致性。MGC集群是由节点组成的，推荐配置至少3个节点，但是也可以运行在2个节点上。每个节点
这里是weihubeats,觉得文章不错可以关注公众号小奏技术，文章首发。拒绝营销号，拒绝标题党源码版本这里选用最新的稳定版本5.0启动方式目前5.0的架构发生了重大调整，添加了一层rocketmq-proxy,可以通过grpc的方式接入目前部署方式分为两种Local模式:由于Local模式下Proxy和Broker是同进程部署，Proxy本身无状态，因此和之前4.0版本的部署方式基本相同Cluster模式:在Cluster模式下，Broker与Proxy分别部署，我可以在NameServer和Broker都启动完成之后再部署Proxy。启动1.下载源码源码地址:https://github.
DFSClient和DN在一个节点——localreads，远程阅读Remotereads。处理方式是一样的DN读数据通过RPC(TCP协议）把数据给DFSClient。DN在中间会做中转，处理简单但是性能收影响（Localread的情况下，会希望绕过DN直接读取Data，这就是短路短路本地读取DFSClient自行打开文件读取数据，需要配置白名单定义可读取数据的User——安全漏洞，不建议使用两个进程socket方式通讯，普通数据甚至是文件描述符传递给B，B读取文件内容（{即使B没有权限）3.A为DN，B为DFSClient，读取文件安全性稍微好点负载平衡器Balancer让block放信息
一、HDFS常用命令1.创建创建指定路径文件夹hdfsdfs-mkdir/user/zhaojuanjuan/syuchen_files2.查看查看指定目录下的文件hdfsdfs-ls/path查看指定文件夹总大小hdfsdfs-du-s-h/path查看指定目录下每一个文件夹的大小hdfsdfs-du-h/path直接查看gz文件内容hadoopfs-cat/xxxx/xxx.gz|gzip-d查看gz文件内容前几行hadoopfs-cat/xxxx/xxx.gz|gzip-d|head-103.移动与删除移动文件hdfsdfs-mv源文件路径目标路径删除hdfs文件夹hdfsdfs-rm-
#需要有superuser权限才能执行hadoopdfsadmin-report#Remaining是剩余的容量也可以通过浏览器访问50070端口查看
