通过shell命令访问HDFS1操作命令1.1创建文件夹1.2列出指定的文件和目录1.3上传文件1.4下载文件1.5查看文件1.6删除目录或文件1.7文件或文件夹的复制、移动1.8count统计1.9显示占用的磁盘空间大小2管理命令2.1安全模式相关2.2快照3其他命令HDFSshell大致可以分为操作命令、管理命令、其他命令三类。注意：当命令以“$”开头时，当前用户为普通用户；以“#”开头时，当前用户为root用户。1操作命令操作命令是以“hdfsdfs”开头的命令，用户可以通过执行这些命令，完成对文件的查找、上传、删除等操作。1.1创建文件夹hdfsdfs-mkdir[-p][-p]：表示
1、背景在我们的hadoop集群运行一段过程中，由于多种原因，数据在DataNade的磁盘之间的分布可能是不均匀。比如： 我们刚刚给某个DataNode新增加了一块磁盘或者集群上存在大批量的write&deltete操作等灯。那么有没有一种工具，能够使单个DataNode中的多个磁盘的数据均衡呢？借助Hadoop提供的Diskbalancer命令行工具可以实现。2、hdfsbalancer和hdfsdiskbalancer有何不同？hdfsbalancer：是为了集群中DataNode的数据均衡，即针对多个DataNode的。hdfsbalancerhdfsdiskbalancer：是为了使单
1、背景在我们的hadoop集群运行一段过程中，由于多种原因，数据在DataNade的磁盘之间的分布可能是不均匀。比如： 我们刚刚给某个DataNode新增加了一块磁盘或者集群上存在大批量的write&deltete操作等灯。那么有没有一种工具，能够使单个DataNode中的多个磁盘的数据均衡呢？借助Hadoop提供的Diskbalancer命令行工具可以实现。2、hdfsbalancer和hdfsdiskbalancer有何不同？hdfsbalancer：是为了集群中DataNode的数据均衡，即针对多个DataNode的。hdfsbalancerhdfsdiskbalancer：是为了使单
1报错描述在使用spark跑任务时，进度条突然停止，并且warning了，而且持续…WARNTaskSchedulerImpl:Initialjobhasnotacceptedanyresources;checkyourclusterUItoensurethatworkersareregisteredandhavesufficientresources2分析&解决翻译报错：初始作业未接受任何资源；请检查群集UI以确保工作进程已注册并且有足够的资源ok，那么就从两个角度出发：1、检查群集UI以确保工作进程已注册2、有足够的资源2.1集群节点未完全开启如果开启的是集群模式的情况下，要保证三个节点的
1报错描述在使用spark跑任务时，进度条突然停止，并且warning了，而且持续…WARNTaskSchedulerImpl:Initialjobhasnotacceptedanyresources;checkyourclusterUItoensurethatworkersareregisteredandhavesufficientresources2分析&解决翻译报错：初始作业未接受任何资源；请检查群集UI以确保工作进程已注册并且有足够的资源ok，那么就从两个角度出发：1、检查群集UI以确保工作进程已注册2、有足够的资源2.1集群节点未完全开启如果开启的是集群模式的情况下，要保证三个节点的
上一篇文章讲解了Redis集群原理及搭建，由于工作中使用docker较多，本文主要讲解使用docker搭建集群及对集群的扩展收容。环境：Centos7.6Docker：20.10.12Redis：6.2.61集群配置集群配置步骤1、创建redis-cluster.tmpl配置Redis信息【端口、是否开启集群等】2、创建redis.sh配置需要创建的redis信息3、添加网络，redis集群使用该网络4、执行redis.sh实现创建redis5、执行redis-cli创建集群1.1安装docker参考之前一篇文章《Docker安装及配置》1.2脚本创建创建目录mkdir-p/usr/local
上一篇文章讲解了Redis集群原理及搭建，由于工作中使用docker较多，本文主要讲解使用docker搭建集群及对集群的扩展收容。环境：Centos7.6Docker：20.10.12Redis：6.2.61集群配置集群配置步骤1、创建redis-cluster.tmpl配置Redis信息【端口、是否开启集群等】2、创建redis.sh配置需要创建的redis信息3、添加网络，redis集群使用该网络4、执行redis.sh实现创建redis5、执行redis-cli创建集群1.1安装docker参考之前一篇文章《Docker安装及配置》1.2脚本创建创建目录mkdir-p/usr/local
1引言网上很多文章会把集群和主从复制混为一谈，其实这两者是存在本质差异的，各自解决的问题不同。Redis在单机/单节点/单实例存在的风险：单点故障、容量有限、并发压力问题。Redis主从复制配合Sentinel故障监控和转移主要解决的是单点故障和并发压力，并没有解决服务器内存有限问题。注意：内存不是单纯的砸钱的问题，当服务器内存过大后对持久化和主从切换都是比较费时间的。所以，通常Redis服务器内存不会设置的太大。通过Redis集群扩容收容来解决内存有限问题。本文主要针对Redis服务器容量有限问题进行集群模型推导，并通过主流代理和官方RedisCluster实现Redis集群。2集群模型推导
1引言网上很多文章会把集群和主从复制混为一谈，其实这两者是存在本质差异的，各自解决的问题不同。Redis在单机/单节点/单实例存在的风险：单点故障、容量有限、并发压力问题。Redis主从复制配合Sentinel故障监控和转移主要解决的是单点故障和并发压力，并没有解决服务器内存有限问题。注意：内存不是单纯的砸钱的问题，当服务器内存过大后对持久化和主从切换都是比较费时间的。所以，通常Redis服务器内存不会设置的太大。通过Redis集群扩容收容来解决内存有限问题。本文主要针对Redis服务器容量有限问题进行集群模型推导，并通过主流代理和官方RedisCluster实现Redis集群。2集群模型推导
起因：使用flink的时候难免和redis打交道，相信大家都使用过flink-connector-redis来处理，但是当我想要使用RedisSink写入集群时，发现居然不支持使用密码，于是有了这篇笔记。 事情的经过是这样的，我准备用Flink往Redis写入数据，我照常引入flink-connector-redis包dependency>groupId>org.apache.flinkgroupId>artifactId>flink-connector-redis_2.11artifactId>version>1.1.5version>dependency>然后洋洋洒洒写下如下代码：pack
