草庐IT

hdfs_clusters

全部标签

redis-cluster集群的搭建

redis集群的搭建redis集群的三种模式主从复制哨兵模式cluster集群redis-cluster集群的搭建(在一台linux中搭建,三主三从)下载安装redis5.0.3cd/opt下载redis安装包wgethttp://download.redis.io/releases/redis-5.0.3.tar.gztar-zxvfredis-5.0.3.tar.gz解压make编译cdredis-5.0.3/进入redis文件夹mkdir-p/usr/local/redis-5.0.3创建redis-5.0.3安装文件夹makeinstallPREFIX=/usr/local/redis

HDFS High Availability(HA)高可用配置

高可用性(英语:highavailability,缩写为HA)IT术语,指系统无中断地执行其功能的能力,代表系统的可用性程度。是进行系统设计时的准则之一。高可用性系统意味着系统服务可以更长时间运行,通常通过提高系统的容错能力来实现。高可用性或者高可靠度的系统不会希望有单点故障造成整体故障的情形。一般可以透过冗余的方式增加多个相同机能的部件,只要这些部件没有同时失效,系统(或至少部分系统)仍可运作,这会让可靠度提高。解决单点故障,实现系统服务高可用的核心并不是让故障永不发生,而是让故障的发生对业务的影响降到最小。因为软硬件故障是难以避免的问题。当下企业中成熟的做法就是给单点故障的位置设置备份,形

HDFS High Availability(HA)高可用配置

高可用性(英语:highavailability,缩写为HA)IT术语,指系统无中断地执行其功能的能力,代表系统的可用性程度。是进行系统设计时的准则之一。高可用性系统意味着系统服务可以更长时间运行,通常通过提高系统的容错能力来实现。高可用性或者高可靠度的系统不会希望有单点故障造成整体故障的情形。一般可以透过冗余的方式增加多个相同机能的部件,只要这些部件没有同时失效,系统(或至少部分系统)仍可运作,这会让可靠度提高。解决单点故障,实现系统服务高可用的核心并不是让故障永不发生,而是让故障的发生对业务的影响降到最小。因为软硬件故障是难以避免的问题。当下企业中成熟的做法就是给单点故障的位置设置备份,形

Hadoop(二)Hdfs基本操作

HDFSHDFS由大量服务器组成存储集群,将数据进行分片与副本,实现高容错。而分片最小的单位就是块。默认块的大小是64M。HDFSCli操作官网https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/FileSystemShell.html启动命令sbin/start-dfs.sh停止命令sbin/stop-dfs.sh创建目录hadoopfs-mkdir/chesterdata查看是否创建成功hadoopfs-ls/上传文件hadoopfs-puttest.txt/chesterdata查看文件hadoo

Hadoop(二)Hdfs基本操作

HDFSHDFS由大量服务器组成存储集群,将数据进行分片与副本,实现高容错。而分片最小的单位就是块。默认块的大小是64M。HDFSCli操作官网https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/FileSystemShell.html启动命令sbin/start-dfs.sh停止命令sbin/stop-dfs.sh创建目录hadoopfs-mkdir/chesterdata查看是否创建成功hadoopfs-ls/上传文件hadoopfs-puttest.txt/chesterdata查看文件hadoo

在 Ubuntu 22 的基础上进行 Hadoop 伪分布式(HDFS)的搭建

一、使用VMware安装Ubuntu虚拟机推荐可以再下个Xshell用于操作终端。Xshell免费版官网下载地址:https://www.xshell.com/zh/free-for-home-school/二、伪分布式平台搭建Part1:准备工作首先按 ctrl+alt+t 打开终端窗口,输入如下命令创建新用户。这条命令创建了可以登陆的hadoop用户,并使用/bin/bash作为shell。sudouseradd-mhadoop-s/bin/bashsudo命令:本文中会大量使用到sudo命令。sudo是ubuntu中一种权限管理机制,管理员可以授权给一些普通用户去执行一些需要root权限

在 Ubuntu 22 的基础上进行 Hadoop 伪分布式(HDFS)的搭建

一、使用VMware安装Ubuntu虚拟机推荐可以再下个Xshell用于操作终端。Xshell免费版官网下载地址:https://www.xshell.com/zh/free-for-home-school/二、伪分布式平台搭建Part1:准备工作首先按 ctrl+alt+t 打开终端窗口,输入如下命令创建新用户。这条命令创建了可以登陆的hadoop用户,并使用/bin/bash作为shell。sudouseradd-mhadoop-s/bin/bashsudo命令:本文中会大量使用到sudo命令。sudo是ubuntu中一种权限管理机制,管理员可以授权给一些普通用户去执行一些需要root权限

华为云FusionInsight MRS HDFS组件数据存储策略配置指导

操作场景默认情况下,HDFSNameNode自动选择DataNode保存数据的副本。在实际业务中,可能存在以下场景:DataNode上可能存在不同的存储设备,数据需要选择一个合适的存储设备分级存储数据。DataNode不同目录中的数据重要程度不同,数据需要根据目录标签选择一个合适的DataNode节点保存。DataNode集群使用了异构服务器,关键数据需要保存在具有高度可靠性的机架组中。对系统的影响配置HDFS数据存储策略需要重启服务,服务重启时无法访问。前提条件管理员已根据业务需要,规划数据存储的策略。已安装HDFS客户端,请参见“管理员指南”中的“安装客户端”章节。配置DataNode使用

华为云FusionInsight MRS HDFS组件数据存储策略配置指导

操作场景默认情况下,HDFSNameNode自动选择DataNode保存数据的副本。在实际业务中,可能存在以下场景:DataNode上可能存在不同的存储设备,数据需要选择一个合适的存储设备分级存储数据。DataNode不同目录中的数据重要程度不同,数据需要根据目录标签选择一个合适的DataNode节点保存。DataNode集群使用了异构服务器,关键数据需要保存在具有高度可靠性的机架组中。对系统的影响配置HDFS数据存储策略需要重启服务,服务重启时无法访问。前提条件管理员已根据业务需要,规划数据存储的策略。已安装HDFS客户端,请参见“管理员指南”中的“安装客户端”章节。配置DataNode使用

Kubernetes Cluster部署

 1、基本环境说明ip: 192.168.115.149  主机名:node1   CentOSLinuxrelease7.9.2009,内核版本为3.10.0-1160.81.1.el7.x86_64ip: 192.168.115.151   主机名:node2  CentOSLinuxrelease7.9.2009,内核版本为3.10.0-1160.81.1.el7.x86_64ip: 192.168.115.152   主机名:node3   CentOSLinuxrelease7.9.2009,内核版本为3.10.0-1160.81.1.el7.x86_642、安装说明安装方式:yum