草庐IT

hadoop - EC2 r3.xlarge 存储空间与文档不对应

coder 2024-01-07 原文

我在 EC2 上通过 r3.xlarge 实例使用 Hadoop YARN，我使用 spark-ec2 脚本从 AMI 启动实例。

关于 https://aws.amazon.com/ec2/instance-types/ , r3.xlarge 的规范如下:

vCPU: 4
Mem: 30.5 GiB
Storage: 1 x 80 GB

内存很好，free 命令给我这个结果:

root@ip-xxx-xx-xx-xxx ~]$ free -g
             total       used       free     shared    buffers     cached
Mem:            29          2         27          0          0          1

但存储与指示的不对应。

root@ip-xxx-xx-xx-xxx ~]$ df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/xvda1      7.8G  6.9G  783M  91% /
devtmpfs         15G   64K   15G   1% /dev
tmpfs            15G     0   15G   0% /dev/shm

像文档中指定的那样只有 ~40GB 而不是 80GB 是否正常？或者这是因为我从 AMI 启动了实例？

最佳答案

这两个 tmpfs 目录不在您丢失的 80gb 所在的位置。这看起来像一个 Debian/Ubuntu 发行版。我可以重现类似于您的 df 的内容:

$ df -h
Filesystem      Size  Used Avail Use% Mounted on
udev             15G   12K   15G   1% /dev
tmpfs           3.0G  328K  3.0G   1% /run
/dev/xvda1      7.8G  790M  6.6G  11% /
none             15G     0   15G   0% /run/shm

注意 /dev/xvda1。那是您在 ELB 上的启动分区。您的 80gb SSD 实际上位于 /dev/xvdb。你需要利用它:

mkdir -p /mnt/ssd && mkfs.ext4 /dev/xvdb \
  && echo '/dev/xvdb /mnt/ssd auto defaults,nobootwait 0 0' >> /etc/fstab \
  && mount /mnt/ssd

$ df -h
Filesystem      Size  Used Avail Use% Mounted on
udev             15G   12K   15G   1% /dev
tmpfs           3.0G  328K  3.0G   1% /run
/dev/xvda1      7.8G  790M  6.6G  11% /
/dev/xvdb        74G   52M   70G   1% /mnt/ssd

恭喜!您现在是 80gb 装载的骄傲拥有者。好的，不是 80gb。让我们得到 80gb:

$ df -H
Filesystem      Size  Used Avail Use% Mounted on
udev             17G   13k   17G   1% /dev
tmpfs           3.3G  336k  3.3G   1% /run
/dev/xvda1      8.4G  828M  7.1G  11% /
/dev/xvdb        80G   55M   76G   1% /mnt/ssd

关于hadoop - EC2 r3.xlarge 存储空间与文档不对应，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/37618918/

hadoopxlargecodedevsectionamazon-web-servicesapache-sparkamazon-ec2

有关hadoop - EC2 r3.xlarge 存储空间与文档不对应的更多相关文章

  1. hadoop安装之保姆级教程（二）之YARN的配置 - 2

    1.1.1 YARN的介绍 为克服Hadoop1.0中HDFS和MapReduce存在的各种问题⽽提出的，针对Hadoop1.0中的MapReduce在扩展性和多框架⽀持⽅⾯的不⾜，提出了全新的资源管理框架YARN. ApacheYARN（YetanotherResourceNegotiator的缩写）是Hadoop集群的资源管理系统，负责为计算程序提供服务器计算资源，相当于⼀个分布式的操作系统平台，⽽MapReduce等计算程序则相当于运⾏于操作系统之上的应⽤程序。 YARN被引⼊Hadoop2,最初是为了改善MapReduce的实现，但是因为具有⾜够的通⽤性，同样可以⽀持其他的分布式计算模

  2. ruby-on-rails - rails:为#<StateMachine::Machine:0xba3014ec> 调用了 protected 方法 `around_validation' - 2

    我正在尝试实现state_machinegem，在我的rails项目中，我安装了gem，然后我将“state”列添加到我的account_entries模型中:defchangeadd_column:account_entries,:state,:stringend然后在我的account_entries模型中，我添加了状态机初始方法，如下所示:state_machine:state,:initial=>:submitteddoend然后在我看来我显示时间进入状态:account_entry.state但是当我尝试从我的应用程序创建一个account_entry时，我得到了这个错误:p

  3. 建模分析 | 平面2R机器人(二连杆)运动学与动力学建模(附Matlab仿真) - 2

    目录0专栏介绍1平面2R机器人概述2运动学建模2.1正运动学模型2.2逆运动学模型2.3机器人运动学仿真3动力学建模3.1计算动能3.2势能计算与动力学方程3.3动力学仿真0专栏介绍?附C++/Python/Matlab全套代码?课程设计、毕业设计、创新竞赛必备！详细介绍全局规划(图搜索、采样法、智能算法等)；局部规划(DWA、APF等)；曲线优化(贝塞尔曲线、B样条曲线等)。?详情：图解自动驾驶中的运动规划(MotionPlanning)，附几十种规划算法1平面2R机器人概述如图1所示为本文的研究本体——平面2R机器人。对参数进行如下定义：机器人广义坐标

  4. ruby-on-rails - EC2 实例在负载均衡器中停止服务 - 2

    我有一个EC2实例正在运行。我有一个负载均衡器，它与EC2实例相关联。PingTarget:HTTP:3001/healthCheckTimeout:5secondsInterval:24secondsUnhealthythreshold:2Healthythreshold:10现在该实例显示为OutofService。我什至尝试更改监听端口等等。一切正常，直到重新启动我的EC2实例。任何帮助将不胜感激。仅供引用:我有一个在端口3001上运行的Rails应用程序，我有一个用于HTTP:80(loadbalancer)到HTTP:3001的监听器。我还在终端中通过ssh检查了正在运行的应

  5. ruby - 如何在 Chef 中使用 Ruby 标记 EC2 实例？ - 2

    我正在尝试与Chef一起启动EC2实例。一切都运行良好，但Chef似乎无法标记实例。我错过了什么吗？否则，实现此目标的首选Ruby库是什么？我可以在不需要额外gem的情况下做到吗？谢谢 最佳答案 knife-ec2Gem的0.5.12版支持在创建时使用--tags选项标记EC2实例。knifeec2servercreate[...youroptions...]--tagsTag=Value 关于ruby-如何在Chef中使用Ruby标记EC2实例？，我们在StackOverflow上找到

  6. 大数据之Hadoop数据仓库Hive - 2

    目录：一、简介二、HQL的执行流程三、索引四、索引案例五、Hive常用DDL操作六、Hive常用DML操作七、查询结果插入到表八、更新和删除操作九、查询结果写出到文件系统十、HiveCLI和Beeline命令行的基本使用十一、Hive配置一、简介Hive是一个构建在Hadoop之上的数据仓库，它可以将结构化的数据文件映射成表，并提供类SQL查询功能，用于查询的SQL语句会被转化为MapReduce作业，然后提交到Hadoop上运行。特点：简单、容易上手(提供了类似sql的查询语言hql)，使得精通sql但是不了解Java编程的人也能很好地进行大数据分析；灵活性高，可以自定义用户函数(UDF)和

  7. ruby - 使用aws sdk获取带有特定标签的ec2实例 - 2

    我正在尝试找出使用ruby​​awssdk获取带有特定标签(例如“测试”)的ec2实例列表的最佳方法。ec2=AWS::EC2.new(:access_key_id=>"XXXXXXXXXXXXX",:secret_access_key=>"YYYYYYYYY")ec2list=ec2.instances.filter("Name","testing)由于某些原因，这似乎不起作用。它认为它会过滤掉集合，只给我带有标签测试的实例。有没有办法使用ruby​​sdk来做到这一点？谢谢。 最佳答案 如果您想要标签“Name”的值为“test

  8. Ruby/openssl:将椭圆曲线点八位字节字符串转换为 OpenSSL::PKey::EC::Point - 2

    我正在尝试编写Ruby代码来检查我发现的特定消息上的椭圆曲线数字签名算法(ECDSA)签名here.问题是我不知道如何将公钥的八位字节字符串转换为OpenSSL::PKey::EC::Point目的。如果我用C写这个，我会把八位字节字符串传递给OpenSSL的o2i_ECPublicKey，它做的事情接近我想要的，实际上被referenceimplementation使用.但是，我搜索了sourcecodeofRuby(MRI)而且它不包含对o2i_ECPublicKey的调用，所以我不知道如何在不编写C扩展的情况下使用Ruby中的该函数。这是十六进制的八位字节字符串。它只是一个0x0

  9. Ubuntu下Hadoop的单机安装 - 2

            云计算实验中要求我们在Linux系统安装Hadoop，故来做一个简单的记录。· 注：我的操作系统环境是Ubuntu-20.04.3，安装的JDK版本为jdk1.8.0_301，安装的Hadoop版本为hadoop2.7.1。（不确定其他版本是否会出现版本兼容问题）Hadoop安装步骤如下：        一、更新apt和安装vim编辑器        二、配置本机无密码登录SSH        三、安装JAVA环境        四、下载安装Hadoop        五、伪分布式搭建一、更新apt和安装vim编辑器1、更新aptsudoapt-getupdate2、安装vim

  10. MAC系统安装Hadoop - 2

    一、设置免密登录1、系统偏好设置-----共享----勾选远程登录，所有用户2、打开终端，输入命令ssh-keygen-trsa，一直回车即可2.查看生成的公钥和私钥    cd~/.ssh    ls会看到~/.ssh目录下有两个文件：①私钥：id_rsa②公钥：id_rsa.pub3.将公钥内容写入到~/.ssh/authorized_keys中    cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys4.测试在terminal终端输入 sshlocalhost如果出现以下询问输入yes，不需要输入密码就能登录，说明配置成功Areyousureyouw

随机推荐