草庐IT

hadoop - HDFS 和冗余

coder 2024-01-08 原文

我正在规划数据处理管道。我的场景是这样的:

  • 用户上传数据到服务器
  • 此数据应分发到我集群中的一个(且仅一个)节点。没有分布式计算，只是选择一个当前最少要做的节点
  • 数据处理管道从某种分布式作业引擎获取数据。虽然这是(最后)我的问题:许多工作引擎依赖 HDFS 来处理数据。但由于此数据仅在一个节点上处理，我宁愿避免分发它。但我的理解是 HDFS 保持数据冗余 - 尽管我找不到任何信息，如果这意味着 HDFS 上的所有数据是否在所有节点上都可用，或者数据主要在处理它的节点(本地)上。

如果 HDFS 上的数据完全冗余，由于我的使用场景的 IO 原因，我会担心。

最佳答案

您可以使用 Hadoop(Map Reduce + HDFS)来解决您的问题。

  1. 您可以告诉 HDFS 根据需要存储特定数量的副本。请参阅下面的 dfs.replication 属性。如果您只需要一份副本，请将此值设置为 1。

conf/hdfs-site.xml - 在主机和所有从机上

<property>
  <name>dfs.replication</name>
  <value>1</value>
  <description>Default block replication.
  The actual number of replications can be specified when the file is created.
  The default is used if replication is not specified in create time.
  </description>
</property>

HDFS 没有必要在每个节点上复制数据。更多 info .

  1. Hadoop 的工作原理是“将代码移动到数据”。由于移动代码(主要以 MB 为单位)比以 GB 或 TB 为单位移动数据需要更少的网络带宽，因此您无需担心数据局部性或网络带宽。 Hadoop 负责。

关于hadoop - HDFS 和冗余，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/37397633/

hadoopHDFSsectionstrong

有关hadoop - HDFS 和冗余的更多相关文章

  1. hadoop安装之保姆级教程（二）之YARN的配置 - 2

    1.1.1 YARN的介绍 为克服Hadoop1.0中HDFS和MapReduce存在的各种问题⽽提出的，针对Hadoop1.0中的MapReduce在扩展性和多框架⽀持⽅⾯的不⾜，提出了全新的资源管理框架YARN. ApacheYARN（YetanotherResourceNegotiator的缩写）是Hadoop集群的资源管理系统，负责为计算程序提供服务器计算资源，相当于⼀个分布式的操作系统平台，⽽MapReduce等计算程序则相当于运⾏于操作系统之上的应⽤程序。 YARN被引⼊Hadoop2,最初是为了改善MapReduce的实现，但是因为具有⾜够的通⽤性，同样可以⽀持其他的分布式计算模

  2. 大数据之Hadoop数据仓库Hive - 2

    目录：一、简介二、HQL的执行流程三、索引四、索引案例五、Hive常用DDL操作六、Hive常用DML操作七、查询结果插入到表八、更新和删除操作九、查询结果写出到文件系统十、HiveCLI和Beeline命令行的基本使用十一、Hive配置一、简介Hive是一个构建在Hadoop之上的数据仓库，它可以将结构化的数据文件映射成表，并提供类SQL查询功能，用于查询的SQL语句会被转化为MapReduce作业，然后提交到Hadoop上运行。特点：简单、容易上手(提供了类似sql的查询语言hql)，使得精通sql但是不了解Java编程的人也能很好地进行大数据分析；灵活性高，可以自定义用户函数(UDF)和

  3. Ubuntu下Hadoop的单机安装 - 2

            云计算实验中要求我们在Linux系统安装Hadoop，故来做一个简单的记录。· 注：我的操作系统环境是Ubuntu-20.04.3，安装的JDK版本为jdk1.8.0_301，安装的Hadoop版本为hadoop2.7.1。（不确定其他版本是否会出现版本兼容问题）Hadoop安装步骤如下：        一、更新apt和安装vim编辑器        二、配置本机无密码登录SSH        三、安装JAVA环境        四、下载安装Hadoop        五、伪分布式搭建一、更新apt和安装vim编辑器1、更新aptsudoapt-getupdate2、安装vim

  4. MAC系统安装Hadoop - 2

    一、设置免密登录1、系统偏好设置-----共享----勾选远程登录，所有用户2、打开终端，输入命令ssh-keygen-trsa，一直回车即可2.查看生成的公钥和私钥    cd~/.ssh    ls会看到~/.ssh目录下有两个文件：①私钥：id_rsa②公钥：id_rsa.pub3.将公钥内容写入到~/.ssh/authorized_keys中    cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys4.测试在terminal终端输入 sshlocalhost如果出现以下询问输入yes，不需要输入密码就能登录，说明配置成功Areyousureyouw

  5. HDFS+ MapReduce 数据处理与存储实验 - 2

    文章目录实验二：HDFS+MapReduce数据处理与存储实验1.实验目的2.实验环境3.实验内容3.1HDFS部分3.1.1上传文件3.1.2下载文件3.1.3显示文件信息3.1.4显示目录信息3.1.5删除文件3.1.6移动文件3.2MapReduce部分3.2.0Mapreduce原理3.2.1合并和去重3.2.1.1编写Merge.java代码3.2.1.2编译执行3.2.2文件的排序3.2.2.1编写Sort.java代码3.2.2.2编译执行4.踩坑记录5.心得体会6.源码附录6.1Merge.java完整代码6.2Sort.java完整代码实验二：HDFS+MapReduce数据

  6. javascript - 自定义冗余复选框输入 Jquery 代码 - 2

    我有下面的工作代码，我认为他有点太长和多余了，我可以自定义它吗？$("#unique").click(function(){if($(this).is(':checked')){$(".lotud").show();$("#add_lot").hide();$("#lots_rows_contnr").hide();$(".lotudinput").prop({disabled:false})$("#lots_rows_contnrinput").prop({disabled:true})}else{$(".lotud").hide();$("#add_lot").show();$("

  7. javascript - elasticsearch:保留冗余(非规范化)数据或保留用于交叉引用的 id 列表？ - 2

    是将冗余数据存储在索引中更好，还是拥有两个索引然后交叉引用它们更好？即，用户想在剧院看电影。由于用户有兴趣按影院查找电影，我们可以有一个带有电影nested_type的影院索引://Here,moviesfieldwillbeaNestedType,notObjectType.eclient.index({index:'myindex',type:'theater',id:1,body:{name:"GrandCinema",description:"Comewatchmovies!",movies:[{title:"RedNovember",description:"Asubmari

  8. Yarn增加新队列-----hive向Yarn提交任务后，Hadoop再次向Yarn提交任务阻塞 - 2

    博学之，审问之，慎思之，明辨之，笃行之🏂hiveonspark搭建好后，任务提交会有问题，因为通过hive会话提交的任务一直存在且不会结束（除非关掉这个hive会话），根本原因是这些任务提交到了Yarn的同一个队列中，前面的任务没有执行完毕后面的任务不会执行，所以解决办法是增加一个Yarn队列，指定任务提交的队列，这样就不会出现任务的阻塞。目录一、情景复现二、原因三、Yarn队列配置—增加队列1.情景复现：搭建好hiveonspark后，在命令行直接进入hive会话，提交任务后，在ResourceManager上jps查看进程可以看到有个进程ApplicationMaster一直存在，打开Re

  9. [Spark、hadoop]spark Streaming的核心DStream - 2

    目录SparkStreaming的核心是DStream一、DStream简介二．DStream编程模型三．DStream转换操作SparkStreaming的核心是DStream一、DStream简介1.Spark Streaming提供了一个高级抽象的流，即DStream(离散流)。2.DStream的内部结构是由一系列连续的RDD组成，每个RDD都是一小段由时间分隔开来的数据集。二．DStream编程模型三．DStream转换操作transform（）1．在3个节点启动zookeeper集群服务$zkServer.shstart2．启动kafka（3个节点都要）$/opt/module/k

  10. javascript - 简化我的 jQuery 代码，它变得越来越庞大和冗余 - 2

    我不是jQuery专家，但我正在学习。我正在使用一些(增长到很多)jQuery来隐藏一些图像并在单击拇指时显示单个图像。虽然这一点jQuery有效，但它的效率非常低，但我不确定如何将其简化为更通用的水平。$(document).ready(function(){//ChangingtheMaterials$("a#shirtred").click(function(){$("#selectMaterialsimg").removeClass("visible");$("img.selectShirtRed").addClass("visible");});$("a#shirtgrey"

随机推荐