我在 hadoop 方面没有实际经验 -- 我只学了一些理论。我面临的任务是使用集群处理一个巨大的 CSV 文件(比内存大得多)，我想出了以下过程。
假设 csv 文件包含 3 亿行，我将 1-1 亿行称为第 1 部分，将 101-2 亿行称为第 2 部分，将 201-3 亿行称为第 3 部分。 (这只是一个例子，因为在实践中数据必须被分割成更多的部分以便在内存中处理)
我想按以下方式将数据分发到节点上。
节点号数据获取
节点 1 只有第 1 部分
节点 2 只有第 2 部分
节点 3 只有第 3 部分
节点 4 第 1 部分和第 2 部分
节点 5 第 2 部分和第 3 部分
节点 6 第 1 部分和第 3 部分
您会看到一些节点只获取数据的一部分，而一些节点获取 2 部分数据。根据这一点，两个函数之一应用于每个节点。我了解到这可以通过 reducer 中的 if-else 语句来完成。 即我的 reducer 应该是这样的
如果(节点 1,2,3)运行函数 f1(data_block)
如果(节点 4,5,6)运行函数 f2(data_blockA,data_blockB)
问题是我学过的大部分hadoop例子都不允许每个节点选择要读取哪一部分数据。数据以一种相当黑盒的方式分发到节点。有什么办法可以解决这个问题吗？附言我正在考虑依赖 Hadoop 流，因为我的主要语言是 Python，而不是 Java，所以这可能是另一个限制。
最佳答案
HDFS架构中有 block 的概念。 HDFS 使用的典型 block 大小为 64 MB。当我们将一个大文件放入 HDFS 时，它被分成 64 MB 的 block (基于 block 的默认配置)，假设你有一个 1GB 的文件并且你想将该文件放入 HDFS，那么将有 1GB/64MB = 16拆分/ block ，这些 block 将分布在数据节点上。
数据拆分基于文件偏移发生。文件拆分的目标是数据的并行处理和故障转移。
根据您的集群配置，这些 block / block 将驻留在不同的 DataNode 上。每个 block 都会分配一个 block ID，NameNode 会为每个文件保留 block 的信息。
假设你有一个 128MB 的文件，你想把这个文件写到 HDFS 上。
客户端机器首先将文件拆分成 block 说 block A， block B然后客户端机器与名称节点交互并询问写入的位置 block (Block A Block B).NameNode给出可用的datanode列表给client写入数据。
然后客户端从这些列表中选择第一个数据节点并将第一个 block 写入数据节点，一旦写入过程和复制完成，数据节点将 block 复制到另一个数据节点第一个数据节点给出关于它收到的 block 的确认。然后客户端写入这 数据节点的另一个 block 。 NameNode 保留有关文件及其关联 block 的信息。
当客户端发出读取数据的请求时，它会再次向 NameNode 发出请求以获取特定文件的数据位置，然后 NameNode 将有关数据的 block 信息提供给客户端。
因此您无需担心 HDFS 上的数据替换问题。
您问题的答案:
没有其他方法可以控制 hadoop 上的数据替换策略，但是如果您根据 HDFS block 大小划分文件(假设 block 大小为 64MB，您的数据大小为 63MB)，那么一个文件将占用一个 block ，并且它将继续一个特定的数据节点，但数据节点将再次被 NameNode 选择。稍后您可以检查文件所在的数据节点。
但是将小文件放在 hadoop 上并不是处理 hadoop 的有效方法，因为 hadoop 旨在处理非常大的数据集，而小文件可能是 NameNode 的开销。请参阅此链接以获取 small file problem on Hadoop
以下链接有助于了解更多有关 hadoop 的信息。
http://docs.spring.io/spring-hadoop/docs/2.0.4.RELEASE/reference/html/store.html
关于python - Mapreduce:数据到节点的复杂分布，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/30397433/
关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题？更新问题，以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点？我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等)，但我确实想创建一个输出文件。
我主要使用Ruby来执行此操作，但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式，例如使用这个yaml文件，它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i
有时我需要处理键/值数据。我不喜欢使用数组，因为它们在大小上没有限制(很容易不小心添加超过2个项目，而且您最终需要稍后验证大小)。此外，0和1的索引变成了魔数(MagicNumber)，并且在传达含义方面做得很差(“当我说0时，我的意思是head...”)。散列也不合适，因为可能会不小心添加额外的条目。我写了下面的类来解决这个问题:classPairattr_accessor:head,:taildefinitialize(h,t)@head,@tail=h,tendend它工作得很好并且解决了问题，但我很想知道:Ruby标准库是否已经带有这样一个类？ 最佳
我有一个涉及多台机器、消息队列和事务的问题。因此，例如用户点击网页，点击将消息发送到另一台机器，该机器将付款添加到用户的帐户。每秒可能有数千次点击。事务的所有方面都应该是容错的。我以前从未遇到过这样的事情，但一些阅读表明这是一个众所周知的问题。所以我的问题。我假设安全的方法是使用两阶段提交，但协议(protocol)是阻塞的，所以我不会获得所需的性能，我是否正确？我通常写Ruby，但似乎Redis之类的数据库和Rescue、RabbitMQ等消息队列系统对我的帮助不大——即使我实现某种两阶段提交，如果Redis崩溃，数据也会丢失，因为它本质上只是内存。所有这些让我开始关注erlang和
这个问题在这里已经有了答案:关闭10年前。PossibleDuplicate:Pythonconditionalassignmentoperator对于这样一个简单的问题表示歉意，但是谷歌搜索||=并不是很有帮助；)Python中是否有与Ruby和Perl中的||=语句等效的语句？例如:foo="hey"foo||="what"#assignfooifit'sundefined#fooisstill"hey"bar||="yeah"#baris"yeah"另外，类似这样的东西的通用术语是什么？条件分配是我的第一个猜测，但Wikipediapage跟我想的不太一样。
什么是ruby的rack或python的Java的wsgi？还有一个路由库。 最佳答案 来自Python标准PEP333:Bycontrast,althoughJavahasjustasmanywebapplicationframeworksavailable,Java's"servlet"APImakesitpossibleforapplicationswrittenwithanyJavawebapplicationframeworktoruninanywebserverthatsupportstheservletAPI.ht
我正在尝试使用Curbgem执行以下POST以解析云curl-XPOST\-H"X-Parse-Application-Id:PARSE_APP_ID"\-H"X-Parse-REST-API-Key:PARSE_API_KEY"\-H"Content-Type:image/jpeg"\--data-binary'@myPicture.jpg'\https://api.parse.com/1/files/pic.jpg用这个:curl=Curl::Easy.new("https://api.parse.com/1/files/lion.jpg")curl.multipart_form_
无论您是想搭建桌面端、WEB端或者移动端APP应用，HOOPSPlatform组件都可以为您提供弹性的3D集成架构，同时，由工业领域3D技术专家组成的HOOPS技术团队也能为您提供技术支持服务。如果您的客户期望有一种在多个平台（桌面/WEB/APP，而且某些客户端是“瘦”客户端）快速、方便地将数据接入到3D应用系统的解决方案，并且当访问数据时，在各个平台上的性能和用户体验保持一致，HOOPSPlatform将帮助您完成。利用HOOPSPlatform，您可以开发在任何环境下的3D基础应用架构。HOOPSPlatform可以帮您打造3D创新型产品，HOOPSSDK包含的技术有：快速且准确的CAD
华为OD机试题本篇题目：明明的随机数题目输入描述输出描述：示例1输入输出说明代码编写思路最近更新的博客华为od2023|什么是华为od，od薪资待遇，od机试题清单华为OD机试真题大全，用Python解华为机试题|机试宝典【华为OD机试】全流程解析+经验分享,题型分享,防作弊指南华为o
本教程将在Unity3D中混合Optitrack与数据手套的数据流，在人体运动的基础上，添加双手手指部分的运动。双手手背的角度仍由Optitrack提供，数据手套提供双手手指的角度。 01 客户端软件分别安装MotiveBody与MotionVenus并校准人体与数据手套。MotiveBodyMotionVenus数据手套使用、校准流程参照：https://gitee.com/foheart_1/foheart-h1-data-summary.git02 数据转发打开MotiveBody软件的Streaming，开始向Unity3D广播数据；MotionVenus中设置->选项选择Unit
