我需要进行一些繁重的机器学习计算。我在 LAN 上有少量闲置的机器。我需要多少台机器才能使用 hadoop/mapreduce/mahout 来分配我的计算，以便比在没有这些分布式框架的单台机器上运行要快得多？这是一个计算开销与 yield 的实际问题，因为我假设仅在 2 台机器之间分配总时间会比不分配和简单地在一台机器上运行更糟糕(只是因为分配计算所涉及的所有开销)。
技术说明:一些繁重的计算非常可并行化。所有这些都是只要每台机器都有自己的原始数据副本。
最佳答案
“普通”Java 程序和基于 Hadoop、基于 MapReduce 的实现是截然不同的野兽，很难进行比较。它不像 Hadoop 并行化了你的程序的一点点；它从上到下以完全不同的形式编写。
Hadoop 有开销:只是启 Action 业和启动 worker(如映射器和缩减器)的开销。它引入了更多时间用于序列化/反序列化数据、将其写入本地并将其传输到 HDFS。
基于 Hadoop 的实现总是会消耗更多的资源。所以，除非你无法避免，否则这是要避免的事情。如果你可以在一台机器上运行非分布式计算，最简单实用的建议就是不要分布式。省去麻烦。
对于 Mahout 推荐系统，我可以非常粗略地告诉您，对于相同的数据，Hadoop 作业比非分布式实现多 2-4 倍的计算量。显然，这在很大程度上取决于算法和算法调整选择。但给你一个数字:我不会为少于 4 台机器的 Hadoop 集群而烦恼。
显然，如果您的计算无法在您的一台机器上进行，您别无选择，只能分发。然后权衡是你可以允许什么样的挂钟时间与你可以投入多少计算能力。对 Amdahl 定律的引用是正确的，尽管它没有考虑 Hadoop 的显着开销。例如，要并行化 N 种方式，您至少需要 N 个映射器/缩减器，并且会产生 N 倍于每个映射器/缩减器的开销。还有一些固定的启动/关闭时间。
关于hadoop - 实际上，您需要多少台机器才能让 Hadoop/MapReduce/Mahout 加速非常可并行化的计算？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/6682421/
给定这段代码defcreate@upgrades=User.update_all(["role=?","upgraded"],:id=>params[:upgrade])redirect_toadmin_upgrades_path,:notice=>"Successfullyupgradeduser."end我如何在该操作中实际验证它们是否已保存或未重定向到适当的页面和消息？ 最佳答案 在Rails3中，update_all不返回任何有意义的信息，除了已更新的记录数(这可能取决于您的DBMS是否返回该信息)。http://ar.ru
当谈到运行时自省(introspection)和动态代码生成时，我认为ruby没有任何竞争对手，可能除了一些lisp方言。前几天，我正在做一些代码练习来探索ruby的动态功能，我开始想知道如何向现有对象添加方法。以下是我能想到的3种方法:obj=Object.new#addamethoddirectlydefobj.new_method...end#addamethodindirectlywiththesingletonclassclass这只是冰山一角，因为我还没有探索instance_eval、module_eval和define_method的各种组合。是否有在线/离线资
1.1.1 YARN的介绍 为克服Hadoop1.0中HDFS和MapReduce存在的各种问题⽽提出的，针对Hadoop1.0中的MapReduce在扩展性和多框架⽀持⽅⾯的不⾜，提出了全新的资源管理框架YARN. ApacheYARN（YetanotherResourceNegotiator的缩写）是Hadoop集群的资源管理系统，负责为计算程序提供服务器计算资源，相当于⼀个分布式的操作系统平台，⽽MapReduce等计算程序则相当于运⾏于操作系统之上的应⽤程序。 YARN被引⼊Hadoop2,最初是为了改善MapReduce的实现，但是因为具有⾜够的通⽤性，同样可以⽀持其他的分布式计算模
Rails相对较新。我正在尝试调用一个API，它应该向我返回一个唯一的URL。我的应用程序中捆绑了HTTParty。我已经创建了一个UniqueNumberController，并且我已经阅读了几个HTTParty指南，直到我想要什么，但也许我只是有点迷路，真的不知道该怎么做。基本上，我需要做的就是调用API，获取它返回的URL，然后将该URL插入到用户的数据库中。谁能给我指出正确的方向或与我分享一些代码？ 最佳答案 假设API为JSON格式并返回如下数据:{"url":"http://example.com/unique-url"
s=Socket.new(Socket::AF_INET,Socket::SOCK_STREAM,0)s.connect(Socket.pack_sockaddr_in('port','hostname'))ssl=OpenSSL::SSL::SSLSocket.new(s,sslcert)ssl.connect从这里开始，如果ssl连接和底层套接字仍然是ESTABLISHED，或者它是否在默认值7200之后进入CLOSE_WAIT，我想检查一个线程几秒钟甚至更糟的是在实际上不需要.write()或.read()的情况下关闭。是用select()、IO.select()还是其他方法完成
给定一个nxmbool数组:[[true,true,false],[false,true,true],[false,true,true]]有什么简单的方法可以返回“该列中有多少个true？”结果应该是[1,3,2] 最佳答案 使用转置得到一个数组，其中每个子数组代表一列，然后将每一列映射到其中的true数:arr.transpose.map{|subarr|subarr.count(true)}这是一个带有inject的版本，应该在1.8.6上运行，没有任何依赖:arr.transpose.map{|subarr|subarr.in
我想在ruby中生成一个64位整数。我知道在Java中你有很多渴望，但我不确定你会如何在Ruby中做到这一点。另外，64位数字中有多少个字符？这是我正在谈论的示例......123456789999。@num=Random.rand(9000)+Random.rand(9000)+Random.rand(9000)但我认为这是非常低效的，必须有一种更简单、更简洁的方法来做到这一点。谢谢! 最佳答案 rand可以将范围作为参数:pa=rand(2**32..2**64-1)#=>11093913376345012184putsa.
我刚刚在我的Ubuntu9.10服务器上安装了TeamBox。我使用提供的服务器脚本在端口3000上启动并运行它。它的运行速度非常慢，从另一台计算机连接时每个HTTP请求最多需要30秒。我使用链接从shell加载TeamBox，一点也不花时间。然后我设置了一个SSH隧道，它再次运行得非常快。我通过此服务器上的apache以及SAMBA等运行了大约30个虚拟主机，没有任何问题。我该如何解决这个问题？ 最佳答案 我的redmine(ruby，webrick)太慢了。现在我解决了这个问题:apt-getinstallmongrelruby
昨晚，我在思考我认为是高级ruby语言的功能，即Continuations(callcc)和Bindingobjects。我的意思是高级，因为我有静态类型的oo语言背景(C#、Java、C++)，我最近才发现ruby，所以这些语言特性对我来说不是很熟悉。我想知道这些语言功能在现实世界中的用途是什么。根据我的经验，一切都可以用静态类型的oo语言来完成，但有时我不太同意。我想我在阅读SamRuby的那篇好文章时发现了Continuation的美妙之处/兴趣:http://www.intertwingly.net/blog/2005/04/13/Continuations-for-C
在EloquentRuby(第21页，第一版，第六次打印)一书中，作者(RussOlsen)提倡使用each方法而不是for循环，这与我在其他地方读到的所有内容一致。但是作者还继续说，这样做的一个原因是for循环实际上调用了each方法，所以为什么不直接删掉中间人并使用each？所以我想知道这实际上是如何工作的。为了调查，我确实在github上的Ruby存储库上进行了搜索，但发现很难确定我在哪里/如何看到它的实际效果。重述问题:我如何证明Rubyfor循环实际上是使用each方法实现的？ 最佳答案 您可以通过编写一个实现每个的类来展
