我最近开始接触数据分析，并且在过去的一年里学到了很多东西(目前，我几乎只使用 Python)。我觉得下一步是开始在 MapReduce/Hadoop 中训练自己。然而，我没有接受过正式的计算机科学培训，所以经常不太理解人们在撰写有关 Hadoop 的文章时使用的行话，因此我的问题在这里。
我希望得到的是 Hadoop 的顶级概述(除非我应该使用其他东西？)，也许是对某种教程/教科书的推荐。
例如，如果我想并行化我用 Python 编写的神经网络，我应该从哪里开始？是否存在使用算法实现 Hadoop 的相对标准的方法，或者每个解决方案是否都针对具体问题？
Apache wiki 页面将 Hadoop 描述为“在由商品硬件构建的大型集群上运行应用程序的框架”。但那是什么意思？我听说过“Hadoop 集群”这个词，我知道 Hadoop 是基于 Java 的。那么，对于上面的示例，这是否意味着我需要学习 Java，例如在一些亚马逊服务器上设置 Hadoop 集群，然后在使用 Hadoop 最终让它在集群上运行之前使用 Jython 验证我的算法？
非常感谢您的帮助!
最佳答案
首先，要将 Hadoop 与 Python 结合使用(无论何时在您自己的集群、Amazon EMR 或其他任何设备上运行它)，您需要一个名为“Hadoop Streaming”的选项。
阅读original chapter ( updated link ) Hadoop 手册以了解其工作原理。
还有一个great library简化在 Hadoop 上运行 Python 作业的“MrJob”。
您可以设置自己的集群或尝试使用 Amazon Elastic Map Reduce。后者可能会花费您一些钱，但有时在开始时更容易运行。有一个 great tutorial关于如何在 Amazon EMR 上使用 Hadoop Streaming 运行 Python。它立即显示了一个简单但实用的应用程序。
要学习 Hadoop 本身，我建议您阅读其中一本书。他们说"Hadoop In Action"更适合那些对 Python/Hadoop Streaming 感兴趣的人。
另请注意，对于测试/学习内容，您可以在本地计算机上运行 Hadoop，而无需实际集群。
更新:
关于理解 Map Reduce(即如何在 Map Reduce 语言上识别和表达不同类型的问题)阅读很棒的文章“MapReduce Patterns, Algorithms, and Use Cases”以及 Python 示例。
关于python - 学习如何在 Python 中实现 MapReduce/Hadoop 的起点？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/12179359/
出于纯粹的兴趣，我很好奇如何按顺序创建PI，而不是在过程结果之后生成数字，而是让数字在过程本身生成时显示。如果是这种情况，那么数字可以自行产生，我可以对以前看到的数字实现垃圾收集，从而创建一个无限系列。结果只是在Pi系列之后每秒生成一个数字。这是我通过互联网筛选的结果:这是流行的计算机友好算法，类机器算法:defarccot(x,unity)xpow=unity/xn=1sign=1sum=0loopdoterm=xpow/nbreakifterm==0sum+=sign*(xpow/n)xpow/=x*xn+=2sign=-signendsumenddefcalc_pi(digits
关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题？更新问题，以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点？我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等)，但我确实想创建一个输出文件。
我怎样才能完成http://php.net/manual/en/function.call-user-func-array.php在ruby中？所以我可以这样做:classAppdeffoo(a,b)putsa+benddefbarargs=[1,2]App.send(:foo,args)#doesn'tworkApp.send(:foo,args[0],args[1])#doeswork,butdoesnotscaleendend 最佳答案 尝试分解数组App.send(:foo,*args)
如何在buildr项目中使用Ruby？我在很多不同的项目中使用过Ruby、JRuby、Java和Clojure。我目前正在使用我的标准Ruby开发一个模拟应用程序，我想尝试使用Clojure后端(我确实喜欢功能代码)以及JRubygui和测试套件。我还可以看到在未来的不同项目中使用Scala作为后端。我想我要为我的项目尝试一下buildr(http://buildr.apache.org/)，但我注意到buildr似乎没有设置为在项目中使用JRuby代码本身!这看起来有点傻，因为该工具旨在统一通用的JVM语言并且是在ruby中构建的。除了将输出的jar包含在一个独特的、仅限ruby
我正在使用的第三方API的文档状态:"[O]urAPIonlyacceptspaddedBase64encodedstrings."什么是“填充的Base64编码字符串”以及如何在Ruby中生成它们。下面的代码是我第一次尝试创建转换为Base64的JSON格式数据。xa=Base64.encode64(a.to_json) 最佳答案 他们说的padding其实就是Base64本身的一部分。它是末尾的“=”和“==”。Base64将3个字节的数据包编码为4个编码字符。所以如果你的输入数据有长度n和n%3=1=>"=="末尾用于填充n%
exe应该在我打开页面时运行。异步进程需要运行。有什么方法可以在ruby中使用两个参数异步运行exe吗？我已经尝试过ruby命令-system()、exec()但它正在等待过程完成。我需要用参数启动exe，无需等待进程完成是否有任何rubygems会支持我的问题？ 最佳答案 您可以使用Process.spawn和Process.wait2:pid=Process.spawn'your.exe','--option'#Later...pid,status=Process.wait2pid您的程序将作为解释器的子进程执行。除
鉴于我有以下迁移:Sequel.migrationdoupdoalter_table:usersdoadd_column:is_admin,:default=>falseend#SequelrunsaDESCRIBEtablestatement,whenthemodelisloaded.#Atthispoint,itdoesnotknowthatusershaveais_adminflag.#Soitfails.@user=User.find(:email=>"admin@fancy-startup.example")@user.is_admin=true@user.save!ende
我正在为一个项目制作一个简单的shell，我希望像在Bash中一样解析参数字符串。foobar"helloworld"fooz应该变成:["foo","bar","helloworld","fooz"]等等。到目前为止，我一直在使用CSV::parse_line，将列分隔符设置为""和.compact输出。问题是我现在必须选择是要支持单引号还是双引号。CSV不支持超过一个分隔符。Python有一个名为shlex的模块:>>>shlex.split("Test'helloworld'foo")['Test','helloworld','foo']>>>shlex.split('Test"
我实际上是在尝试使用RVM在我的OSX10.7.5上更新ruby，并在输入以下命令后:rvminstallruby我得到了以下回复:Searchingforbinaryrubies,thismighttakesometime.Checkingrequirementsforosx.Installingrequirementsforosx.Updatingsystem.......Errorrunning'requirements_osx_brew_update_systemruby-2.0.0-p247',pleaseread/Users/username/.rvm/log/138121
这可能是个愚蠢的问题。但是，我是一个新手......你怎么能在交互式rubyshell中有多行代码？好像你只能有一条长线。按回车键运行代码。无论如何我可以在不运行代码的情况下跳到下一行吗？再次抱歉，如果这是一个愚蠢的问题。谢谢。 最佳答案 这是一个例子:2.1.2:053>a=1=>12.1.2:054>b=2=>22.1.2:055>a+b=>32.1.2:056>ifa>b#Thecode‘if..."startsthedefinitionoftheconditionalstatement.2.1.2:057?>puts"f
