草庐IT

json - 将数据加载到 hadoop 的推荐格式,用于简单的 map reduce

全部标签

Ruby 并行/多线程编程来读取巨大的数据库

我有一个ruby​​脚本读取一个巨大的表(约2000万行),进行一些处理并将其提供给Solr用于索引目的。这一直是我们流程中的一大瓶颈。我打算在这里加快速度,我想实现某种并行性。我对Ruby的多线程特性感到困惑。我们的服务器有ruby1.8.7(2009-06-12补丁级别174)[x86_64-linux]。来自thisblogpost和thisquestionatStackOverflow可见Ruby没有“真正的”多线程方法。我们的服务器有多个核心,所以使用parallelgem对我来说似乎是另一种方法。我应该采用什么方法?此外,我们将非常感谢您对并行数据库读取馈送系统的任何投入。

ruby-on-rails - 无法加载 lib 目录模块 - 未初始化的常量 - rails 2 到 rails 3 升级

我目前正在将Railsv2中的应用程序迁移到v3在我的lib/我在子目录中有一些模块,例如,我有lib/search/host_search.rb有一个moduleHostSearchdefdo_search(args)#...endend然后我需要在名为Discovery::HostController的Controller中使用它defsearch_resultsoutput=HostSearch.do_search(:search_string=>@search_string,:page=>params[:page],:user=>@current_user)#...end但是我

ruby-on-rails - ruby on rails 动态属性字段来自数据库使用 method_missing 问题

所以,以为我昨晚在工作,可以发誓。现在不行了,我想是时候寻求帮助了。我在数据库中定义动态字段,半EAV风格,让我们现在就说明我不想听听你对EAV是否​​是个好主意的意见:)无论如何,我做的这件事与我过去所做的有点不同,基本上当添加一个属性(或字段)时,我创建一个添加列到特定属性表迁移并运行它(或删除它)--无论如何,因为中间有一个类别层,它是定义所有属性的直接关系,所以我不能使用实际的属性名称作为列名称,因为属性是特定于类别的。所以,如果它能帮助你想象Entitybelongs_to:categoryCategoryhas_many:entitiesEntityAttributebel

ruby - 将数据写入文件的最有效方法

我想将2TB的数据写入一个文件,future可能是PB。数据由全'1'组成。例如2TB的数据由"1111111111111......11111"组成(每个字节用'1'表示)以下是我的方法:File.open("data",File::RDWR||File::CREAT)do|file|2*1024*1024*1024*1024.timesdofile.write('1')endend也就是说,File.write被调用了2TB次。从Ruby的角度,有没有更好的实现方式? 最佳答案 你有几个问题:File::RDWR||File::

ruby - 正则表达式 - 这个用于素数检测的正则表达式的复杂性是多少?

这行ruby​​代码检测素数(太棒了!)。("1"*n)!~/^1?$|^(11+?)\1+$/#wherenisapositiveinteger详细信息在这篇博文中解释http://www.noulakaz.net/weblog/2007/03/18/a-regular-expression-to-check-for-prime-numbers/我很好奇它在BIG-O表示法中的表现。有人帮忙吗? 最佳答案 根据经验数据,它似乎是O(n2)。我对前10000个质数中的每100个运行Ruby代码。以下是结果:蓝点是记录的时间,橙色线是

ruby - 为什么这段代码适用于 ruby​​ 1.8 而不是 ruby​​ 1.9?

这段代码:deffunc*;end[func"hello"]在Ruby1.8.7中解析没有错误,但返回语法错误:syntaxerror,unexpected']',expecting'}'在Ruby中>=1.9。我浏览了WhatisthedifferencebetweenRuby1.8andRuby1.9,但找不到对此的引用。有谁知道是什么变化导致了这种情况? 最佳答案 这是为了避免歧义。请考虑以下事项:deffoo(a,b=1)#footakesanoptionalsecondargumentend[foo1,2]这可以解释为[(

ruby - JSON的基于流的解析和写入

我分1,000个批处理从服务器获取大约20,000个数据集。每个数据集都是一个JSON对象。坚持这会产生大约350MB的未压缩明文。我的内存限制为1GB。因此,我以追加模式将每1,000个JSON对象作为一个数组写入到一个原始JSON文件中。结果是一个包含20个需要聚合的JSON数组的文件。无论如何我都需要触摸它们,因为我想添加元数据。一般RubyYajlParser使这成为可能:raw_file=File.new(path_to_raw_file,'r')json_file=File.new(path_to_json_file,'w')datasets=[]parser=Yajl::

python - 解释性语言中的链接和加载

在编译型语言中,源代码由编译器转化为目标代码,不同的目标文件(如果有多个文件)由链接器链接并由加载器加载到内存中执行。如果我有一个使用解释性语言(例如ruby​​或python)编写的应用程序,并且如果源代码跨多个文件拆分,那么这些文件究竟何时组合在一起。换句话说,链接何时完成?解释型语言一开始就有链接器和加载器,还是解释器包揽一切?我真的很困惑,无法理解它!!谁能对此有所启发?! 最佳答案 解释型语言或多或少是可执行文件的大型配置,称为解释器。该可执行文件(例如/usr/bin/python)是实际运行的程序。然后它读取它要执行的

ruby-on-rails - Websocket-rails 不适用于 Nginx 和 Unicorn 的生产环境

我有带有gemwebsocket-rails0.7的Rails3.2应用程序。在开发机上,一切正常在生产环境中,我使用Nginx/1.6作为代理服务器,Unicorn作为http服务器。Thin用于独立模式(在https://github.com/websocket-rails/websocket-rails/wiki/Standalone-Server-Mode之后)。nginx配置:location/websocket{proxy_passhttp://localhost:3001/websocket;proxy_http_version1.1;proxy_set_headerUp

ruby - MailCatcher 不适用于 VM 上的 rbenv

我在使用rbenv管理的VM(VirtualBox)中安装了MailCatcher。但是,mailcatcher不起作用,在下面显示错误消息:`require':cannotloadsuchfile--i18n/core_ext/string/interpolate(LoadError)i18n好像没装,我装了[vagrant@localhost~]$gemlisti18n***LOCALGEMS***i18n(0.7.0.beta1)我同样安装在AWSEC2中,它可以工作。我的VM中发生了什么?---详情---操作系统:CentOS6.5Ruby:2.1.1和rbenv0.4.0完整