草庐IT

批量写入

全部标签

ruby-on-rails - 优化读取数据库和写入csv文件

我正在尝试从数据库中读取大量单元格(超过100.000个)并将它们写入VPSUbuntu服务器上的csv文件。碰巧服务器没有足够的内存。我正在考虑一次读取5000行并将它们写入文件,然后再读取5000行,等等。我应该如何重构我当前的代码以使内存不会被完全消耗?这是我的代码:defwrite_rows(emails)File.open(file_path,"w+")do|f|f该函数由sidekiqworker调用:write_rows(user.emails)感谢您的帮助! 最佳答案 这里的问题是,当您调用emails.each时,

ruby - 从 ruby​​ 中的多个线程写入单个文件

我正在尝试从多个线程写入单个文件。我遇到的问题是,在程序退出之前,我看不到任何内容被写入文件。 最佳答案 你需要file.flush来写出来。您还可以设置file.sync=true使其自动刷新。 关于ruby-从ruby​​中的多个线程写入单个文件,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.com/questions/2761517/

ruby - 将数据写入文件的最有效方法

我想将2TB的数据写入一个文件,future可能是PB。数据由全'1'组成。例如2TB的数据由"1111111111111......11111"组成(每个字节用'1'表示)以下是我的方法:File.open("data",File::RDWR||File::CREAT)do|file|2*1024*1024*1024*1024.timesdofile.write('1')endend也就是说,File.write被调用了2TB次。从Ruby的角度,有没有更好的实现方式? 最佳答案 你有几个问题:File::RDWR||File::

ruby - JSON的基于流的解析和写入

我分1,000个批处理从服务器获取大约20,000个数据集。每个数据集都是一个JSON对象。坚持这会产生大约350MB的未压缩明文。我的内存限制为1GB。因此,我以追加模式将每1,000个JSON对象作为一个数组写入到一个原始JSON文件中。结果是一个包含20个需要聚合的JSON数组的文件。无论如何我都需要触摸它们,因为我想添加元数据。一般RubyYajlParser使这成为可能:raw_file=File.new(path_to_raw_file,'r')json_file=File.new(path_to_json_file,'w')datasets=[]parser=Yajl::

ruby - 简单的问题 : Read file, 在 Ruby 中反转它并写入另一个文件

我有:o=File.new("ouput.txt","rw+")File.new("my_file.txt").lines.reverse_each{|line|?????line}o.close不知道用什么方法写入文件输出o 最佳答案 puts理解数组,因此您可以将其简化为:File.open("f2.txt","w"){|o|o.putsFile.readlines("f1.txt").reverse} 关于ruby-简单的问题:Readfile,在Ruby中反转它并写入另一个文件,

ruby - 如何使用 ruby​​ 将 blob 数据写入文件?

我正试图从一个非常糟糕的云服务器上下载我们所有的信息。这些文件是图像和PDF。我的问题是我不知道如何将从我通过此云API执行的read_object调用接收到的blob数据写入本地文件系统上的文件。我知道我可以使用ImageMagick/RMagick从blob创建图像,但我宁愿跳过这一步并将数据直接写入文件。我不想担心用每个解码委托(delegate)编译ImageMagick。我真的没有在Google上看到太多这方面的信息,这是不是经常用Ruby做的事情? 最佳答案 假设文件不存在或者你想覆盖它当前的内容,你只需要用wb模式打开

ruby - 如何使用 bash 命令或 Ruby 使用 ffmpeg 将 mp4 文件批量转换为 ogg

我运行的是OSX,对视频转换一无所知。但我有大约200个视频都是mp4格式,无法在Firefox中播放。我需要将它们转换为ogg才能使用html5视频标签。这些文件位于一个文件夹结构中,这使得一次一个地处理一个文件变得困难。我希望bash命令或Ruby命令遍历所有子文件夹并找到所有.mp4并转换它们。我找到了一份关于如何使用Google执行此操作的引用资料:http://athmasagar.wordpress.com/2011/05/12/a-bash-script-to-convert-mp4-files-to-oggogv/#!/bin/bashforfin$(ls*mp4|se

ruby-on-rails - Heroku Rails 控制台写入本地文件

我想从我的数据库中提取一些信息到一个文本文件中。这样做的好方法是什么?我最初想运行我的herokubash和rails控制台,因为我只需要做一个简单的循环来获取我需要的信息。但我不知道从heroku写入文件的正确方法。它适用于我的本地Rails控制台我试过了File.open('text.txt','w')do|f|User.all.eachdo|u|f.putsu.emailendend或类似$stdout=File.new('/path/to/text.txt','w')但我认为这些文件最终不会出现在我的本地目录中...我该怎么做?也欢迎其他简单的解决方案,因为我认为我没有做任何过

sql - 是否可以在 Sequel 中批量更新?

是否可以使用Sequel在一次调用中进行多次更新??例如,在我的服务器上进行大约200次更新可能需要几分钟,但如果我伪造一个SQL查询,它会在几秒钟内运行。我想知道Sequel是否可以用来伪造那个SQL查询,或者更好的是,自己完成整个操作。 最佳答案 我遇到的解决方案涉及update_sql方法。它不是自己执行操作,而是输出原始SQL查询。要批量更新多个更新,只需将它们与;连接起来即可。在此期间,使用结果字符串调用run方法,一切就绪。批处理解决方案比多次更新快得多。 关于sql-是否可

Ruby:将转义字符串写入 YAML

以下...require'yaml'test="I'mab&dstring"File.open('test.yaml','w')do|out|out.write(test.to_yaml)end...输出...---thisisab&dstring如何让它输出---'thisisab&dstring'??? 最佳答案 如果你想在YAML中存储转义字符串,在将其转换为YAML之前使用#inspect对其进行转义:irb>require'yaml'=>trueirb>str=%{Thisstring'salittlecomplicate