草庐IT

nodejs-csv-write-stream

全部标签

ruby-on-rails - cucumber 测试失败,返回 `stream closed (IOError)`

我们目前正在将我们的Rails应用程序升级到Rails4。在3.2中,我们的Cucumber(1.3.17)测试运行良好(如果可悲地缓慢),使用Capybara(2.4.4)、Poltergeist(1.5.1)和PhantomJS(1.9.8)引擎盖下。但是在4.0.12和4.1.8中,我们在运行中的随机点得到一个streamclosed(IOError):streamclosed(IOError)/var/lib/jenkins/.rvm/gems/ruby-2.1.5@tallama-integration/gems/cucumber-1.3.17/lib/cucumber/fo

ruby-on-rails - 将 CSV 流从 Ruby 上传到 S3

我正在处理潜在的巨大CSV文件,我想从我的Rails应用程序导出这些文件,并且由于它在Heroku上运行,我的想法是在生成这些CSV文件时将它们直接流式传输到S3。现在,我遇到了一个问题,因为Aws::S3需要一个文件才能执行上传,而在我的Rails应用程序中我想做类似的事情:S3.bucket('my-bucket').object('my-csv')我怎样才能做到这一点? 最佳答案 您可以使用s3分段上传,允许通过将大对象拆分为多个block来上传。https://docs.aws.amazon.com/AmazonS3/lat

ruby - 如何解析 CSV 文件,更新字段,然后保存

我需要读取一个CSV文件,更新一个字段,然后保存更改。除了将我的更改保存到我正在更新的字段外,我一切正常:require'csv'@parsed_file=CSV::Reader.parse(File.open("#{RAILS_ROOT}/doc/some.csv"))@parsed_file.each_with_indexdo|row,x|address=row[5]l=Location.address_find(address)ifl!=nilputs"#{l.name}at#{l.address}"row[14]=l.store_codeputsrow[14]elseputs"

ruby-on-rails - 如何只解析 CSV 文件的第一行?

如何只解析CSV文件的第一行?我想确保文件中提供了所有适当的列,但不想处理整个文件。 最佳答案 一个更好的方法是简单地使用内置的Enumerable支持Ruby'sStandardLibraryCSVparser:headers=CSV.open('file.csv','r'){|csv|csv.first}该block将导致文件自动关闭,调用将返回已解析header的数组。 关于ruby-on-rails-如何只解析CSV文件的第一行?,我们在StackOverflow上找到一个类似的

ruby-on-rails - 如何从 ruby​​ 中的 CSV 文件中获取标题

我需要在解析CSV文件中的数据之前验证其中的header。#convertthedataintoanarrayofhashesCSV::Converters[:blank_to_nil]=lambdado|field|field&&field.empty??nil:fieldendcsv=CSV.new(file,:headers=>true,:header_converters=>:symbol,:converters=>[:all,:blank_to_nil])csv_data=csv.to_a.map{|row|row.to_hash}我知道我可以使用headers方法来获取标题

ruby-on-rails - 服务器发送的事件和 Rails Streaming

我正在试验Rails4ActionController::Live和ServerSentEvents。我正在使用MRI2.0.0和Puma。就我所见,每个连接的客户端都与服务器保持事件连接。我想知道是否可以在不保持所有响应流运行的情况下利用SSE。Puma使用线程管理多个连接,我想当前连接数是有限制的。如果我想支持成千上万的客户注册到我的Rails应用程序以参加SSE事件的真实场景怎么办?有没有例子?此外,我通常在nginx反向代理后面运行Rails应用程序服务器。它需要任何特定的设置吗? 最佳答案 SSE的构建方式是客户端打开到服

ruby-on-rails - 如何在 Rails 中的 CSV 解析期间更改编码

我想知道如何在导入和解析CSV文件时更改它的编码。我有这段代码:csv=CSV.parse(output,:headers=>true,:col_sep=>";")csv.eachdo|row|row=row.to_hash.with_indifferent_accessinsert_data_method(row)end当我读取我的文件时,我得到这个错误:Encoding::CompatibilityErrorinFileImportingController#load_fileincompatiblecharacterencodings:ASCII-8BITandUTF-8我阅读了

ruby-on-rails - Rails 3,导入前检查 CSV 文件编码

在我的应用程序(Rails3.0.5、Ruby1.8.7)中,我创建了一个导入工具来从文件导入CSV数据。问题:我要求我的用户以UTF-8编码从Excel中导出CSV文件,但大多数时候他们并没有这么做。如何在导入前验证文件是否为UTF-8?否则导入将运行但会产生奇怪的结果。我使用FasterCSV导入。错误的CSV文件示例:;VallÈeduRhÙne;CÙteRotie;谢谢。 最佳答案 您可以使用CharlockHolmes,Ruby的字符编码检测库。https://github.com/brianmario/charlock_

ruby - 快速处理大量 CSV 数据的最佳方式

我有大型CSV数据集(超过1000万行)需要处理。我有两个其他文件需要引用输出-它们包含的数据放大了我们对CSV文件中数百万行的了解。目标是输出一个新的CSV文件,其中每条记录都与来自其他文件的附加信息合并。假设大型CSV文件有交易,但客户信息和账单信息记录在另外两个文件中,我们想要输出一个新的CSV,其中每笔交易都链接到客户ID和账户ID等。一位同事有一个用Java编写的功能程序来执行此操作,但速度很慢。原因是数百万行的CSV文件显然要遍历很多很多次。我的问题是——是的,我已经开始了——我应该如何在Ruby中处理这个问题?目标是让它更快(现在18小时以上,CPU事件很少)我可以将这么

Ruby:无法解析在 OS X 中导出为 CSV 的 Excel 文件

我正在使用Ruby的CSV库来解析一些CSV。我有一个看似格式正确的CSV文件,它是通过将Excel文件导出为CSV创建的。但是CSV.open(filename,'r')会导致CSV::IllegalFormatError。文件中没有恶意逗号或引号,也没有我认为可能会导致问题的任何其他内容。我怀疑问题可能与行结尾有关。我能够解析通过文本编辑器(Aquamacs)手动输入的数据。就在我尝试使用从Excel(适用于OSX)导出的数据时出现问题。当我在vim中打开导出的CSV文件时,所有文本都显示在一行中,行与行之间出现^M。从文档来看,您似乎可以为open提供行分隔符;但是我不确定在这种