草庐IT

csv - 去 panic : extra delimiter at end of line

全部标签

ruby-on-rails - 优化读取数据库和写入csv文件

我正在尝试从数据库中读取大量单元格(超过100.000个)并将它们写入VPSUbuntu服务器上的csv文件。碰巧服务器没有足够的内存。我正在考虑一次读取5000行并将它们写入文件,然后再读取5000行,等等。我应该如何重构我当前的代码以使内存不会被完全消耗?这是我的代码:defwrite_rows(emails)File.open(file_path,"w+")do|f|f该函数由sidekiqworker调用:write_rows(user.emails)感谢您的帮助! 最佳答案 这里的问题是,当您调用emails.each时,

ruby - 即时读取压缩的 csv 文件

我已经写了一些csv文件并压缩它,使用这个代码:arr=(0...2**16).to_aFile.open('file.bz2','wb')do|f|writer=Bzip2::Writer.newfCSV(writer)do|csv|(2**16).times{csv我想阅读这个csvbzip2ed文件(用bzip2压缩的csv文件)。这些未压缩的文件如下所示:1,24,125,28,71,3...所以我尝试了这段代码:Bzip2::Reader.open(filename)do|bzip2|CSV.foreach(bzip2)do|row|putsrow.inspectendend

arrays - 在 ruby​​ 中巧妙地将散列数组转换为 CSV

我需要转换CSV文件中的哈希数组。我发现的各种方法涉及在数组中插入哈希值:classArraydefto_csv(csv_filename="hash.csv")require'csv'CSV.open(csv_filename,"wb")do|csv|csv不幸的是,这个方法要求数组中的每个元素都是完整的,例如,当我有这个数组时,它甚至不会返回有效的csv:myarray=[{foo:1,bar:2,baz:3},{bar:2,baz:3},{foo:2,bar:4,baz:9,zab:44}]我正在寻找一种创建csv的方法,它可以找到所有可能的header,并以正确的顺序分配值,并

ruby-on-rails - 如何生成 CSV 文件?

我正在尝试使用我的数据库中的数据生成CSV输出。我想将这些数据提供给第三方,所以我想象我会给某人一个URL(website.com/api_data/cars),通过访问此URL,此人将能够工作有了它-我想我想访问URL,然后(在操作中)查看显示的数据并用、或;分隔。但是怎么做呢?到目前为止,我正在尝试以下方法:csv_string=CSV.generatedo|csv|cols=["columnone","columntwo","columnthree"]csv'text/csv;charset=utf-8;header=present',:filename=>@filename)这

ruby - 如何在 ruby​​ on rails 中显示 Datatable tabletools (copy, csv, excel, pdf, save)

我在我的ruby​​onrails应用程序中使用数据表。我按照这里的同一个..https://github.com/rweng/jquery-datatables-rails我的数据表排序和搜索工作正常。但是我在表格标题中看不到我的表格工具选项(例如-复制、csv、excel、pdf、保存)。我想像这样显示我的表....请帮忙。 最佳答案 我通过添加ZeroClipboard.js得到了这个 关于ruby-如何在ruby​​onrails中显示Datatabletabletools(co

ruby-on-rails - 如何使用 ruby​​ 加速大型 CSV 的处理

对于一个项目,我需要解析一些非常大的CSV文件。一些条目的内容存储在MySQL数据库中。我正在尝试使用多线程来加快速度,但到目前为止,这只会减慢速度。我解析了一个CSV文件(最大10GB),其中一些记录(20M+记录CSV中的大约5M)需要插入到MySQL数据库中。为了确定需要插入的记录,我们使用Redis服务器和包含正确ID/引用的集合。由于我们在任何给定时间处理大约30个这样的文件,并且存在一些依赖关系,我们将每个文件存储在一个Resque队列中,并让多个服务器处理这些(优先级)队列。简而言之:classWorkerdefself.perform(file)CsvParser.ea

ruby-on-rails - Rails Admin - 上传 CSV 以创建模型实例

我的RubyonRails应用程序中有一个直接的模型,它在我的rails_admin实例中也可用。rails_admin的用户需要每天进来并上传CSV或XLS文件,并根据我将在后端呈现的一些逻辑,根据CSV/XLS中的数据创建模型实例。我不需要在文件系统上保留CSV或XLS,所以这不是问题。问题是,我不完全确定如何在rails_admin中获得一个界面,用户可以在其中上传CSV/XLS,点击上传,后端应该处理其余的事情。rails_admin是否支持这个?我可以通过它创建一个界面,我可以在其中上传文件供我的模型之一处理吗? 最佳答案

Ruby CSV 不理解\r\n 作为行结束

我使用的iPhone应用程序会定期通过电子邮件向我发送CSV格式的日志。我有一个ruby​​脚本,可以将该日志中的数据与旧日志相加。最近应用程序开发人员发布了一个更新,由于某种未知原因,在每行的末尾添加了一个回车符,导致我的脚本失败。根据文档,默认情况下:row_end应该是:auto,它应该接受\r\n或\n(在1.9.2中)。我试过将Ruby1.8.7、1.9.2和FasterCSV与1.8.7一起使用。我在这些不同的尝试中收到了各种错误消息,包括CSV::IllegalFormatError未加引号的字段不允许\r或\n(第1行)(FasterCSV::MalformedCSVE

ruby - 在 Active Admin 中禁用 CSV 下载

我正在使用ActiveAdmingem,我想隐藏或删除每个模型索引页面上的链接,允许用户以CSV、XML或JSON格式下载数据。有什么办法吗? 最佳答案 index方法上现在有一个选项:download_links,因此您可以根据需要省略下载链接。例如:ActiveAdmin.registerPostdoindex:download_links=>falsedo#whateverendend 关于ruby-在ActiveAdmin中禁用CSV下载,我们在StackOverflow上找到一

ruby-on-rails - 在 ruby​​ 中有效地将 Excel 转换为 CSV

我使用了spreadsheetgem去做这个。它可以工作,但有时可能会很慢。我什至尝试了Roogem,但这并没有提高性能。有没有更好的方法来完成这项工作?奇怪的是,在同一个excel中,有些工作表运行速度更快,有些工作表运行速度非常慢,甚至需要长达1小时。我们能否使用openoffice在单个excel中打开每个工作表(选项卡)并将它们更快地转换为csv?如果是,我将如何使用ruby​​来实现?或者有更好的解决方案吗?只是添加一个我尝试使用Roogem的小例子xls=Roo::Excel.new(source_excel_file)xls.each_with_pagenamedo|na