草庐IT

csv_reader

全部标签

mongodb - 适用于 Google Reader 等应用的 NoSQL 架构

对于像GoogleReader(一对一副本)这样的应用程序,您会使用哪种NoSQL架构?我考虑了MongoDB、Cassandra、CouchDB、Redis、HBase和Riak。 最佳答案 简单的答案,使用您最熟悉的答案。更复杂的答案实际上在于Google阅读器可以做什么的细节。您可能需要的一项功能是多个索引。每个RSS条目都将有一个唯一的键、一个用户、一个ts、一个阅读标志和一些类别。在处理面向文档或键值数据库时,通常很容易获得键。但是您真正要运行的第一个查询是什么?按用户、ts、阅读列出。好吧,这将需要一个二级索引。AFAI

提取日期范围从CSV文件并将其写入新文件,什么也没有发生

这是我的代码:importosimporttimeinitial_date='22.01.201502:00:00'initial=time.mktime(time.strptime(initial_date,"%d.%m.%Y%H:%M:%S"))final_date='15.04.201503:45:00'final=time.mktime(time.strptime(final_date,"%d.%m.%Y%H:%M:%S"))path='Transfer\Praktikanten\2017-05-Sharon\M02_Modelldaten\Sofia_HW_032015_12\01.

java - 使用 CSV 文件更新 mongoDB 集合

我有一个具有以下值(value)的mongoDB集合latlongband123.45456.45467我想更新那个集合以便我得到后续集合latlongband1band223.45456.4546773我想用于更新的csv包含34.656,87.7565,78此csv的大小为5gb我正在使用以下命令来更新集合mongoimport--dbtest--collectionnct_test--upsert--upsertFieldsband2--filegdalexportedb8.csv但是我遇到了以下错误..Failed:errorprocessingdocument#2:inval

python-3.x - 使用 pymongo 从 csv 插入数组

我有一个csv文件,其中包含如下字符串格式的数组:date,name,criteria2018-05-16,John,"[{'age':35},{'birthyear':1983}]"2018-05-16,Jane,"[{'age':36},{'birthyear':1982}]"我正在使用带有pandas和numpy的Python来处理这个问题我需要按以下格式将此文件导入MongoDB集合:{"date":'2018-05-16',"name":"John","criteria":[{"age":35},{"birthyear":1983}]},{"date":'2018-05-16

node.js - 在 node-csv-parser : RangeError: Maximum call stack size exceeded 中调用 node-mongodb-native

我正在使用node-csv-parser读取csv数据并使用mongoose将其存储在mongodb中。但是,我正在尝试加快导入速度,并且我想使用node-mongodb-native公开的native保存方法进行评估,使用Model.collection在mongoose中访问.(这是我在Mongo总部的办公时间与一位mongo工程师交谈的建议)。node-csv-parser每次读取csv的新行时都会触发data事件。在这个事件中,我读入了数据行,从中创建了一个新的数据点,并将其保存在mongo中。我可以使用Mongoose模型TestDataPoint将数据点保存在data事件中

jquery - 使用 Node.js 和 async.queue 将大型 CSV 插入 MongoDB

我正在尝试将大型csv文件(100K行;10-100M+)上传并插入到mongo中。下面的代码是我用来接受来自表单的输入并首先将记录插入到我所有csv的元数据集合中,然后将csv的记录插入到它自己的集合中的路径。它适用于较小的文件(数千行),但当它达到50K+的顺序时会花费很长时间。下一个片段是将csv流用于较大的文件(见下文),但在尝试使用该流时出现错误。问题:有人可以帮助将第一个示例修改为流,以便它可以处理大型csv而不会挂起。exports.addCSV=function(req,res){varbody=req.body;fileSystem.renameSync(req.fi

14 | Spark SQL 的 DataFrame API 读取CSV 操作

sales.csv内容date,category,product,full_name,sales2023-01-01,Electronics,Laptop,JohnSmith,1200.02023-01-02,Electronics,Smartphone,JaneDoe,800.02023-01-03,Books,Novel,MichaelJohnson,15.02023-01-04,Electronics,Tablet,EmilyWilson,450.02023-01-05,Books,Textbook,JamesBrown,40.0当使用SparkSQL的DataFrameAPI读取CSV

javascript - 使用 angularjs , nodejs , expressjs 单击按钮后在前端下载 Csv 文件

我想在前端下载.csv文件。这是我的代码:$http.get('/entity/consultations/_/registerationReport').success(function(data){myWindow=window.open('../entity/consultations/_/registerationReport','_parent');myWindow.close();});我使用json2csv转换器写入csv文件。json2csv({data:report,fields:fields},function(err,csv){if(err)throwerr;re

python - 将数据写入 CSV 格式文件

我正在尝试使用从MongoDB和Mongopy获取的数据将一些数据写入CSV格式。当前,当前设置了header,问题是实际数据未插入到CSV文件中。这是代码片段:frompymongoimportMongoClientimportcsvimportosconn=pymongo.MongoClient()db=conn.clixster_devcursor=db.channels.find({},{'_id':0,'company-reg-no':0,'isdel':0,'last_off':0,'last_on':0,'online':0,'password':0,'psotcode'

mongodb - 使用 mongoimport 将 csv 数据作为数组导入 mongodb

我一直在尝试使用mongoimport将csv数据导入mongodb。集合是这样的:{id:"122234343",name:"name1",children:["222334444","333344444"]}我尝试的一种方法是创建2个csv文件-一个带有id和名称,另一个带有id,children(如果id有两个child,那么它将有两行)。使用mongoimport将数据导入两个不同的集合,然后在具有子数据的第二个集合中使用foreach()更新集合数据。请建议有没有其他方法可以直接从CSV填充这个“子”数组?? 最佳答案 对