草庐IT

csv_reader

全部标签

mongodb - 使用 mongoimport 导入 CSV 文件是否可以导入 NULL?

我正在尝试使用mongoimport从CSV导入到mongodb3.4,我希望将空列导入为字段的空值。mongoimport文档给我的印象是,如果未指定--ignoreBlanks,我会得到我想要的行为。--ignoreBlanksIgnoresemptyfieldsincsvandtsvexports.Ifnotspecified,mongoimportcreatesfieldswithoutvaluesinimporteddocuments.但是,当我尝试在不使用--ignoreblanks的情况下加载此示例数据时:field_1.string(),field_2.int32(),

mongodb - 使用 --columnsHaveTypes 将数据从 csv 文件导入 Mongodb,指定特定字段作为日期

我正在尝试使用mongoimport实用程序导入一个CSV文件,其中一个特定列的类型为date-time从MongoDB3.4版开始,我们可以使用--columnsHaveTypes指示mongoimport--headerline中指定的字段列表是特定的类型。我的CSV文件是这样的TIME,TPS2006-01-0207:25:24,12006-01-0207:25:25,22006-01-0207:25:26,22006-01-0207:25:27,22006-01-0207:25:28,22006-01-0207:25:29,22006-01-0207:25:30,12006-0

mongodb - 从 csv 追加到 mongodb

我有一个带有电子邮件字段的集合的mongodb。fName,lName。我有一个csv:email|contactNo|countryNamea1|001|USAa2|002|UAE我想将csv数据与mongoDB数据合并,并将电子邮件作为主键。最终的mongo数据库应该有如下字段:{email:a1,fName:tom,lname:cruise,contactNo:001,county:USA}我可以使用mongoimport执行此操作吗?或者我如何为它编写一个节点/python脚本。任何链接/引用都会有所帮助。 最佳答案 从v3

javascript - 使用 Mongoose 模式导入 CSV

目前我需要将一个大型CSV文件推送到mongo数据库中,值的顺序需要确定数据库条目的键:示例CSV文件:9,1557,358,286,Mutantville,4368,2358026,,M,0,0,0,1,09,1557,359,147,Wroogny,4853,2356061,,D,0,0,0,1,0将其解析为数组的代码:varfs=require("fs");varcsv=require("fast-csv");fs.createReadStream("rank.txt").pipe(csv()).on("data",function(data){console.log(data)

python - 从复杂的 Csv/DataFrame 加载 Json,为 MongoDB 保留数据类型

我正在尝试从一些不同的csv/excel文件为可查询的MongoDB构建json树。数据通常不完整并由主题ID链接。示例数据如下:subid,firstvisit,name,contact,dob,gender,visitdate1,age,visitcategory,samplenumber,label_on_sample,completed_by1,12/31/11,Bob,,12/31/00,Male,,,,,,1,,,,,,12/31/15,17,BaselineVisit,,,1,,,,,,12/31/16,18,FollowUpVisit,,,1,,,,,,12/31/17

python - 如何有效地将大型压缩 csv 文件中的数百万条记录插入到 mongo 数据库中?

我试图将大约800万条记录插入Mongo,它似乎以每秒1000条记录的速度插入它们,这非常慢。代码是用python写的,所以可能是python的问题,但我怀疑。这是代码:defstr2datetime(str):returnNoneif(notstrorstr==r'\N')elsedatetime.strptime(str,'%Y-%m-%d%H:%M:%S')defstr2bool(str):returnNoneif(notstrorstr==r'\N')else(Falseifstr=='0'elseTrue)defstr2int(str):returnNoneif(notstr

node.js - 完成 Mongo 写入后 Node csv 调用挂起

我正在使用Node加载CSV文件,然后将其写入MongoDB数据库。它实际上在工作,但脚本没有退出!这是核心:functioncommute_process(csvstr,col_commute){csv().from(csvstr,{columns:true}).transform(function(row){//unimportantstuffreturnrow;}).on('record',function(row){cleanedrow=//unimportantconsole.log(cleanedrow);col_commute.insert(cleanedrow,{w:1

javascript - csv 到 json 转换错误

我使用csvtojson转换器来转换成json格式。varcsvFileName=path;//path==filepathvarcsvConverter=newConverter();csvConverter.on("end_parsed",function(jsonObj){console.log('injsonobject',jsonObj);});csvConverter.from(csvFileName);csvtojson转换器转换成这种格式。{csvRows:[{{'id\tname\talias\tdescription\timages\tprice\tcompare_

处理CSV(python)

处理CSV(python)简介1.CSV和Python简介2.文章内容简介一、用csv模块读取和写入CSV文件1.CSV模块2.示例二、用pandas库读取和写入CSV文件1.pandas2.示例三、处理CSV文件中的特殊情况1.特殊情况及处理方法2.示例简介1.CSV和Python简介CSV是一种常见的数据格式,可以用来存储和交换表格数据。CSV文件由一系列的行组成,每行包含一些用逗号分隔的字段。CSV文件可以用文本编辑器或excel打开和编辑,也可以用编程语言进行处理和分析。Python是一种流行的编程语言,它有许多内置的模块和第三方库,可以方便地读取和写入CSV文件。2.文章内容简介本文

java - 如何在 Java 中将 csv 文件导入 mongodb

我使用EclipseLink作为mongodb的API。我每次都需要从给定的csv文件更新我的数据库。有没有办法用java将CSV文件导入MongoDB?或者是否可以在Java环境中执行这样的原始mongo命令?mongoimport--dbusers--collectioncontacts--typecsv--file/opt/backups/contacts.csv 最佳答案 mongoimport--dbusers--collectioncontacts--typecsv--headerline--file/opt/backu