草庐IT

SQLDF找不到错误的数据

直到现在,我一直在R-Script中使用SQLDF,当时我收到以下错误:library(sqldf)data(mtcars)outErrorinrsqlite_send_query(conn@ptr,statement):nosuchtable:mtcars以前这不是问题,有人知道这是什么问题吗?看答案我从克兰(Windows10)的0.4-10遇到了这个问题。>out然后我从Github升级,版本0.4-11>devtools::install_github("ggrothendieck/sqldf")DownloadingGitHubrepoggrothendieck/sqldf@mast

使用 sqldf 将巨大的 csv 文件读取到 R 中是可行的,但是 sqlite 文件占用的空间是它应该和需要的两倍 "vacuuming"

四处阅读,我发现读取大于内存的csv文件的最佳方法是使用sqldf包中的read.csv.sql。该函数将数据直接读入sqlite数据库,并执行sql语句。我注意到了以下几点:读入sqlite的数据似乎是存储在一个临时表中的,所以为了方便以后使用,需要在sql语句中这样询问。例如,下面的代码将一些样本数据读入sqlite:#generatesampledatasample_data然后可以使用sqldf("select*fromdatalimit5",dbname="sample_db")访问数据。问题如下:sqlite文件占用的空间是它应该占用的空间的两倍。我的猜测是它包含两次数据:

使用 sqldf 将巨大的 csv 文件读取到 R 中是可行的,但是 sqlite 文件占用的空间是它应该和需要的两倍 "vacuuming"

四处阅读,我发现读取大于内存的csv文件的最佳方法是使用sqldf包中的read.csv.sql。该函数将数据直接读入sqlite数据库,并执行sql语句。我注意到了以下几点:读入sqlite的数据似乎是存储在一个临时表中的,所以为了方便以后使用,需要在sql语句中这样询问。例如,下面的代码将一些样本数据读入sqlite:#generatesampledatasample_data然后可以使用sqldf("select*fromdatalimit5",dbname="sample_db")访问数据。问题如下:sqlite文件占用的空间是它应该占用的空间的两倍。我的猜测是它包含两次数据:

R:如何在不耗尽内存的情况下绑定(bind)两个巨大的数据帧

我有两个数据框df1和df2,每个都有大约1000万行和4列。我使用RODBC/sqlQuery将它们读入R没有问题,但是当我尝试rbind它们时,我得到了最可怕的R错误消息:cannotallocatememory。必须有更有效的方法来更有效地执行rbind——有人想分享他们最喜欢的技巧吗?例如,我在sqldf的文档中找到了这个示例:#rbinda7r这是最好的/推荐的方法吗?更新正如JDLong在他对thisquestion的回答中所建议的那样,我在上面的sqldf调用中使用关键的dbname=tempfile()参数让它工作。 最佳答案

R:如何在不耗尽内存的情况下绑定(bind)两个巨大的数据帧

我有两个数据框df1和df2,每个都有大约1000万行和4列。我使用RODBC/sqlQuery将它们读入R没有问题,但是当我尝试rbind它们时,我得到了最可怕的R错误消息:cannotallocatememory。必须有更有效的方法来更有效地执行rbind——有人想分享他们最喜欢的技巧吗?例如,我在sqldf的文档中找到了这个示例:#rbinda7r这是最好的/推荐的方法吗?更新正如JDLong在他对thisquestion的回答中所建议的那样,我在上面的sqldf调用中使用关键的dbname=tempfile()参数让它工作。 最佳答案

r - 使 SQLite 的 generate_sequence 在 MS Windows 下的 R 的 sqldf 库中使用

我希望使用SQLite3的generate_seriesTable-ValuedFunction来自R的sqldf库,后者又使用RSQLite库。我希望安装/配置后,我可以将其称为:sqldf('SELECTvalueFROMgenerate_series(5,100,5)')来自阅读Run-TimeLoadableExtensions,我知道我需要先打电话load_extension(X),具体为sqldf('selectload_extension("C:\\my\\path\\to\\sqlite\\pathext\\misc\\series.c")')但是,我也读到了Exten

python - Python 中是否有一个模块可以为 R 执行类似 "sqldf"的操作?

列表理解非常好。但是某种“...加入...”会非常有用。谢谢。例如。我有一个集合A={1,0},一个列表B=[[1,1],[2,3]]。我想找到B中的所有行,其中第二个colomu是A中的值之一。或者更一般的东西,我有2个CSV文件。我想找出两个文件中某些colonm的值匹配的所有行。就像两个文件的某种“连接”一样。其中一个文件是GB大小。sqldfis"SQLselectonRdataframes." 最佳答案 您可以使用pandasql,它允许对pandas数据帧进行SQL样式查询。它与sqldf非常相似。https://git

关于 r:如何使用 sqldf 创建嵌套查询

howtocreateanestedqueryusingsqldf我正在尝试使用sqldf编写嵌套查询。数据集是\\'contact_fb\\'。我试图只取行没有clubmahindra和列\\'from_name\\'中的不同名称,然后左加入\\'contact_fb\\'以获取其他列中的所有信息。这不是我想要的结果。1contact_fb=structure(list(X=1:6,from_name=c("ClubMahindra","ClubMahindra","pinto","valencia","valencia","ClubMahindra"),type=structure(c(2

关于 r:如何使用 sqldf 创建嵌套查询

howtocreateanestedqueryusingsqldf我正在尝试使用sqldf编写嵌套查询。数据集是\\'contact_fb\\'。我试图只取行没有clubmahindra和列\\'from_name\\'中的不同名称,然后左加入\\'contact_fb\\'以获取其他列中的所有信息。这不是我想要的结果。1contact_fb=structure(list(X=1:6,from_name=c("ClubMahindra","ClubMahindra","pinto","valencia","valencia","ClubMahindra"),type=structure(c(2
12