python - 将 Numpy 数组插入 Mysql 数据库

coder 2023-10-21 原文

从这个答案开始:

Using Numpy to create Yahoo finance price table

import numpy as np
import pylab as pl
import urllib
url = "http://ichart.yahoo.com/table.csv?a=2&c=2011&b=30&e=7&d=7&g=d&f=2011&s=msft&ignore=.csv"
f = urllib.urlopen(url)
title = f.readline().strip().split(",")
data = np.loadtxt(f, dtype=np.float, delimiter=",", converters={0: pl.datestr2num})

我想将返回行插入到数据库中。数据如下所示:

 [[734233.0 25.98 26.31 25.86 26.15 65581400 25.98]
 [734232.0 25.82 26.18 25.74 25.78 73694500 25.61]
 [734231.0 25.45 25.66 25.41 25.55 35433700 25.38]
 [734228.0 25.53 25.53 25.31 25.48 63114200 25.31]
 [734227.0 25.60 25.68 25.34 25.39 63233700 25.22]
 [734226.0 25.60 25.72 25.50 25.61 41999300 25.44]]

我如何将这个 numpy 数组解析为列表或表格，以便我可以插入到数据库中。请注意，所有行都没有分开，而是一行。数据库部分有效。

data.tolist() 不解析单行

寻找类似的输出

    [[734233.0 ,25.98 ,26.31 ,25.86 ,26.15, 65581400, 25.98]  
     [734232.0, 25.82, 26.18, 25.74, 25.78, 73694500, 25.61]
     [734231.0, 25.45 ,25.66, 25.41, 25.55, 35433700, 25.38]
     [734228.0, 25.53, 25.53, 25.31, 25.48, 63114200, 25.31]
     [734227.0, 25.60 ,25.68, 25.34, 25.39, 63233700, 25.22]
     [734226.0, 25.60, 25.72, 25.50, 25.61, 41999300, 25.44]]

将“”替换为“,”行得通吗？

最佳答案

>>> import sqlalchemy as sa
>>> import numpy as np
>>> import time, datetime
>>> import urllib

与日期格式的转换。

>>> datestr2timestamp = lambda d: time.mktime(time.strptime(d,"%Y-%m-%d"))
>>> def npvector_to_sadict(vector):
...     row = dict(zip(("open", "high", "low", "close", "volume", "adj_close"),
...                        vector[1:]))
...     row['date'] = datetime.date.fromtimestamp(vector[0])
...     return row
...

从网络资源加载数据:

>>> url = "http://ichart.yahoo.com/table.csv?a=2&c=2011&b=30&e=7&d=7&g=d&f=2011&s=msft&ignore=.csv"
>>> f = urllib.urlopen(url)
>>> title = f.readline().strip().split(",")
>>> data = np.loadtxt(f, dtype=np.float, delimiter=",", converters={0: datestr2timestamp})

定义数据库表的样子

>>> metadata = sa.MetaData()
>>> stockdata = sa.Table('stockdata', metadata,
...                      sa.Column('date', sa.Date),
...                      sa.Column('open', sa.Float),
...                      sa.Column('high', sa.Float),
...                      sa.Column('low', sa.Float),
...                      sa.Column('close', sa.Float),
...                      sa.Column('volume', sa.Float),
...                      sa.Column('adj_close', sa.Float))

连接到数据库。对于 mysql 数据库，您可以将其更改为 mysql://user:password@host/

>>> engine = sa.create_engine("sqlite:///:memory:")

仅用于演示，如果您已经创建了表，请跳过此部分。

>>> metadata.create_all(engine)

将数据插入数据库:

>>> engine.execute(stockdata.insert(), [npvector_to_sadict(datum) for datum in data])
<sqlalchemy.engine.base.ResultProxy object at 0x23ea150>

验证是否插入

>>> print data.shape[0], engine.execute(sa.select([sa.func.count(stockdata.c.close)])).scalar()
90 90
>>>

关于python - 将 Numpy 数组插入 Mysql 数据库，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/7043158/

python Numpy 25 gt code mysql database arrays

有关python - 将 Numpy 数组插入 Mysql 数据库的更多相关文章

python - 如何使用 Ruby 或 Python 创建一系列高音调和低音调的蜂鸣声？ - 2
关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题？更新问题，以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点？我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等)，但我确实想创建一个输出文件。
ruby-on-rails - 在 Ruby 中循环遍历多个数组 - 2
我有多个ActiveRecord子类Item的实例数组，我需要根据最早的事件循环打印。在这种情况下，我需要打印付款和维护日期，如下所示:ItemAmaintenancerequiredin5daysItemBpaymentrequiredin6daysItemApaymentrequiredin7daysItemBmaintenancerequiredin8days我目前有两个查询，用于查找maintenance和payment项目(非排他性查询)，并输出如下内容:paymentrequiredin...maintenancerequiredin...有什么方法可以改善上述(丑陋的)代
ruby - 解析 RDFa、微数据等的最佳方式是什么，使用统一的模式/词汇(例如 schema.org)存储和显示信息 - 2
我主要使用Ruby来执行此操作，但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式，例如使用这个yaml文件，它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i
ruby - 多次弹出/移动 ruby 数组 - 2
我的代码目前看起来像这样numbers=[1,2,3,4,5]defpop_threepop=[]3.times{pop有没有办法在一行中完成pop_three方法中的内容？我基本上想做类似numbers.slice(0,3)的事情，但要删除切片中的数组项。嗯...嗯，我想我刚刚意识到我可以试试slice! 最佳答案是numbers.pop(3)或者numbers.shift(3)如果你想要另一边。关于ruby-多次弹出/移动ruby数组，我们在StackOverflow上找到一
ruby - 将数组的内容转换为 int - 2
我需要读入一个包含数字列表的文件。此代码读取文件并将其放入二维数组中。现在我需要获取数组中所有数字的平均值，但我需要将数组的内容更改为int。有什么想法可以将to_i方法放在哪里吗？ClassTerraindefinitializefile_name@input=IO.readlines(file_name)#readinfile@size=@input[0].to_i@land=[@size]x=1whilex 最佳答案只需将数组映射为整数:@land边注如果你想得到一条线的平均值，你可以这样做:values=@input[x]
ruby - 通过 erb 模板输出 ruby 数组 - 2
我正在使用puppet为ruby程序提供一组常量。我需要提供一组主机名，我的程序将对其进行迭代。在我之前使用的bash脚本中，我只是将它作为一个puppet变量hosts=>"host1,host2"我将其提供给bash脚本作为HOSTS=显然这对ruby不太适用——我需要它的格式hosts=["host1","host2"]自从phosts和putsmy_array.inspect提供输出["host1","host2"]我希望使用其中之一。不幸的是，我终其一生都无法弄清楚如何让它发挥作用。我尝试了以下各项:我发现某处他们指出我需要在函数调用前放置“function_”……这
ruby - 检查数组是否在增加 - 2
这个问题在这里已经有了答案:Checktoseeifanarrayisalreadysorted?(8个答案)关闭9年前。我只是想知道是否有办法检查数组是否在增加？这是我的解决方案，但我正在寻找更漂亮的方法:n=-1@arr.flatten.each{|e|returnfalseife
ruby - 如果指定键的值在数组中相同，如何合并哈希 - 2
我有一个这样的哈希数组:[{:foo=>2,:date=>Sat,01Sep2014},{:foo2=>2,:date=>Sat,02Sep2014},{:foo3=>3,:date=>Sat,01Sep2014},{:foo4=>4,:date=>Sat,03Sep2014},{:foo5=>5,:date=>Sat,02Sep2014}]如果:date相同，我想合并哈希值。我对上面数组的期望是:[{:foo=>2,:foo3=>3,:date=>Sat,01Sep2014},{:foo2=>2,:foo5=>5:date=>Sat,02Sep2014},{:foo4=>4,:dat
ruby - 在 Ruby 中用键盘诅咒数组浏览 - 2
我正在尝试在Ruby中制作一个cli应用程序，它接受一个给定的数组，然后将其显示为一个列表，我可以使用箭头键浏览它。我觉得我已经在Ruby中看到一个库已经这样做了，但我记不起它的名字了。我正在尝试对soundcloud2000中的代码进行逆向工程做类似的事情，但他的代码与SoundcloudAPI的使用紧密耦合。我知道cursesgem，我正在考虑更抽象的东西。广告有没有人见过可以做到这一点的库或一些概念证明的Ruby代码可以做到这一点？最佳答案我不知道这是否是您正在寻找的，但也许您可以使用我的想法。由于我没有关于您要完成的工作
ruby - 如何在 Grape 中定义哈希数组？ - 2
我使用Ember作为我的前端和GrapeAPI来为我的API提供服务。前端发送类似:{"service"=>{"name"=>"Name","duration"=>"30","user"=>nil,"organization"=>"org","category"=>nil,"description"=>"description","disabled"=>true,"color"=>nil,"availabilities"=>[{"day"=>"Saturday","enabled"=>false,"timeSlots"=>[{"startAt"=>"09:00AM","endAt"=>

python - 将 Numpy 数组插入 Mysql 数据库

有关python - 将 Numpy 数组插入 Mysql 数据库的更多相关文章

随机推荐