草庐IT

pandas-datareader

全部标签

Jinja2:使用Pandas DataFrame或String变量

我从jinja2模板中获得了意外的输出。我有一个实例,表格填充了一个值,要么是一组值。每个的演示文稿有些不同,所以我认为我只能检查模板变量的状态{%ifmy_variableismapping%},并相应地使用我的模板代码。这是我的模板代码:MyTable{%ifmy_variableismapping%}{%forkey,valueinmy_variable.iterrows()%}{{value['Column1']}}:{{value['Column2']}}{%endfor%}{%else%}{{my_variable}}{%endif%}当my_variable是字符串(即,不是映射

python - pandas DataFrame to_sql Python

我想基于几个csv文件在mysql中创建新的数据库。我需要添加什么?以及如何在不从phpmyadmin手动打开的情况下从python打开一个新数据库?importpymysqlimportpandasaspd#CreatingtheDB:DB=pymysql.connect(host='localhost',user='root',passwd='',db='DB')csv1=pd.read_csv('C:/.........csv')csv1SQL=pd.DataFrame.to_sql(name='Orders',con=DB,flavor=None,schema=None,if_

python - 将 Pandas 数据框上传到 MySQL 数据库后如何获取列的自动增量值

我有一个PandasDataFrame(称为df),我想将其上传到MySql数据库。数据框有[A、B、C]列,数据库中的表有[ID列,A、B、C]。数据库中的ID列是自动递增的主键。我可以使用df.to_sql('table_name',engine)命令将数据帧上传到数据库。但是,这没有给我任何关于数据库分配给传入数据的ID列的值的信息。我获得此信息的唯一方法是使用A、B、C列的值查询数据库:selectID,A,B,Cfromdb_tablewhere(A,B,C)in((x1,y1,z1),(x2,y2,z2),...)但是,当我插入大量数据时,此查询需要很长时间。是否有更简单快

将数据库中的所有表转换为 pandas 数据帧的 Python 类

我正在努力实现以下目标。我想创建一个python类,将数据库中的所有表转换为pandas数据帧。我就是这样做的,不是很通用...classsql2df():def__init__(self,db,password='123',host='127.0.0.1',user='root'):self.db=dbmysql_cn=MySQLdb.connect(host=host,port=3306,user=user,passwd=password,db=self.db)self.table1=psql.frame_query('select*fromtable1',mysql_cn)sel

python - 如何将 MySQL timestamp(6) 读入 pandas?

我有一个MySql表,其时间戳具有微秒分辨率:+----------------------------+------+|time|seq|+----------------------------+------+|2015-06-1902:17:57.389509|0||2015-06-1902:17:57.934171|10|+----------------------------+------+我想将它读入pandasDataframe。使用importpandasaspdcon=get_connection()result=pd.read_sql("SELECT*FROMMy

python - 在 MySQL 中使用 pandas 方法 to_sql 时出现另一个 UnicodeEncodeError

我几天前在堆栈溢出上发布了similarproblem(已解决),我不确定这里的礼节是什么,但我正在发一个新帖子。基本上,当我尝试将pandasDataFrame写入MySQL数据库时,我遇到了UnicodeEncodeError。我可以使用以下代码重现错误:importpandasaspdfromsqlalchemyimportcreate_engineengine=create_engine('mysql://root:@localhost/testdb')df=pd.DataFrame([[u'\u2013',2],['e',4]],index=['a','b'],columns

mysql - 使用 pandas 插入或更新 mysql 中是否存在

我正在尝试将数据从xlsx文件插入到mysqdl表中。我想在表中插入数据,如果主键有重复项,我想更新现有数据,否则插入。我已经编写了脚本,但我意识到它的工作量太大,使用pandas很快。我怎样才能在Pandas中实现它?#!/usr/bin/envpython3importpandasaspdimportsqlalchemyengine_str='mysql+pymysql://admin:mypass@localhost/mydb'engine=sqlalchemy.create_engine(engine_str,echo=False,encoding='utf-8')\file_

pandas3

4、Pandascsv读写文件4.1读取csv文件在Pandas中用于读取文本的函数有两个,分别是:read_csv()和read_table(),它们能够自动地将表格数据转换为DataFrame对象。其中read_csv的语法格式输出结果为:此外还可以在pd.read_csv语句中添加参数,对读取的文件进行查看跟修改操作(1)查看前几行用head()语句,查看尾几行用tail()语句,如:输出结果为:(2)对csv文件的一些其他操作输出结果为:4.2 to_csv()to_csv()函数用于将DataFrame转换为CSV数据。如果想要把CSV数据写入文件,只需向函数传递一个文件对象即可。否

python pandas连接行并总和值

我有一个看起来像这样的数据框架:nameevent_code_0event_code_1100event_code_1110event_code_1120event_code_1120event_code_11990A1000001A0010002A0001003A0010004A0100005A0000106A0001007A0100008A1000009B00000110B00001011B00100012B01000013B10000014B00100015B00010016B01000017B000001我想合并列上的不同行:“名称”并计算事件代码。例如,数据框应该看起来像:namee

python - 用 pandas DataFrame 替换 mysql 数据库表中的行

Python版本-2.7.6Pandas版-0.17.1MySQLdb版本-1.2.5在我的数据库(PRODUCT)中,我有一个表(XML_FEED)。XML_FEED表很大(百万条记录)我有一个pandas.DataFrame()(PROCESSED_DF)。数据框有数千行。现在我需要运行它REPLACEINTOTABLEPRODUCT.XML_FEED(COL1,COL2,COL3,COL4,COL5),VALUES(PROCESSED_DF.values)问题:-有没有办法在pandas中运行REPLACEINTOTABLE?我已经检查过pandas.DataFrame.to_s