草庐IT

pandas-datareader

全部标签

c# - 服务堆栈 : Detect if IDbConnection is "busy" - is a DataReader is open (trying to implement a "connection pool")

我正在测试ServiceStacksOrmLite。我以前在没有OrmLite的情况下使用过MySql,现在我遇到了此错误消息中描述的最简单的问题:ThereisalreadyanopenDataReaderassociatedwiththisConnectionwhichmustbeclosedfirst.由于我有一个多线程应用程序,某些线程将轮询数据库,而其他线程将在需要时“按需”插入、更新或选择。这会导致上述异常。我需要做的是能够检测连接(IDbHandler)是否“忙”;有一个打开的DataReader或其他东西。如果忙,则取下一个连接(来self要实现的“连接池”)。问题是,

python - pymysql 并将 pandas 数据框写回 MySQL

我使用Python并有一个名为Office_RX的Pandas数据框。我通过pymysql连接到mysql。conn=pymysql.connect(host='127....',port=3306,user='root',passwd='',db='ABCD')c=conn.cursor()我想将Office_RX数据帧写回到我连接的MYSQL数据库中。我正在使用这段代码:sql.write_frame(Office_RX,conn=conn,name='Office_RX',if_exists='replace',flavor='mysql')但我收到错误:TypeError:wr

python - 从 json 创建的 Pandas 数据框具有未命名列 - 由于未命名列问题无法插入 MySQL

现在我正在处理一些JSON数据,我正试图将它动态地推送到MySQL数据库中。JSON文件很大,所以我必须使用Python中的yield函数逐行仔细检查它,将每一行JSON转换成小的pandasDF并将其写入MySQL。问题是,当我从JSON创建DF时,它会添加索引列。似乎当我向MySQL写入内容时,它会忽略index=False选项。代码如下importgzipimportpandasaspdfromsqlalchemyimportcreate_engine#stufftoparsejsonfiledefparseJSON(path):g=open(path,'r')forling:y

python - 将聚合函数分组为 Pandas 的新领域

如果我在mysql表上执行以下分组SELECTcol1,count(col2)*count(distinct(col3))asagg_colFROMmy_tableGROUPBYcol1我得到的是一个包含三列的表格col1col2agg_col我怎样才能在pandas数据框上做同样的事情?假设我有一个包含三列col1col2和col3的Dataframe。按操作分组grouped=my_df.groupby('col1')将返回按col1分组的数据还有agg_col_series=grouped.col2.size()*grouped.col3.nunique()将返回与sql查询中的

pandas读写Excel详解

本文为作者原创,转载请注明文章目录一、Excel读取1.ExcelFile类2.read_excel()方法二、Excel写入1.写入Excel2.已有Excel增加sheet3.覆盖Excel中已有sheet4.已有sheet中追加数据一、Excel读取Excel的读取可以采用ExcelFile类和read_excel两种方法,在实际使用中差别不大。其区别可以见e-learn上贴子讨论,观点摘录如下:除了语法之外没有特别的区别。从技术上讲,ExcelFile是一个类,read_excel是一个函数。在任何一种情况下,实际都是由定义在ExcelFile的_parse_excel解析ExcelF

numpy,scipy,pandas这3个库的区别是什么?

numpy,scipy,pandas这3个库的区别是什么?打个比方,pandas类似Excel软件,scipy就像Excel里的函数算法包,numpy则好比构建Excel逻辑的底层语句。所以说pandas擅长数据处理,scipy精通数学计算,numpy是构建pandas、scipy的基础库。我们知道numpy通过N维数组来实现快速的数据计算和处理,它也是Python众多数据科学库的依赖,其中就包括pandas、scipy。而numpy本身不依赖于任何其他Python软件包,只依赖于加速的线性代数库,通常为IntelMKL或OpenBLAS。pandas是python数据处理的核心库,它基于数组

python - Pandas:将数据写入 MySQL 时减少了毫秒数

我正在尝试将带有毫秒时间戳的DataFrame放入MySQL数据库中。但是,这样做时,毫秒部分似乎被丢弃了。我创建了一个工作示例来展示正在发生的事情:importpandasaspdfromsqlalchemyimportcreate_engine#databaseconnection#Generatedate_timewithmillisecondresolutionandpricecolumndf=pd.DataFrame({'date_time':pd.date_range('1/1/200009:00:00',freq="5ms",periods=100),'price':np

python - 使用 SSH 将 Pandas Dataframe 写入 MYSQL 数据库

问题我想使用Pandasto_sql将数据帧写入MYSQL表。但是,我的连接需要SSH。我尝试过的我已经成功连接到pymysql来执行查询,但是能够直接使用像to_sql这样的函数会让我的生活变得更容易,能够像那样直接推送数据。请参阅下面我正在使用的代码。fromsshtunnelimportSSHTunnelForwarderimportpymysqlasdbimportpandasaspdimportnumpyasnphost='host'localhost='localhost'ssh_username='ssh_username'private_key='/path/'#dat

使用Pandasql在Pandas中进行SQL查询

一、简介SQL是开发者最重要的技能之一。在Python数据分析生态中,Pandas的使用最为广泛。但是,如果不熟悉Pandas,则必须学习Pandas函数(分组、聚合、连接等)。相比之下,使用SQL查询数据帧更加容易。Pandasql库正好可以满足需求!【Pandasql项目主页】:https://pypi.org/project/pandasql/图片二、Pandasql的初始步骤设置工作环境。2.1安装Pandasql如果使用的是GoogleColab,可以使用pip来安装Pandasql并进行相关代码编写:pipinstallpandasql如果在本地机器上使用Python,请确保在专门

29 Python的pandas模块

概述        在上一节,我们介绍了Python的numpy模块,包括:多维数组、数组索引、数组操作、数学函数、线性代数、随机数生成等内容。在这一节,我们将介绍Python的pandas模块。pandas模块是Python编程语言中用于数据处理和分析的强大模块,它提供了许多用于数据操作和清洗的函数,使得数据处理和分析变得更为简单和直观。        在Python中使用pandas模块,需要先安装pandas库。可以通过pip命令进行安装:pipinstall-ihttps://pypi.tuna.tsinghua.edu.cn/simplepandas。安装完成后,就可以在Python