草庐IT

Python数据分析之读取Excel数据并导入数据库

张六十zhangliushi 2023-12-20 原文

曾某年某一天某地
时间如静止的空气
你的不羁
给我惊喜
——《谁愿放手》陈慧琳

文章目录

前言

入职新公司两个多月，发现这边的数据基础很差，很多数据甚至没有系统承载，大量的Excel表，大量的人工处理工作，现阶段被迫“面向Excel”编程。本文主要介绍使用Python读取Excel数据并导入数据库的方法，供各位小伙伴参考。

一、Python读取Excel数据

Python读取Excel数据主要是使用pandas包，语法为read_excel(“excel文件名”)。

（一）创建测试Excel表

Excel表数据如下

（二）读取Excel

相关代码如下，其中sheet_name可以省略，sheet_name="具体sheet页面"则只读该sheet页，sheet_name=0则读取第一个sheet页。

import pandas as pd

df = pd.read_excel("test_20230312.xlsx", sheet_name="Sheet1")
print(df)

（三）结果展示

二、Python连接mysql数据库

Python连接mysql数据库主要是使用pymysql包，创建连接语法为connect(host=‘数据库地址’,port=‘端口号’,user=‘用户名’,password=‘密码’,database=‘数据库库名’,charset=‘utf8’)，读取mysql表的语法为read_sql(‘SQL语句’, con=mysql连接)

（一）创建数据库连接，读表测试

相关代码如下

import pymysql

conn = pymysql.connect(host='xxx',
                       port='xxx',
                       user='xxx',
                       password='xxx',
                       database='xxx',
                       charset='utf8')

df = pd.read_sql('select * from test.dim_category', con=conn)
print(df)

（二）结果展示

三、将Excel数据导入数据库表

（一）相关思路

建立数据库连接 -> 读取Excel表 -> 形成数据集 -> 将数据集插入数据库表，具体代码如下。

import pandas as pd
import pymysql

conn = pymysql.connect(host='xxx',
                       port='xxx',
                       user='xxx',
                       password='xxx',
                       database='xxx',
                       charset='utf8')

df = pd.read_excel("test_20230312.xlsx", sheet_name="Sheet1")
infodata = pd.DataFrame(df).values
cur = conn.cursor()

length = len(infodata)
for i in range(0, length):
    data_each = []
    data_each = infodata[i]
    print(data_each)
    sql = "insert into test_python_insert values{}".format(tuple(data_each))
    try:
        cur.execute(sql)
        conn.commit()
        print(i)
    except:
        conn.rollback()

cur.close()
conn.close()

（二）结果展示

四、知识拓展

（一）借助sqlalchemy包

sqlalchemy包不同于上文使用的pymysql，它属于ORM（Object Relational Mapping对象关系映射）工具包。通过ORM，开发者可以用面向对象的方式来操作数据库，不需要编写SQL语句。有固定的格式语法，合理使用可以提高编码效率。

import pandas as pd
from sqlalchemy import create_engine

HOST = 'xxx'
PORT = 'xxx'
DB = 'xxx'
USERNAME = 'xxx'
PASSWORD = 'xxx'
TABLE = 'xxx'

engine = create_engine('mysql+pymysql://%s:%s@%s:%s/%s?charset=utf8'
                       % (USERNAME, PASSWORD, HOST, PORT, DB))

col_name = ['id', 'name', 'age']
df = pd.read_excel('test_20230312.xlsx', names=col_name)
print(df.head())
df.to_sql(TABLE, engine, if_exists='append', index=False)

（二）结果展示

五、小贴士

（一）python库包安装

上文使用了几个python包，如pandas、pymysql、sqlalchemy
如果没有安装这些包，可以使用以下命令直接在window cmd命令行界面安装。

pip install 包名

总结

Python可以通过一些非常实用的包，如pandas，numpy等，对数据进行清洗，整理分析，合理利用Python可以提高我们处理分析数据的效率。

PythonExcelspanclasstoken数据分析

有关Python数据分析之读取Excel数据并导入数据库的更多相关文章

  1. python - 如何使用 Ruby 或 Python 创建一系列高音调和低音调的蜂鸣声？ - 2

    关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题？更新问题，以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点？我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等)，但我确实想创建一个输出文件。

  2. ruby - 如何将脚本文件的末尾读取为数据文件(Perl 或任何其他语言) - 2

    我正在寻找执行以下操作的正确语法(在Perl、Shell或Ruby中):#variabletoaccessthedatalinesappendedasafileEND_OF_SCRIPT_MARKERrawdatastartshereanditcontinues. 最佳答案 Perl用__DATA__做这个:#!/usr/bin/perlusestrict;usewarnings;while(){print;}__DATA__Texttoprintgoeshere 关于ruby-如何将脚

  3. ruby - 解析 RDFa、微数据等的最佳方式是什么，使用统一的模式/词汇(例如 schema.org)存储和显示信息 - 2

    我主要使用Ruby来执行此操作，但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式，例如使用这个yaml文件，它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i

  4. Ruby 写入和读取对象到文件 - 2

    好的，所以我的目标是轻松地将一些数据保存到磁盘以备后用。您如何简单地写入然后读取一个对象？所以如果我有一个简单的类classCattr_accessor:a,:bdefinitialize(a,b)@a,@b=a,bendend所以如果我从中非常快地制作一个objobj=C.new("foo","bar")#justgaveitsomerandomvalues然后我可以把它变成一个kindaidstring=obj.to_s#whichreturns""我终于可以将此字符串打印到文件或其他内容中。我的问题是，我该如何再次将这个id变回一个对象？我知道我可以自己挑选信息并制作一个接受该信

  5. ruby - Ruby 有 `Pair` 数据类型吗？ - 2

    有时我需要处理键/值数据。我不喜欢使用数组，因为它们在大小上没有限制(很容易不小心添加超过2个项目，而且您最终需要稍后验证大小)。此外，0和1的索引变成了魔数(MagicNumber)，并且在传达含义方面做得很差(“当我说0时，我的意思是head...”)。散列也不合适，因为可能会不小心添加额外的条目。我写了下面的类来解决这个问题:classPairattr_accessor:head,:taildefinitialize(h,t)@head,@tail=h,tendend它工作得很好并且解决了问题，但我很想知道:Ruby标准库是否已经带有这样一个类？ 最佳

  6. Python 相当于 Perl/Ruby ||= - 2

    这个问题在这里已经有了答案:关闭10年前。PossibleDuplicate:Pythonconditionalassignmentoperator对于这样一个简单的问题表示歉意，但是谷歌搜索||=并不是很有帮助；)Python中是否有与Ruby和Perl中的||=语句等效的语句？例如:foo="hey"foo||="what"#assignfooifit'sundefined#fooisstill"hey"bar||="yeah"#baris"yeah"另外，类似这样的东西的通用术语是什么？条件分配是我的第一个猜测，但Wikipediapage跟我想的不太一样。

  7. ruby - 检查是否通过 require 执行或导入了 Ruby 程序 - 2

    如何检查Ruby文件是否是通过“require”或“load”导入的，而不是简单地从命令行执行的？例如:foo.rb的内容:puts"Hello"bar.rb的内容require'foo'输出:$./foo.rbHello$./bar.rbHello基本上，我想调用bar.rb以不执行puts调用。 最佳答案 将foo.rb改为:if__FILE__==$0puts"Hello"end检查__FILE__-当前ruby​​文件的名称-与$0-正在运行的脚本的名称。 关于ruby-检查是否

  8. java - 什么相当于 ruby​​ 的 rack 或 python 的 Java wsgi？ - 2

    什么是ruby​​的rack或python的Java的wsgi？还有一个路由库。 最佳答案 来自Python标准PEP333:Bycontrast,althoughJavahasjustasmanywebapplicationframeworksavailable,Java's"servlet"APImakesitpossibleforapplicationswrittenwithanyJavawebapplicationframeworktoruninanywebserverthatsupportstheservletAPI.ht

  9. ruby - 我如何添加二进制数据来遏制 POST - 2

    我正在尝试使用Curbgem执行以下POST以解析云curl-XPOST\-H"X-Parse-Application-Id:PARSE_APP_ID"\-H"X-Parse-REST-API-Key:PARSE_API_KEY"\-H"Content-Type:image/jpeg"\--data-binary'@myPicture.jpg'\https://api.parse.com/1/files/pic.jpg用这个:curl=Curl::Easy.new("https://api.parse.com/1/files/lion.jpg")curl.multipart_form_

  10. 世界前沿3D开发引擎HOOPS全面讲解——集3D数据读取、3D图形渲染、3D数据发布于一体的全新3D应用开发工具 - 2

    无论您是想搭建桌面端、WEB端或者移动端APP应用，HOOPSPlatform组件都可以为您提供弹性的3D集成架构，同时，由工业领域3D技术专家组成的HOOPS技术团队也能为您提供技术支持服务。如果您的客户期望有一种在多个平台（桌面/WEB/APP，而且某些客户端是“瘦”客户端）快速、方便地将数据接入到3D应用系统的解决方案，并且当访问数据时，在各个平台上的性能和用户体验保持一致，HOOPSPlatform将帮助您完成。利用HOOPSPlatform，您可以开发在任何环境下的3D基础应用架构。HOOPSPlatform可以帮您打造3D创新型产品，HOOPSSDK包含的技术有：快速且准确的CAD

随机推荐