草庐IT

解决pandas的concat函数导致索引失效的方法

concat最近在写数据的时候看到用一个concat函数进行整合,但是下面这段代码之后就碰上个很奇怪的地方fori,baginenumerate(bags):coure_result=func()core_df=pd.DataFrame([core_result])dfs.append(core_df)df=pd.concat(dfs)这段代码首先就是用dfs记录了每一组数据,最后使用concat函数进行连接。在这之后我希望在特定位置插入一列数据df_summary=pd.DataFrame(summary,columns=["summary"])df.insert(1,"summary",d

【Python】Pandas Excel file format cannot be determined, you must specify an engine manually.报错【已解决】

Pandas读取Excel报错Excelfileformatcannotbedetermined,youmustspecifyanenginemanually.pd.read_excel方法本身是支持多种引擎的,包括"xlrd",“openpyxl”,“odf”,“pyxlsb”,更换引擎后依然失效!Debug我们直接用可以直接用openwith打开源文件withopen(ipath,'r',encoding='utf-8')asf:print(f.read())神奇的一幕发生了,有的文件名义上是Excel,其实内心是个Html!解决办法使用pd.read_html方法df=pd.read_h

pandas删除重复数据

 1、pandas中重复索引问题df=df[~df.index.duplicated()]2、pandas删除重复数据行#首先导入常用的两个包importpandasaspdimportnumpyasnp#1.删除完全重复的行df.drop_duplicates()2.按k列进行去重,对于重复项,保留第一次出现的值df.drop_duplicates('k',keep='first')3、k2和k1两列进行去重df.drop_duplicates(['k2','k1'],keep='first')"""keep:{‘first’,‘last’,False},默认值‘first’first:保留

pycharm 显示没有pandas模块 No module named ‘pandas‘

Nomodulenamed'pandas'更改运行环境因为我已经下过anaconda了!!本来我以为我python没安装pandas库我想pipinstallpandas但是显示我已经在anaconda里面下过了就不用重新下了更改pycharm的运行环境换成anaconda的就可以啦file-->settings-->当前的project-->pythoninterpreter-->anaconda这样anaconda的库就可以为我所用啦!

100天精通Python(数据分析篇)——第70天:Pandas常用排序、排名方法(sort_index、sort_values、rank)

文章目录一、按索引排序:sort_index()1.Series类型排序1)升序2)降序2.DataFrame类型排序1)按行索引排序2)按列索引排序二、按值排序:sort_values()1.Series类型排序1)升序2)降序2.DataFrame类型排序1)单列排序2)多列排序3)排序算法

数据分析 | Pandas 200道练习题,每日10道题,学完必成大神(2)

文章目录前期准备1.通过DataFrame保存为EXCEL2.查看数据行列数3.提取popularity列中值大于3小于7的行4.交换两列的位置5.提取popularity列最大的行所在行6.查看最后3行数据7.删除最后一行数据8.添加一行数据9.队数据按照popularity列的值的大小进行排序10.统计grammer列每个字符串的长度前期准备准备后期要使用的数据,使用字典创建DataFrame对象importpandasaspdimportnumpyasnpdata={'grammer':['python','java','go',np.nan,'python','C','C++'],'p

Pandas快速合并多张excel表格

目录一、Excel表格命名存在规律的情况下二、Excel表格文件名不规律的情况下1.首先将所有excel表格放到一个文件夹下面2.用pandas进行合并三、身份证号合并乱码解决最近用Pandas合并表格,发现效率非常高,现总结以下两种方法:一、Excel表格命名存在规律的情况下importpandasaspdpath='C:/Users/admin/Downloads/'#excel表格所在文件路径df=[]#创建一个空的列表foriinrange(1,11):#excel表格的名字里面包含1-10path=path+'excel表格名称{}.xlsx'.format(i)df.append(

100天精通Python(数据分析篇)——第72天:Pandas文本数据处理方法之判断类型、去除空白字符、拆分和连接

文章目录每篇前言一、Python字符串内置方法1.判断类型2.去除空白字符3.拆分和连接二、Pandas判断类型1.str.isspace()2.str.isalnum()3.str.isalpha()4.str.isdecimal()5.str.isdigit()6.str.isnumeric()7.str.istitle()8.str.islower()9.str.isupper()三、Pandas去除空白字符1.str.lstrip()2.str.rstrip()

Pandas中的五种数据查询方法--【数值,列表,区间,条件,函数查询】

Pandas查询数据Pandas查询数据的几种方法1.df.loc方法,根据行、列的标签值查询2.df.iloc方法,根据行、列的数字位置查询3.df.where方法4.df.query方法.loc既能查询,又能覆盖写入,强烈推荐!Pandas使用df.loc查询数据的方法1.使用单个label值查询数据2.使用值列表批量查询3.使用数值区间进行范围查询4.使用条件表达式查询5.调用函数查询Series>值">·以上查询方法,既适用于行,也适用于列·注意观察降维dataFrame>Series>值importpandasaspd1、读取数据北京2018年全年天气预报df=pd.read_csv

python入门——Pandas透视表(pivot_table)

透视表是一种可以对数据动态排布并且分类汇总的表格格式。pivot_table是pandas中数据透视表的函数。官方文档关于pivot_table函数体的介绍:pandas.pivot_table—pandas1.5.1documentationpivot_table的官方定义如下所示:pandas.pivot_table(data, values=None, index=None, columns=None, aggfunc='mean', fill_value=None, margins=False, dropna=True, margins_name='All', observed=Fal