草庐IT

Python。 Pandas 。大数据。凌乱的 TSV 文件。如何争论数据?

所以。我们有一个杂乱的数据存储在我需要分析的TSV文件中。这是它的样子status=200protocol=httpregion_name=Podolskdatetime=2016-03-1015:51:58user_ip=0.120.81.243user_agent=Mozilla/5.0(WindowsNT6.1;WOW64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/48.0.2564.116Safari/537.36user_id=7885299833141807155user_vhost=tindex.rumethod=GETpage=

python - Pandas :根据列表中的重复值删除行

我想根据一段字符串是否在该字符串中重复来删除我的数据框中的行。例如,如果字符串是jkl-ghi-jkl,我会删除这一行,因为jkl重复了两次。我认为创建一个列表并检查列表中的重复项将是理想的方法。此示例的数据框由1列和两个数据点组成:df1=pd.DataFrame({'Col1':['abc-def-ghi-jkl','jkl-ghi-jkl-mno'],})我采取的第一步是对我的数据应用拆分,并拆分“-”List=df1['Col1].str.split('-')List产生输出:0[abc,def,ghi,jkl]1[jkl,ghi,jkl,mno]Name:Col1,dtype

python - 即使在 Pandas 中使用 .loc 后也会收到 SettingWithCopyWarning 警告

这个问题在这里已经有了答案:PandasstillgettingSettingWithCopyWarningevenafterusing.loc(3个答案)关闭5年前。df_masked.loc[:,col]=df_masked.groupby([df_masked.index.month,df_masked.index.day])[col].\transform(lambday:y.fillna(y.median()))即使在使用.loc之后,我也明白了。错误,我该如何解决?Anaconda\lib\site-packages\pandas\core\indexing.py:476:

python - 有没有办法在 Pandas 中将数据类型生成为字典?

当键入df.dtypes时,我们有类型列表。但是,有没有一种简单的方法可以将输出作为{'col1':np.float32,...}还是我需要自己编写一个函数? 最佳答案 df.dtypes的类型返回对象是pandas.Series。它有一个to_dict方法:df=pd.DataFrame({'A':[1,2],'B':[1.,2.],'C':['a','b'],'D':[True,False]})dfOut:ABCD011.0aTrue122.0bFalsedf.dtypesOut:Aint64Bfloat64CobjectDbo

python - Pandas 数据透视表重命名列

如何在pandaspivot操作后重命名具有多个级别的列?下面是一些生成测试数据的代码:importpandasaspddf=pd.DataFrame({'c0':['A','A','B','C'],'c01':['A','A1','B','C'],'c02':['b','b','d','c'],'v1':[1,3,4,5],'v2':[1,3,4,5]})print(df)给出一个测试数据框:c0c01c02v1v20AAb111AA1b332BBd443CCc55应用枢轴df2=pd.pivot_table(df,index=["c0"],columns=["c01","c02"]

python - 修改 Pandas 中的时间戳以使索引唯一

我正在处理不定期记录的财务数据。一些时间戳是重复的,这使得分析变得棘手。这是数据示例-注意有四个2016-08-2300:00:17.664193时间戳:In[167]:tsOut[168]:lastlast_szbidaskdatetime2016-08-2300:00:14.1611282170.7512170.752171.002016-08-2300:00:14.9011802171.0012170.752171.002016-08-2300:00:17.1966392170.7512170.752171.002016-08-2300:00:17.6641932171.0012

python - Pandas 数据框 : join items in range based on their geo coordinates (longitude and latitude)

我得到了一个数据框,其中包含带有纬度和经度的地点。想象一下城市。df=pd.DataFrame([{'city':"Berlin",'lat':52.5243700,'lng':13.4105300},{'city':"Potsdam",'lat':52.3988600,'lng':13.0656600},{'city':"Hamburg",'lat':53.5753200,'lng':10.0153400}]);现在我试图让所有城市都在一个半径范围内。假设距离柏林500公里、汉堡500公里等的所有城市。我会通过复制原始数据帧并将两者与距离函数连接来做到这一点。中间结果大概是这样的:B

python - Pandas - 在 applymap 期间获取每个元素的行和列名称

我正在尝试比较一个字符串列表的相似性,并在pandas数据框中获取结果以供检查;所以我使用一个列表作为索引,另一个作为列列表。然后我想计算它们的“Levenshtein相似度”(一个比较两个词之间相似度的函数)。我尝试在每个单元格上使用applymap来做到这一点,并将单元格索引与单元格列进行比较。我怎么能那样做?或者更简单的替代方案?things=['car','bike','sidewalk','eatery']action=['walking','caring','biking','eating']matrix=pd.DataFrame(index=things,columns=

python - 是否可以使用 Python Pandas 构建报告?

我目前正在使用MSAccess生成报告,但我需要做的一些计算有些受限。我正在考虑使用Python来运行报告,即每行数据一个报告,它采用列字段并将它们放在向下的文本框中,看起来像:这在Python中如何实现? 最佳答案 这有点超出Pandas,但您可以借助以下Python库从PandasDataFrame(使用1.2.5版测试)的每一行创建PDF报告:jinja2:模板引擎,测试版本3.0.1xhtml2pdf:将HTML转换为PDF,测试版本为0.2.5首先,在report_template.html中定义报告的结构和外观:html

python - 检索 pandas 中 read_csv 推断的分隔符

当使用自动分隔符检测配置读取csv文件时(pd.read_csv(file_path,sep=None)),pandas会尝试推断分隔符(或分隔符)。有没有办法检索这个推理的结果(最终用于sep的值)?编辑我正在专门寻找一种使用read_csv返回的pandas对象的方法。我使用0.20.2版的pandas。 最佳答案 我认为您无需导入csv即可执行此操作:reader=pd.read_csv(file_path,sep=None,iterator=True)inferred_sep=reader._engine.data.dial