? 作者：韩信子@ShowMeAI
? 数据分析实战系列：https://www.showmeai.tech/tutorials/40
? 本文地址：https://www.showmeai.tech/article-detail/411
? 声明：版权所有，转载请联系平台与作者并注明出处
? 收藏ShowMeAI查看更多精彩内容
可视化是EDA的基础。当面对一个新的、未知的数据集时，视觉检查使我们能够了解可用的信息，绘制一些有关数据的模式，并诊断出我们可能需要解决的几个问题。在这方面，?Pandas Profiling 一直是每个数据科学家工具箱中不可或缺的瑞士刀，可以帮助我们快速生成数据摘要报告，包括数据概览、变量属性、数据分布、重复值和其他指标。它能够在可视化中呈现这些信息，以便我们更好地理解数据集。但如果我们能够比较两个数据集呢，有没有快速的方式可以实现？
在本篇博客文章中，ShowMeAI将介绍如何利用 Pandas Profiling 的比较报告功能来提升数据探索分析 (EDA) 流程。我们会介绍到如何使用 Pandas Profiling 比较报告功能来比较两个不同的数据集，这可以帮助我们更快地对比分析数据，获取分布差异，为后续做准备。
我们本次用到的数据集是 ?Kaggle 的 HCC 数据集，大家可以通过 ShowMeAI 的百度网盘地址下载。
? 实战数据集下载（百度网盘）：公众号『ShowMeAI研究中心』回复『实战』，或者点击 这里 获取本文 [42]Pandas Profiling：使用高级EDA工具对比分析2个数据集 『HCC 数据集』
⭐ ShowMeAI官方GitHub：https://github.com/ShowMeAI-Hub
关于更多数据自动化探索工具，可以参考ShowMeAI过往文章 ?自动化数据分析 (EDA) 工具库大全。
我们回顾一下 Pandas Profiling 的安装与使用方式：
# 通过pip安装
pip install pandas-profiling==3.5.0
如果我们需要对 hcc 数据集进行分析，参考代码如下：
import pandas as pd
from pandas_profiling import ProfileReport
# Read the HCC Dataset
df = pd.read_csv("hcc.csv")
# Produce the data profiling report
original_report = ProfileReport(df, title='Original Data')
original_report.to_file("original_report.html")
我们会得到非常清晰的数据分析结果报告，如下是报告的头部信息：
Alerts部分对数据进行分析后，给出了4种主要类型的潜在分析结果，包含可能有的风险和处理方式：
Duplicates ：数据中有 4 个重复行；Constant ：'O2'是常量字段，求职999；High Correlation ：有强相关性的几个特征；Missing ：“Ferritin”字段存在缺失值。这对这些问题我们可以做一些处理。
在数据集中，有些特征非常具体，涉及到个人的生物测量值，比如血红蛋白、MCV、白蛋白等。所以，很难有多个患者报告所有特征的相同精确值。因此，我们可以从数据中删除这些重复项。
# Drop duplicate rows
df_transformed = df.copy()
df_transformed = df_transformed.drop_duplicates()
在数据分析过程中，有些特征可能不具有太多价值，比如 O2 常数值。删除这些特征将有助于模型的开发。
# Remove O2
df_transformed = df_transformed.drop(columns='O2')
数据插补是用于处理缺失数据的方法。它允许我们在不删除观察值的情况下填补缺失值。均值插补是最常见和最简单的统计插补技术，它使用特征的均值来填充缺失值。我们将使用均值插补来处理 HCC 数据集中的缺失数据。
# Impute Missing Values
from sklearn.impute import SimpleImputer
mean_imputer = SimpleImputer(strategy="mean")
df_transformed['Ferritin'] = mean_imputer.fit_transform(df_transformed['Ferritin'].values.reshape(-1,1))
下面我们就进入高级功能部分了！我们在对1份数据分析后，如果希望有另外一份数据能够比对分析，怎么做呢。下面我们以处理前后的数据为例，来讲解这个分析的实现方式：
transformed_report = ProfileReport(df_transformed, title="Transformed Data")
comparison_report = original_report.compare(transformed_report)
comparison_report.to_file("original_vs_transformed.html")
最后的对比报告如下：
我们可以从数据集概述中立即了解什么？
这种转变如何影响我们的数据质量？这些决定是否很好？我们发现在删除重复记录方面，没有特别的影响，数据缺失和数据分布有一些变化，如下图所示：
 |
从上述图解中，可以看出一些信息，比如对于“铁蛋白”字段，插补数据的均值估算值导致原始数据分布被扭曲。这样处理可能是有问题的，我们应该避免使用均值估算来替换缺失值。在这种情况下，应该使用其他方法来处理缺失值，例如删除缺失值或使用其他统计方法来估算缺失值。
也可以通过相互作用和相关性的可视化来观察到这一点，在“铁蛋白”与其他特征之间的关系中，会出现不一致的相互作用模式和更高的相关值。
上图为铁蛋白与年龄之间的相互作用，估算值显示在对应于平均值的垂直线上。
上图为相关性情况对比，铁蛋白相关值似乎在数据插补后增加。
在本篇内容中，ShowMeAI讲解了 pandas-profiling 工具对不同数据进行对比分析的方法，我们用处理前后的数据做了一个简单的讲解，实际这个方法也可以用到训练集和测试集的对比中，用于发现数据漂移等问题。
关于数据漂移，可以参考ShowMeAI的文章 ?机器学习数据漂移问题与解决方案。
? 数据分析实战系列：https://www.showmeai.tech/tutorials/40
? 机器学习数据分析实战系列：https://www.showmeai.tech/tutorials/41
? 深度学习数据分析实战系列：https://www.showmeai.tech/tutorials/42
? TensorFlow数据分析实战系列：https://www.showmeai.tech/tutorials/43
? PyTorch数据分析实战系列：https://www.showmeai.tech/tutorials/44
? NLP实战数据分析实战系列：https://www.showmeai.tech/tutorials/45
? CV实战数据分析实战系列：https://www.showmeai.tech/tutorials/46
? AI 面试题库系列：https://www.showmeai.tech/tutorials/48
很好奇，就使用rubyonrails自动化单元测试而言，你们正在做什么？您是否创建了一个脚本来在cron中运行rake作业并将结果邮寄给您？git中的预提交Hook？只是手动调用？我完全理解测试，但想知道在错误发生之前捕获错误的最佳实践是什么。让我们理所当然地认为测试本身是完美无缺的，并且可以正常工作。下一步是什么以确保他们在正确的时间将可能有害的结果传达给您？ 最佳答案 不确定您到底想听什么，但是有几个级别的自动代码库控制:在处理某项功能时，您可以使用类似autotest的内容获得关于哪些有效，哪些无效的即时反馈。要确保您的提
我主要使用Ruby来执行此操作，但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式，例如使用这个yaml文件，它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i
我收到这个错误:RuntimeError(自动加载常量Apps时检测到循环依赖当我使用多线程时。下面是我的代码。为什么会这样？我尝试多线程的原因是因为我正在编写一个HTML抓取应用程序。对Nokogiri::HTML(open())的调用是一个同步阻塞调用，需要1秒才能返回，我有100,000多个页面要访问，所以我试图运行多个线程来解决这个问题。有更好的方法吗？classToolsController0)app.website=array.join(',')putsapp.websiteelseapp.website="NONE"endapp.saveapps=Apps.order("
有时我需要处理键/值数据。我不喜欢使用数组，因为它们在大小上没有限制(很容易不小心添加超过2个项目，而且您最终需要稍后验证大小)。此外，0和1的索引变成了魔数(MagicNumber)，并且在传达含义方面做得很差(“当我说0时，我的意思是head...”)。散列也不合适，因为可能会不小心添加额外的条目。我写了下面的类来解决这个问题:classPairattr_accessor:head,:taildefinitialize(h,t)@head,@tail=h,tendend它工作得很好并且解决了问题，但我很想知道:Ruby标准库是否已经带有这样一个类？ 最佳
我即将开始一个将录制和编辑音频文件的项目，我正在寻找一个好的库(最好是Ruby，但会考虑Java或.NET以外的任何库)以进行实时可视化波形。有人知道我应该从哪里开始搜索吗？ 最佳答案 要流入浏览器的数据量很大。Flash或Flex图表可能是唯一能提高内存效率的解决方案。Javascript图表往往会因大型数据集而崩溃。 关于ruby-Ruby中的波形可视化，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.c
我有一个涉及多台机器、消息队列和事务的问题。因此，例如用户点击网页，点击将消息发送到另一台机器，该机器将付款添加到用户的帐户。每秒可能有数千次点击。事务的所有方面都应该是容错的。我以前从未遇到过这样的事情，但一些阅读表明这是一个众所周知的问题。所以我的问题。我假设安全的方法是使用两阶段提交，但协议(protocol)是阻塞的，所以我不会获得所需的性能，我是否正确？我通常写Ruby，但似乎Redis之类的数据库和Rescue、RabbitMQ等消息队列系统对我的帮助不大——即使我实现某种两阶段提交，如果Redis崩溃，数据也会丢失，因为它本质上只是内存。所有这些让我开始关注erlang和
我正在尝试使用Curbgem执行以下POST以解析云curl-XPOST\-H"X-Parse-Application-Id:PARSE_APP_ID"\-H"X-Parse-REST-API-Key:PARSE_API_KEY"\-H"Content-Type:image/jpeg"\--data-binary'@myPicture.jpg'\https://api.parse.com/1/files/pic.jpg用这个:curl=Curl::Easy.new("https://api.parse.com/1/files/lion.jpg")curl.multipart_form_
无论您是想搭建桌面端、WEB端或者移动端APP应用，HOOPSPlatform组件都可以为您提供弹性的3D集成架构，同时，由工业领域3D技术专家组成的HOOPS技术团队也能为您提供技术支持服务。如果您的客户期望有一种在多个平台（桌面/WEB/APP，而且某些客户端是“瘦”客户端）快速、方便地将数据接入到3D应用系统的解决方案，并且当访问数据时，在各个平台上的性能和用户体验保持一致，HOOPSPlatform将帮助您完成。利用HOOPSPlatform，您可以开发在任何环境下的3D基础应用架构。HOOPSPlatform可以帮您打造3D创新型产品，HOOPSSDK包含的技术有：快速且准确的CAD
本教程将在Unity3D中混合Optitrack与数据手套的数据流，在人体运动的基础上，添加双手手指部分的运动。双手手背的角度仍由Optitrack提供，数据手套提供双手手指的角度。 01 客户端软件分别安装MotiveBody与MotionVenus并校准人体与数据手套。MotiveBodyMotionVenus数据手套使用、校准流程参照：https://gitee.com/foheart_1/foheart-h1-data-summary.git02 数据转发打开MotiveBody软件的Streaming，开始向Unity3D广播数据；MotionVenus中设置->选项选择Unit
文章目录一、概述简介原理模块二、配置Mysql使用版本环境要求1.操作系统2.mysql要求三、配置canal-server离线下载在线下载上传解压修改配置单机配置集群配置分库分表配置1.修改全局配置2.实例配置垂直分库水平分库3.修改group-instance.xml4.启动监听四、配置canal-adapter1修改启动配置2配置映射文件3启动ES数据同步查询所有订阅同步数据同步开关启动4.验证五、配置canal-admin一、概述简介canal是Alibaba旗下的一款开源项目，Java开发。基于数据库增量日志解析，提供增量数据订阅&消费。Git地址：https://github.co
