草庐IT

33个热门数据分析软件,你都用过哪些?

python大数据分析 2023-03-28 原文

数据分析工具类软件,大体可以分为以下5类:

Excel生态工具、数理统计工具、BI工具、数据库工具、编程工具

(Excel单独分成一类,主要是因为它应用场景广泛,且用户基数过于庞大,甚至超过其他所有工具用户之和)

每个类别的代表工具分别有:

Excel生态:Excel、VBA、PowerQuery、PowerPivot、Power View、Power Map

数理统计工具:SAS、SPSS、Stata、Minitab、Eviews、Statistica、MATLAB、Mathematica

BI工具:PowerBI、Tableau、Qlikview、SAP BI、Oracel BI、FineBI、Yonghong BI

数据库工具:MySQL、PostgreSQL、Oracle、SQLServer、MongoDB、Hive

编程工具:Python、R、Julia、Scala、Spark、Java、Hadoop

下面分别就每个工具做简单介绍

Excel生态

Excel不光包含表格软件,还有很多内置的数据分析工具和插件,从群众基础来说无人能及。

1、Excel

无需多言,几乎人人都在用的数据处理软件,由微软开发,是office三剑客之一。

虽然excel很容易入手,但大部分人对excel的使用程度还处在入门阶段,存取数据、做做表。

其实excel可以制作复杂的报表、模型、应用、系统,比如构建金融分析模型。

大家学习excel,可以从基本界面、导入导出、公式&函数、筛选排序、数据格式、可视化图表、数据透视表、数据模型、工作协作这几个方面入手,最好是按照官网文档指导,配合实践,一般进步会很快。

2、VBA

Excel里的编程语言,通俗理解为宏,自动化地执行一些操作。Office 软件提供丰富的功能接口,VBA 可以调用它们,实现自定义的需求。

VBA最大的作用是自动化、批量化、智能化地操作Excel,被广泛应用于数据分析处理、数据建模、报表开发、应用开发等,在金融、审计、财务等行业非常流行。

3、PowerQuery

一种嵌入Excel Microsoft 产品的技术,旨在帮助你塑造数据。 在Excel,选择功能区上的"数据"选项卡,查看"获取&转换数据和查询"&连接"组。

从各种数据源导入和刷新数据后,可以在分步转换中调整数据,逐步创建唯一的表格形状以满足数据分析需求。

4、PowerPivot

一种数据建模技术,用于创建数据模型,建立关系,以及创建计算。 可使用 PowerPivot 处理大型数据集,构建广泛的关系,以及创建复杂(或简单)的计算,这些操作全部在高性能环境中和所你熟悉的 Excel 内执行。

5、Power View

一种数据可视化技术,用于创建交互式图表、图形、地图和其他视觉效果,以便直观呈现数据。 Power View 在 Excel、BI SharePoint、SQL Server 和 Power BI 中均可用。

6、Power Map

一种三维 (三维) 数据可视化工具,可用于以新方式查看信息。 通过电源图,可发现传统二维表格和图表中 (二维) 见解。

使用 Power Map ,可以在三维地球或自定义地图上绘制地理和时态数据,显示这些数据,并创建可以与其他人分享的视觉浏览

数理统计工具

这类工具偏专业数学统计分析,可以做数据挖掘、数据建模、系统搭建等工作,适合学术和大型商业公司。

7、SAS

三大统计软件之一。是目前国际上最为流行的一种大型统计分析系统,被誉为统计分析的标准软件。

它由数十个专用模块构成,功能包括数据访问、数据储存及管理、应用开发、图形处理、数据分析、报告编制、运筹学方法、计量经济学与预测等等。

主要完成以数据为中心的四大任务:数据访问;数据管理;数据呈现;数据分析。

8、SPSS

三大统计软件之一。IBM公司的一系列用于统计学分析运算、数据挖掘、预测分析和决策支持任务的软件产品及相关服务的总称。

SPSS和Excel比较像,界面简单,适合初学者使用,且统计功能强大,拥有四大模块,用于数据处理、描述性分析、推断性分析和探索性分析。

SPSS具有完整的数据输入、编辑、统计分析、报表、图形制作等功能,自带11种类型136个函数。

SPSS提供了从简单的统计描述到复杂的多因素统计分析方法,比如数据的探索性分析、统计描述、列联表分析、二维相关、秩相关、偏相关、方差分析、非参数检验、多元回归、生存分析、协方差分析、判别分析、因子分析、聚类分析、非线性回归、Logistic回归等。

9、Stata

三大统计软件之一。是一套提供其使用者数据分析、数据管理以及绘制专业图表的完整及整合性统计软件。它功能非常强大,包含线性混合模型、均衡重复反复及多项式普罗比模式。

用Stata绘制的统计图形相当精美,且Stata具有操作灵活、简单、易学易用、运行速度极快等优点。

功能包括:数据管理,统计分析,图表,模拟,自定义编程。

10、Minitab

数据分析、统计、过程改善工具。应用场景是现代质量管理统计,通常结合一些统计处理方法,如六标准差(Six Sigma), 能力成熟度模型集成(CMMI),以及其他制程改善方法等。

11、Statistica

一个整合数据分析、图表绘制、数据库管理与自订应用发展系统环境的专业软件。

STATISTICA不仅提供使用者统计、绘图与数据管理程序等一般目的的需求,更提供特定需求所需的数据分析方法(例如,数据挖掘、商业、社会科学、生物研究或工业工程等)。

12、MATLAB

三大数学软件之一。一种用于算法开发、数据可视化、数据分析以及数值计算的高级技术计算语言和交互式环境。

除矩阵运算、绘制函数/数据图像等常用功能外,MATLAB还可用来创建用户界面,以及调用其它语言(包括C、C++、Java、Python、FORTRAN)编写的程序。

MATLAB的工具箱非常强大,可以支持各行各业做数据分析建模。

典型应用有:数据分析、数值与符号计算、工程与科学绘图、控制系统设计、航天工业、汽车工业、生物医学工程、语音处理、图像与数字信号处理、财务、金融分析、建模、仿真及样机开发、新算法研究开发、图形用户界面设计等。

13、Mathematica

三大数学软件之一。一款科学计算软件,有时候也被称为计算机代数系统,广泛使用于科学、工程、数学、计算等领域。

它很好地结合了数值和符号计算引擎、图形系统、编程语言、文本系统、和与其他应用程序的高级连接,很多功能在相应领域内处于世界领先地位。

BI工具

BI也就是商业智能,一般用来分析商业数据,洞察商业机会。这可以是大部分数据分析岗位需要用到的工具,因为学习简单,且数据处理和展示功能强大。

下图是Gartner统计的BI工具实力榜:

14、PowerBI

微软的BI产品,也是目前世界上最流的BI工具之一,它优势在于和微软生态集成较好。

Power BI 是软件服务、应用和连接器的集合,它们协同工作以将相关数据来源转换为连贯的视觉逼真的交互式见解。

无论用户的数据是简单的 Excel 电子表格,还是基于云和本地混合数据仓库的集合,Power BI 都可让用户轻松地连接到数据源,直观看到(或发现)重要内容,与任何所希望的人进行共享。

Power BI 简单且快速,能够从 Excel 电子表格或本地数据库创建快速见解。 同时 Power BI 也可进行丰富的建模和实时分析,及自定义开发。

因此它既是用户的个人报表和可视化工具,还可用作组项目、部门或整个企业背后的分析和决策引擎。

15、Tableau

同样是目前世界上最流的BI工具之一,优点是数据分析、可视化能力强大。

Tableau是用于可视分析数据的商业智能工具。用户可以创建和分发交互式和可共享的仪表板,以图形和图表的形式描绘数据的趋势,变化和密度。

Tableau可以连接到文件,关系数据源和大数据源来获取和处理数据。该软件允许数据混合和实时协作,这使它非常独特。它被企业,学术研究人员和许多政府用来进行视觉数据分析。它还被定位为Gartner魔力象限中的领导者商业智能和分析平台。

16、Qlikview

一个完整的商业分析软件,使开发者和分析者能够构建和部署强大的分析应用。QlikView应用使各种各样的终端用户以一个高度可视化,功能强大和创造性的方式,互动分析重要业务信息。

它让开发者能从多种数据库里提取和清洗数据,建立强大、高效的应用,而且使它们能被Power用户、移动用户和每天的终端用户修改后使用。

17、SAP BI

SAP公司的BI服务,一款支持数据报告、可视化和共享的集中式套件。作为 SAP Business Technology Platform [业务技术云平台] 的本地 BI 层,该套件可以随时随地将数据转化为有用的洞察。

18、OracleBI

Oracle公司的BI服务。

19、FineBI

国内较为领先的BI软件,定位于自助大数据分析的BI工具,提供数据处理、即时分析、多维度分析、可视化等服务。

20、Yonghong BI

同样是国内较为领先的BI软件,基于本机安装,省去繁琐的部署环节,即装即用。提供一站式、敏捷、高效的数据治理及可视化分析、AI深度分析能力。

数据库工具

数据库是数据存储的工具,一般企业都会有自己的私有部署数据库,或者云数据库,每一位数据从业者几乎都需要和数据库打交道。因为熟悉各类数据库,并编写SQL查询,是数据人必备技能之一。

21、MySQL

最流行数据库之一,国内互联网公司最喜欢的数据库,我愿称之为必学。

MySQL在过去由于性能高、成本低、可靠性好,已经成为最流行的开源数据库,因此被广泛地应用在Internet上的中小型网站中。

随着MySQL的不断成熟,它也逐渐用于更多大规模网站和应用,比如维基百科、Google和Facebook等网站。非常流行的开源软件组合LAMP中的“M”指的就是MySQL。

22、PostgreSQL

最强大且最具潜力的数据库之一,开源免费,分析能力强,稳定可靠,支持广泛。在很多方面都比MySQL强,如复杂SQL的执行、存储过程、触发器、索引。我愿称之为最强。

23、Oracle

老牌企业,最稳定的数据库之一。大部分银行、证券、电信等行业都在使用Oracle,因为其商业化程度高、功能强大且稳定,所以备受世界500强欢迎。

24、SQLServer

微软公司数据库产品,windows系统上最强王者。具有易用性、适合分布式组织的可伸缩性、用于决策支持的数据仓库功能、与许多其他服务器软件紧密关联的集成性、良好的性价比等。

25、MongoDB

一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。

MongoDB 是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。

26、Hive

Hadoop大数据生态的数据查询工具,一个用来开发SQL类型脚本来执行MapReduce操作的平台,当前在互联网公司应用非常广泛。

具体来说,Hive是一个数据仓库基础设施工具,用于处理Hadoop中的结构化数据。它位于Hadoop的顶部,用于汇总大数据,并使查询和分析变得轻松。

编程工具

除了上述的数据分析软件外,编程用于数据分析也是大趋势。越来越多的数据分析师通过Python、R等进行数据建模、可视化,而且编程语言快速、灵活、复用性强的特点也适合数据处理分析。

27、Python

目前最火的数据科学编程语言,没有之一。Python因为其简洁的语法、强大的生态、无所不能的应用几乎已经霸占了数据分析编程领域的半壁江山。

前段时间matlab被限制在中国使用,知乎上开始讨论什么工具可以替代matlab,python是被提及最多的编程语言。

且不说python能否替代matlab,就目前python在科学计算、模型构建、可视化上的能力就已经可以傲视编程界,其拥有像numpy、scipy、statemodels、pandas、matplotlib等众多现象级的数据科学库。

不管是github、kaggle、天池,还是企业高校里的数据项目,python几乎都已成为首选支持语言之一。

另外在高端科技领域,同样有python的身影。自 1997 年,NASA 就大量使用 Python 进行各种复杂的科学运算。

至于AI,这也是python的看家本领了,其应用生态可谓波澜壮阔、群星云集。

不仅有tensorflow、pytorch、caffe、keras等主流人工智能学习框架,还有Gensim、NLTK、OpenCV、Mahotas等专注于nlp、cv细分领域的经典开发工具。

28、R

编程统计工具的鼻祖。作为一种统计分析软件,是集统计分析与图形显示于一体的。它可以运行于UNIX、Windows和Macintosh的操作系统上,而且嵌入了一个非常方便实用的帮助系统。

R是一套由数据操作、计算和图形展示功能整合而成的套件。

包括:有效的数据存储和处理功能,一套完整的数组(特别是矩阵)计算操作符,拥有完整体系的数据分析工具,为数据分析和显示提供的强大图形功能,一套(源自S语言)完善、简单、有效的编程语言(包括条件、循环、自定义函数、输入输出功能)。

29、Julia

编程数据分析领域的新星。Julia 是一个面向科学计算的高性能动态高级程序设计语言,

首先定位是通用编程语言,其次是高性能计算语言。

Julia在分布式并行化、精确数值计算等方面提供了独具特色的支持,并包含大量可扩展的数学函数库。

尤其是在线性代数、随机数生成、信号处理、字符串处理等方面,集成了众多成熟、优秀的基于C和Fortran开发的开源库,有着很高的性能与效率。

另外,Julia有着强大开放的开发者社区,贡献了大量的第三方库,并可通过内置的包(Package)管理器进行方便的安装使用。

30、Scala

Java的衍生语言,用于spark数据分析、大数据开发等。

31、Spark

一个开源集群运算框架,Spark在存储器内执行程序的运算速度能做到比Hadoop MapReduce的运算速度快上100倍,即便是执行程序于硬盘时,Spark也能快上10倍速度。

Spark允许用户将资料加载至集群存储器,并多次对其进行查询,非常适合用于机器学习算法。

32、Java

不用多说,最流行的编程语言。其在数据分析领域的应用主要是搭建大数据框架。

33、Hadoop

最流行的大数据框架,几乎大部分互联网公司都在用,如果你做大数据,肯定离不开它。

简答来说,Hadoop是一款支持数据密集型分布式应用程序,并以Apache 2.0许可协议发布的开源软件框架。它支持在商用硬件构建的大型集群上运行的应用程序。

Hadoop是根据谷歌公司发表的MapReduce和Google文件系统的论文自行实现而成。所有的Hadoop模块都有一个基本假设,即硬件故障是常见情况,应该由框架自动处理。

部分信息来源:维基百科、百度百科、百度文库

有关33个热门数据分析软件,你都用过哪些?的更多相关文章

  1. ruby - 解析 RDFa、微数据等的最佳方式是什么,使用统一的模式/词汇(例如 schema.org)存储和显示信息 - 2

    我主要使用Ruby来执行此操作,但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式,例如使用这个yaml文件,它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i

  2. ruby - Ruby 有 `Pair` 数据类型吗? - 2

    有时我需要处理键/值数据。我不喜欢使用数组,因为它们在大小上没有限制(很容易不小心添加超过2个项目,而且您最终需要稍后验证大小)。此外,0和1的索引变成了魔数(MagicNumber),并且在传达含义方面做得很差(“当我说0时,我的意思是head...”)。散列也不合适,因为可能会不小心添加额外的条目。我写了下面的类来解决这个问题:classPairattr_accessor:head,:taildefinitialize(h,t)@head,@tail=h,tendend它工作得很好并且解决了问题,但我很想知道:Ruby标准库是否已经带有这样一个类? 最佳

  3. ruby - 我如何添加二进制数据来遏制 POST - 2

    我正在尝试使用Curbgem执行以下POST以解析云curl-XPOST\-H"X-Parse-Application-Id:PARSE_APP_ID"\-H"X-Parse-REST-API-Key:PARSE_API_KEY"\-H"Content-Type:image/jpeg"\--data-binary'@myPicture.jpg'\https://api.parse.com/1/files/pic.jpg用这个:curl=Curl::Easy.new("https://api.parse.com/1/files/lion.jpg")curl.multipart_form_

  4. 世界前沿3D开发引擎HOOPS全面讲解——集3D数据读取、3D图形渲染、3D数据发布于一体的全新3D应用开发工具 - 2

    无论您是想搭建桌面端、WEB端或者移动端APP应用,HOOPSPlatform组件都可以为您提供弹性的3D集成架构,同时,由工业领域3D技术专家组成的HOOPS技术团队也能为您提供技术支持服务。如果您的客户期望有一种在多个平台(桌面/WEB/APP,而且某些客户端是“瘦”客户端)快速、方便地将数据接入到3D应用系统的解决方案,并且当访问数据时,在各个平台上的性能和用户体验保持一致,HOOPSPlatform将帮助您完成。利用HOOPSPlatform,您可以开发在任何环境下的3D基础应用架构。HOOPSPlatform可以帮您打造3D创新型产品,HOOPSSDK包含的技术有:快速且准确的CAD

  5. FOHEART H1数据手套驱动Optitrack光学动捕双手运动(Unity3D) - 2

    本教程将在Unity3D中混合Optitrack与数据手套的数据流,在人体运动的基础上,添加双手手指部分的运动。双手手背的角度仍由Optitrack提供,数据手套提供双手手指的角度。 01  客户端软件分别安装MotiveBody与MotionVenus并校准人体与数据手套。MotiveBodyMotionVenus数据手套使用、校准流程参照:https://gitee.com/foheart_1/foheart-h1-data-summary.git02  数据转发打开MotiveBody软件的Streaming,开始向Unity3D广播数据;MotionVenus中设置->选项选择Unit

  6. 使用canal同步MySQL数据到ES - 2

    文章目录一、概述简介原理模块二、配置Mysql使用版本环境要求1.操作系统2.mysql要求三、配置canal-server离线下载在线下载上传解压修改配置单机配置集群配置分库分表配置1.修改全局配置2.实例配置垂直分库水平分库3.修改group-instance.xml4.启动监听四、配置canal-adapter1修改启动配置2配置映射文件3启动ES数据同步查询所有订阅同步数据同步开关启动4.验证五、配置canal-admin一、概述简介canal是Alibaba旗下的一款开源项目,Java开发。基于数据库增量日志解析,提供增量数据订阅&消费。Git地址:https://github.co

  7. ruby-on-rails - 创建 ruby​​ 数据库时惰性符号绑定(bind)失败 - 2

    我正在尝试在Rails上安装ruby​​,到目前为止一切都已安装,但是当我尝试使用rakedb:create创建数据库时,我收到一个奇怪的错误:dyld:lazysymbolbindingfailed:Symbolnotfound:_mysql_get_client_infoReferencedfrom:/Library/Ruby/Gems/1.8/gems/mysql2-0.3.11/lib/mysql2/mysql2.bundleExpectedin:flatnamespacedyld:Symbolnotfound:_mysql_get_client_infoReferencedf

  8. 软件测试基础 - 2

    Ⅰ软件测试基础一、软件测试基础理论1、软件测试的必要性所有的产品或者服务上线都需要测试2、测试的发展过程3、什么是软件测试找bug,发现缺陷4、测试的定义使用人工或自动的手段来运行或者测试某个系统的过程。目的在于检测它是否满足规定的需求。弄清预期结果和实际结果的差别。5、测试的目的以最小的人力、物力和时间找出软件中潜在的错误和缺陷6、测试的原则28原则:20%的主要功能要重点测(eg:支付宝的支付功能,其他功能都是次要的)80%的错误存在于20%的代码中7、测试标准8、测试的基本要求功能测试性能测试安全性测试兼容性测试易用性测试外观界面测试可靠性测试二、质量模型衡量一个优秀软件的维度①功能性功

  9. STM32读取串口传感器数据(颗粒物传感器,主动上传) - 2

    文章目录1.开发板选择*用到的资源2.串口通信(个人理解)3.代码分析(注释比较详细)1.主函数2.串口1配置3.串口2配置以及中断函数4.注意问题5.源码链接1.开发板选择我用的是STM32F103RCT6的板子,不过代码大概在F103系列的板子上都可以运行,我试过在野火103的霸道板上也可以,主要看一下串口对应的引脚一不一样就行了,不一样的就更改一下。*用到的资源keil5软件这里用到了两个串口资源,采集数据一个,串口通信一个,板子对应引脚如下:串口1,TX:PA9,RX:PA10串口2,TX:PA2,RX:PA32.串口通信(个人理解)我就从串口采集传感器数据这个过程说一下我自己的理解,

  10. SPI接收数据异常问题总结 - 2

    SPI接收数据左移一位问题目录SPI接收数据左移一位问题一、问题描述二、问题分析三、探究原理四、经验总结最近在工作在学习调试SPI的过程中遇到一个问题——接收数据整体向左移了一位(1bit)。SPI数据收发是数据交换,因此接收数据时从第二个字节开始才是有效数据,也就是数据整体向右移一个字节(1byte)。请教前辈之后也没有得到解决,通过在网上查阅前人经验终于解决问题,所以写一个避坑经验总结。实际背景:MCU与一款芯片使用spi通信,MCU作为主机,芯片作为从机。这款芯片采用的是它规定的六线SPI,多了两根线:RDY和INT,这样从机就可以主动请求主机给主机发送数据了。一、问题描述根据从机芯片手

随机推荐