草庐IT

mysql - hadoop会比mySQL快吗

coder 2024-01-06 原文

我正面临一个大数据问题。我有一个大型 MySQL (Percona) 表，它每天连接一次并产生大约 250 亿行。我试图将所有行组合在一起并聚合以产生结果。查询是一个简单的连接:

--This query produces about 25 billion rows
SELECT t1.colA as 'varchar(45)_1', t2.colB as 'varchar(45)_2', count(*)
FROM table t1
JOIN
table t2
on t1.date = t2.date
GROUP BY t1.colA, t2.colB

问题是这个过程需要一个多星期才能完成。我开始阅读有关 hadoop 的文章，想知道 map reduce 功能是否可以缩短处理数据的时间。我注意到 HIVE 是一个不错的小附加组件，允许对 hadoop 进行类似 SQL 的查询。这一切看起来很有希望，但我面临着一个问题，我将只在一台机器上运行:

6-core i7-4930K
16GB RAM
128 SSD
2TB HDD

当我使用 MySQL 运行查询时，我的资源正在被使用，只有大约 4Gb 的 ram，一个核心仅 100% 工作，而另一个核心工作接近 0%。我检查了一下，发现 MySQL 是单线程的。这也是 Hadoop 看起来很有前途的原因，因为我注意到它可以运行多个映射器函数以更好地利用我的资源。我的问题仍然是 hadoop 能够在我的情况下取代 MySQL，在这种情况下它可以在几个小时内产生结果而不是一周以上，即使 hadoop 将只在单个节点上运行(尽管我知道它用于分布式计算)？

最佳答案

对您来说，一些非常大的障碍是 hadoop 确实意味着在集群上运行，而不是在单个服务器上运行。它可以使用多个内核，但它消耗的资源量将非常大。我有一个用于测试的单一系统，它具有 hadoop 和 hbase。它运行着名称节点、二级名称节点、数据节点、节点管理器、资源管理器、动物园管理员等。这对于单个系统来说是一个非常重的负载。此外，HIVE 并不是 RDBMS 的真正符合 SQL 的替代品，因此它必须通过创建 map/reduce 作业来模拟某些工作。这些作业的磁盘密集程度要高得多，并使用 hdfs 文件系统将数据映射到虚拟表中(措辞可能有所不同)。 HDFS 也有相当大的开销，因为文件系统要分布在许多系统上。

话虽如此，我不建议使用 Hadoop 解决您的问题。我建议您在未来查看它所提供的内容。

您是否研究过可以利用多个处理器的数据分片。恕我直言，这将是一个更简洁的解决方案。

http://www.percona.com/blog/2014/05/01/parallel-query-mysql-shard-query/

您也可以考虑测试 postgres。它内置了非常好的并行查询支持。

另一个想法是，您可以尝试使用 olap 多维数据集来进行计算，它可以动态重建索引，这样只有更改才会生效。由于您实际上是在处理数据分析，这可能是一个理想的解决方案。

关于mysql - hadoop会比mySQL快吗，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/25981191/

hadoopmysqlsectionqueryhiveapache-pig

有关mysql - hadoop会比mySQL快吗的更多相关文章

  1. 使用canal同步MySQL数据到ES - 2

    文章目录一、概述简介原理模块二、配置Mysql使用版本环境要求1.操作系统2.mysql要求三、配置canal-server离线下载在线下载上传解压修改配置单机配置集群配置分库分表配置1.修改全局配置2.实例配置垂直分库水平分库3.修改group-instance.xml4.启动监听四、配置canal-adapter1修改启动配置2配置映射文件3启动ES数据同步查询所有订阅同步数据同步开关启动4.验证五、配置canal-admin一、概述简介canal是Alibaba旗下的一款开源项目，Java开发。基于数据库增量日志解析，提供增量数据订阅&消费。Git地址：https://github.co

  2. hadoop安装之保姆级教程（二）之YARN的配置 - 2

    1.1.1 YARN的介绍 为克服Hadoop1.0中HDFS和MapReduce存在的各种问题⽽提出的，针对Hadoop1.0中的MapReduce在扩展性和多框架⽀持⽅⾯的不⾜，提出了全新的资源管理框架YARN. ApacheYARN（YetanotherResourceNegotiator的缩写）是Hadoop集群的资源管理系统，负责为计算程序提供服务器计算资源，相当于⼀个分布式的操作系统平台，⽽MapReduce等计算程序则相当于运⾏于操作系统之上的应⽤程序。 YARN被引⼊Hadoop2,最初是为了改善MapReduce的实现，但是因为具有⾜够的通⽤性，同样可以⽀持其他的分布式计算模

  3. ruby-on-rails - 无法安装 mysql2 0.3.14 gem - 2

    我看到其他人也遇到过类似的问题，但没有一个解决方案对我有用。0.3.14gem与其他gem文件一起存在。我已经完全按照此处指示完成了所有操作:https://github.com/brianmario/mysql2.我仍然得到以下信息。我不知道为什么安装程序指示它找不到include目录，因为我已经检查过它存在。thread.h文件存在，但不在ruby​​目录中。相反，它在这里:C:\RailsInstaller\DevKit\lib\perl5\5.8\msys\CORE\我正在运行Windows7并尝试在Aptana3中构建我的Rails项目。我的Ruby是1.9.3。$gemin

  4. ruby - 如何使用 ruby​​ mysql2 执行事务 - 2

    我已经开始使用mysql2gem。我试图弄清楚一些基本的事情——其中之一是如何明确地执行事务(对于批处理操作，比如多个INSERT/UPDATE查询)。在旧的ruby-mysql中，这是我的方法:client=Mysql.real_connect(...)inserts=["INSERTINTO...","UPDATE..WHEREid=..",#etc]client.autocommit(false)inserts.eachdo|ins|beginclient.query(ins)rescue#handleerrorsorabortentirelyendendclient.commi

  5. ruby - `map` 比 `each` 快吗？ - 2

    map遍历数组是否比each更快？两者有速度差异吗？mapresult=arr.map{|a|a+2}每个result=[]arr.eachdo|a|result.push(a+2)end 最佳答案 我认为是的。我试过这个测试require"benchmark"n=10000arr=Array.new(10000,1)Benchmark.bmdo|x|#Mapx.reportdon.timesdoresult=arr.map{|a|a+2}endend#Eachx.reportdon.timesdoresult=[]arr.each

  6. ruby-on-rails - 当我通过 rvm 使用 rails3 时，如何在 ubuntu 上安装 mysql2 gem？ - 2

    我正在尝试绕过rails配置这个极其复杂的迷宫。到目前为止，我设法在ubuntu上设置了rvm(出于某种原因，ruby在ubuntu存储库中已经过时了)。我设法建立了一个Rails项目。我希望我的测试项目使用mysql而不是mysqlite。当我尝试“rakedb:migrate”时，出现错误:“!!!缺少mysql2gem。将其添加到您的Gemfile:gem'mysql2'”当我尝试“geminstallmysql”时，出现错误，告诉我需要为安装命令提供参数。但是，参数列表很大，我不知道该选择哪些。如何通过在ubuntu上运行的rvm和mysql获取rails3？谢谢。

  7. Centos7-yum安装mysql-修改密码-无密码登录-安全配置 - 2

    目录1、yum安装mysql修改密码(1)在mysql里面修改(2)第二种方式，利用mysqladmin修改密码2、没有密码，登录mysql修改密码3、mysql的安全设置1、yum安装mysql在CentOS中默认安装有MariaDB（MySQL的一个分支），安装完成之后可以直接覆盖MariaDB。rpm-qa|grepmariadb查询是否安装了mariadbrpm-e--nodepsmariadb-libs-5.5.60-1.el7_5.x86_64卸载mariadwgethttp://dev.mysql.com/get/mysql57-community-release-el7-11.

  8. 大数据之Hadoop数据仓库Hive - 2

    目录：一、简介二、HQL的执行流程三、索引四、索引案例五、Hive常用DDL操作六、Hive常用DML操作七、查询结果插入到表八、更新和删除操作九、查询结果写出到文件系统十、HiveCLI和Beeline命令行的基本使用十一、Hive配置一、简介Hive是一个构建在Hadoop之上的数据仓库，它可以将结构化的数据文件映射成表，并提供类SQL查询功能，用于查询的SQL语句会被转化为MapReduce作业，然后提交到Hadoop上运行。特点：简单、容易上手(提供了类似sql的查询语言hql)，使得精通sql但是不了解Java编程的人也能很好地进行大数据分析；灵活性高，可以自定义用户函数(UDF)和

  9. ruby - 安装 dm-mysql-adapter 时出错 - 2

    我是Ruby的新手。我安装了DataMapper并且正在尝试安装dm-mysql-adapter-1.0.2gem。但是当我尝试安装时，出现以下错误。我正在使用ubuntu操作系统。vinoth@vinoth-laptop:~/Downloads$geminstalldm-mysql-adapter-1.0.2----with-mysql-lib=/usr/lib/mysql----with-mysql-conf=/usr/bin/mysqlWARNING:Installingto~/.gemsince/home/vinoth/gemsand/home/vinoth/gems/bina

  10. ruby-on-rails - gem 列表中的 mysql2 gem 但获取项目找不到 gem - 2

    我目前正在构建一个需要mysql2gem的RoR项目。我成功安装了gem。因为它出现在我的gem列表中。[root@vc2cmmka035538nsimple_cms]#gemlist***LOCALGEMS***actionmailer(3.2.3)actionpack(3.2.3)activemodel(3.2.3)activerecord(3.2.3)activeresource(3.2.3)activesupport(3.2.14,3.2.3)arel(3.0.2)bigdecimal(1.1.0)builder(3.2.2,3.0.0)bundler(1.1.5)c2c_li

随机推荐