草庐IT

Cloudera-CDH

全部标签

hadoop - Apache HBase 和 Cloudera HBase 兼容吗?

在工作中我们正在尝试做以下事情:通过Amazon运行ElasticMapReduce作业,将Hadoop卡住在0.20.205版本将输出写入运行在EC2上的HBase,特别是来自Cloudera的0.92.1-cdh4.0.1到目前为止,我发现当我在Hadoop作业(通过maven打包)中使用ApacheHBase0.92.1时,我的WordCount测试似乎有效。我担心这是意外工作,随着我的使用成熟,它可能会崩溃。但是,当我在我的Hadoop作业中打包HBase0.92.1-cdh4.0.1时,我得到一个ClassNotFoundException:https://emr-qa.ev

hadoop - com.cloudera.sqoop.SqoopOptions 与 org.apache.sqoop.SqoopOptions 之间有什么区别吗?

Iamnewinsqoop.Actualiamusedsqoopimport&exportthroughcommandlinearguments.Butnowiamtryingtoimplmentwithjava.IgotcompiletimeerrorwhencallingexpTool.run(sqoopoptions)whenusingtheorg.apache.sqoop.SqoopOptionspackage.Ifiamtryingtouseclouderapackageinsteadofapachesqooppackage.thereisnocompiletimeexecp

hadoop - 如何在cloudera上通过CLI连接到hive

我们从HUE运行CDH4.1.1/BeeswaxHive运行良好,/beeswax/tables显示所有表。我想使用hiveCLI列出所有表:overlord@overlord-datanode1:~$hiveLogginginitializedusingconfigurationinfile:/etc/hive/conf.dist/hive-log4j.propertiesHivehistoryfile=/tmp/overlord/hive_job_log_overlord_201211280646_1426149164.txthive>SHOWTABLES;OKTimetaken:

hadoop - 如何使用cloudera演示虚拟机设置hadoop集群

cloudera有演示虚拟机https://ccp.cloudera.com/display/SUPPORT/Demo+VMs我有5个演示虚拟机,如何使用它们设置hadoop集群?我不想使用clouderamanager,因为它总是会导致失败,它告诉您无法获得心跳,我已经尝试了很多次并放弃了。cloudera没有显示如何使用演示虚拟机设置集群。谁能告诉我? 最佳答案 观看这些视频,了解如何创建CDH群集,这并不难。https://www.youtube.com/watch?v=sCYOQufLzvUhttps://www.youtu

hadoop - 将 Akubra-HDFS 与 Cloudera CDH4 结合使用

我正在尝试使用Akubra-HDFS作为fedoracommons的低级存储服务器。我遵循了类似于installationofIRODS的程序设置Akubra-HDFS。fedora服务器使用Hadoop(版本1.0.4)作为其存储。但是,我在将Akubra-HDFS库与ClouderaCDH4/ApacheHadoop2.0.3alpha-高可用性(HA)发行版一起使用时遇到了问题。我想分享我的发现。 最佳答案 由于AKubra-HDFS是一个新的实验性库,互联网上关于它的资源并不多。我必须通过尝试不同的依赖jar来找出解决方案。

hadoop - 如何设置 Cloudera Hadoop 以在 Ubuntu 本地主机上运行?

我正在尝试在单个Ubuntu本地主机上运行所有Hadoop服务器。所有端口都打开,我的/etc/hosts文件是127.0.0.1frigatefrigate.domain.locallocalhost#ThefollowinglinesaredesirableforIPv6capablehosts::1ip6-localhostip6-loopbackfe00::0ip6-localnetff00::0ip6-mcastprefixff02::1ip6-allnodesff02::2ip6-allrouters当尝试安装集群Cloudera管理器失败并显示以下消息时:Installa

hadoop - pig 加入Cloudera VM

我尝试在apachepig中执行一个简单的连接。我使用的数据集来自http://www.dtic.upf.edu/~ocelma/MusicRecommendationDataset/lastfm-1K.html这是我在pig壳里做的:profiles=LOAD'/user/hadoop/tests/userid-profile.tsv'AS(id,gender,age,country,dreg);songs=LOAD'/user/hadoop/tests/userid-timestamp-artid-artname-traid-traname.tsv'AS(userID,timest

hadoop - Cloudera Manager 安装程序 3.7 尝试安装 Cloudera manager server 4.5

我正在尝试使用ClouderaManager3.7.x在具有RHEL5.5的集群上安装CDH3U5。但是由于以下错误,安装失败-ErrorDownloadingPackages:cloudera-manager-daemons-4.5.1-1.cm451.p0.294.x86_64:failure:RPMS/x86_64/cloudera-manager-daemons-4.5.1-1.cm451.p0.294.x86_64.rpmfromcloudera-manager:[Errno256]Nomoremirrorstotry.日志View显示-===================

hadoop - Cloudera 安装错误 我想知道我们可以在 ubuntu 上为 Hadoop 单节点集群提供 cloudera 管理器吗?

我正在使用ubuntu12.0464位,我成功地安装并运行了单节点示例hadoop程序。我在我的ubuntu上安装cloudera管理器时出现以下错误Refreshingrepositorymetadatafailed.See/var/log/cloudera-manager-installer/2.refresh-repo.logfordetails.ClickOKtorevertthisinstallation.我想知道能不能在ubuntu上安装ClouderaforHadoop的单节点集群。请回复我是否可以为单个节点安装cloudera管理器。否则我是否想创建多个节点以将clou

hadoop - CDH伪集群启动Jobtracker和Tasktracker失败

当我尝试在R中执行mapreduce并且未能与JT和TT通信时,我注意到了这个问题。这是在我更改了一些配置文件后发生的,但不幸的是,我忘记了如何将其更改回来(我的错)!!1)JT日志:2013-08-0515:14:09,335INFOorg.apache.hadoop.mapred.JobTracker:STARTUP_MSG:/************************************************************STARTUP_MSG:StartingJobTrackerSTARTUP_MSG:host=rhadoop/172.16.1.39STA