草庐IT

Cloudera-Manager-Installation

全部标签

hadoop - 如何将 Cloudera Hadoop "vbox"VMDK 转换为 VirtualBox VDI

大家好:我正在尝试在Virtualbox中运行ClouderaHadoopVM。首先,我注意到下载的是一个.vmdk文件。当然,这个后缀是针对VMWare的,所以有点奇怪。幸运的是,我在这里找到了关于如何将clouderavmdk转换为虚拟box文件的教程:http://www.ubuntugeek.com/howto-convert-vmware-image-to-virtualbox-image.html.但是,当我尝试使用convertdd将vmdk文件转换为虚拟box文件时,最终收到一条消息“无法写入磁盘镜像“cdh.vdi”VERR_DISK_FULL”所以我的问题是,如何在

java - 历史服务器未在 cloudera Hadoop 上启动

我已经按照here中给出的说明设置了“hadoop”.我成功下载并部署了它,并且能够运行除historyserver之外的所有守护进程并运行示例程序。当我运行sbin/yarn-daemon.shstarthistoryserver时,显示以下错误。Exceptioninthread"main"java.lang.NoClassDefFoundError:historyserverCausedby:java.lang.ClassNotFoundException:historyserveratjava.net.URLClassLoader$1.run(URLClassLoader.ja

hadoop - 如何下载特定cloudera发行版的源代码?

stackoverflow的好心人帮我弄清楚了如何在我的ubuntu开发机器上识别特定的cloudera版本。(dpkg-l|grepcdh).现在我想摸索一下资源,但我不确定去哪里下载它们。假设我想下载hdfs源(使用cdh5.3.0的clouderamods):dpkg显示的版本是:hadoop-hdfs2.5.0+cdh5.3.0+781-1.cdh5.3.0.p0.54~精确现在,如果我转到这个github存储库:https://github.com/cloudera/hadoop-hdfs我没有看到任何包含字符串“5.3.0”的标签。所以我不知道该去哪里看。如有任何指点,我们

hadoop - 如何在cloudera quickstartVM -5.7.0中获取默认的HIVE_HOME?

如何在cloudera-quickstartVM-5.7中获取环境变量$HIVE_HOME的值?试图通过printenv查看存在的环境变量,它不存在。 最佳答案 HIVE_HOME在调用hiveshell时设置。以下是找到HIVE_HOME的三种方法从hive命令行:[cloudera@quickstart~]$hive-e'!env'|grepHIVE_HOMEHIVE_HOME=/usr/lib/hive来自hiveshell-这将打印与上面相同的变量但是你不能在这里使用grep,所以你必须从所有变量的列表中找到HIVE_HOM

amazon-web-services - 设置 AWS 凭证 - Cloudera Quickstart Docker Container

我正在尝试使用Cloudera的Quickstartdocker容器来测试简单的Hadoop/Hive作业。我希望能够在S3中的数据上运行作业,但到目前为止我遇到了问题。我已将以下属性添加到core-site.xml、hive-site.xml、hdfs-site.xml。fs.s3.awsAccessKeyIdXXXXXXfs.s3.awsSecretAccessKeyXXXXXX无论如何,在Hive中尝试创建指向S3位置的外部表时,我收到错误:FAILED:SemanticExceptionjava.lang.IllegalArgumentException:AWSAccessKe

hadoop - cloudera垃圾检查点间隔配置

Cloudera允许我配置fs.trash.interval。但它不允许我配置fs.trash.checkpoint.interval。那么hdfs什么时候创建检查点呢?这里有一个类似的问题没有回应:WhendoesHadoopFrameworkcreatesacheckpoint(expunge)toits"current"directoryintrash? 最佳答案 ApacheHadoop文档包括左侧导航中指向各种*-default.xml文件的链接。这些文件包含所有配置属性的默认设置。如果您点击*-default.xml链接

java - 无法在 Cloudera VM 中使用 java(在 Eclipse 中)连接到 hbase

我正在尝试在ClouderaVM中使用Java(在Eclipse中)连接到Hbase,但出现以下错误。能够在命令行中运行相同的程序(通过将我的程序转换为jar)我的java程序`importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.hbase.HBaseConfiguration;importorg.apache.hadoop.hbase.HColumnDescriptor;importorg.apache.hadoop.hbase.HTableDescriptor;importorg.apache.had

hadoop - 无法启动 Cloudera Manager Server,因为 RuntimeException : Upgrade not allowed from CM3. x

我在安装ClouderaManager(5.8.3版)时遇到了问题。我安装了cloudera-manager-agent-5.8.3-1.cm583.p0.8.el6.x86_64,cloudera-manager-server-5.8.3-1.cm583.p0.8.el6.x86_64,CentOS6.564位上的cloudera-manager-daemons-5.8.3-1.cm583.p0.8.el6.x86_64->使用$rpm-Uvh[包名]安装mysql并设置配置文件(/etc/cloudera-manager-server/db.properties)但是我联系了错误信

hadoop - 如何使用 Yarn 在 Cloudera 上添加 Spark 工作节点

我们有cloudera5.2,用户希望开始使用Spark的全部潜力(在分布式模式下,它可以利用HDFS的数据局部性),该服务已经安装并且可以在cloudera管理器状态(在home页面)但是当单击服务然后单击“实例”时,它只显示历史服务器角色,而在其他节点中显示网关服务器角色。根据我对Spark架构的理解,你有一个主节点和工作节点(与HDFS数据节点一起生活)所以在cloudera管理器中我尝试了“添加角色实例”,但只有“网关”角色可用。如何将Sparks工作节点(或执行程序)角色添加到具有HDFS数据节点的主机?还是没有必要(我认为由于yarn,yarn负责创建执行程序和应用程序主机

apache-spark - Kerberos Cloudera Hadoop 的 livy curl 请求错误

在kerberizedCDH5.10.x上配置了livy服务器,它在端口8998上运行良好,但curl请求给出以下错误,curl--negotiate-u:http://xxxxxxx:8998/sessionsError403HTTPERROR:403Problemaccessing/sessions.Reason:GSSException:Novalidcredentialsprovided(Mechanismlevel:FailedtofindanyKerberoscredentails)PoweredbyJetty://无法理解为什么请求没有通过kerberos安全层?