草庐IT

cloudera-quickstart-vm

全部标签

hadoop - 在cloudera上安装apache phoenix

我在cloudera上安装apachephoenix时遇到问题。我提到了http://crazyadmins.com/install-and-configure-apache-phoenix-on-cloudera-hadoop-cdh5/和许多其他采用相同方法的人。我的cloudera版本是5.5。我在运行命令时遇到错误:./psql.py:2181../examples/WEB_STAT.sql../examples/WEB_STAT.csv../examples/WEB_STAT_QUERIES.sqlorg.apache.phoenix.exception.PhoenixIOE

macos - Cloudera CDH Mac

我参加了一个将使用ClouderaCDH和Hadoop等的类(class)。类(class)的当前设置涉及使用带有VirtualBox的虚拟机。我只是想知道是否有更快、更有效的程序实现可供我使用。该程序可以以某种方式安装在我的本地环境中吗?(我使用的是带有OSHighSierra的2017MacbookPro) 最佳答案 您可以在您的MacOs中以所谓的伪分布式模式安装Hadoop、Spark、Hive、Pig。它是本地机器上的一个安装,其中“集群”的每个节点都是一个Java虚拟机。起点是Hadoop安装,您可以按照本教程进行操作:

java - Java 库路径 Cloudera 中没有 Hadoop。提交 Java 作业时

我正在尝试运行一个Java程序。Java程序用于记录Hbase中的数据。当我运行代码时,我遇到了javalib路径中没有hadoop的问题。错误如下org.apache.hadoop.util.NativeCodeLoader-Failedtoloadnative-hadoopwitherror:java.lang.UnsatisfiedLinkError:nohadoopinjava.library.path它还会抛出关于kebrorsathuentication的错误org.apache.hadoop.security.authentication.util.KerberosUti

hadoop - cloudera BDR HDFS复制和快照有什么区别

测试Cloudera5.15.1BDR,对HDFS复制与HDFS快照有点混淆。使用BDR,它将HDFS数据和快照复制到DR站点。HDFS复制与快照之间到底有什么区别?具有BDR的HDFS复制在内部如何工作? 最佳答案 snapshotsallowyoutocreatepoint-in-timebackupsofdirectoriesortheentirefilesystemwithoutactuallycloningthedata另一方面,副本是数据副本。关于它们的工作原理,快照对我来说就像是一个Namenode备份——某个时间点的

hadoop - 在 cloudera 5.13.0 服务没有启动

我错误地删除了/var/log/*文件夹,因为服务没有在安装在该特定节点中的Cloudera中启动。并且没有生成日志文件。在clouderamanager中没有明确的错误信息。有人可以建议我如何进一步进行。请找到下图以供您理解。提前致谢。 最佳答案 你需要像这样创建空文件夹sudomkdir-p/var/log/cloudera-scm-agentsudomkdir-p/var/log/hadoop-hdfssudomkdir-p/var/log/cloudera-scm-serversudomkdir-p/var/log/hado

docker - 使用数据初始化 Cloudera Hive Docker 容器

我正在使用此处描述的图像在Docker容器中运行Cloudera套件:https://hub.docker.com/r/cloudera/quickstart/我有以下配置:DockerfileFROMcloudera/quickstart:latestDocker组合文件version:'3.1'services:db-hive:container_name:mobydq-test-db-hiveimage:mobydq-test-db-hiverestart:alwaysbuild:context:.dockerfile:./db-hive/Dockerfileexpose:-10

hadoop - 使用 Cloudera Manager 安装 CDH : No such file or directory

使用CM安装并成功下载和分发所有包裹。但是,所有代理都不会在分发100%完成时解压包裹。检查日志,它说:[21/Nov/201809:53:04+0000]30292MainThreadparcelINFOExecutingcommand['chown','root:yarn',u'/opt/cloudera/parcels/CDH-6.0.1-1.cdh6.0.1.p0.590678/lib/hadoop-yarn/bin/container-executor'][21/Nov/201809:53:04+0000]30292MainThreadparcelINFOchmod:/opt

hadoop - 在不同硬件机器的 VM 之间安装 hadoop 集群

我负责向一群人(假设5个人)教授Hadoop,但没有任何可用的硬件。他们每个人都有一台笔记本电脑,配备相当大的内存和处理器。我想让他们在自己的笔记本电脑之间创建一个Hadoop集群,这些笔记本电脑将连接到同一网络。到目前为止,我的想法是:创建一个预配置了ubuntu16的VM镜像(ubuntu16是我的选择),为集群节点做好准备让他们每个人在自己的计算机上运行虚拟机在此VM网络之上创建集群但是,我有一些锁:1/是否可以创建位于不同机器上的VM的私有(private)网络,以便hadoop集群与链接物理机器的网络隔离?2/这种方法有什么问题?3/有没有更好的方法来处理在不同个人机器之间设

hadoop - 用于cloudera cdh3u2的LZO

带着一些困惑,我阅读了cloudera'sblogpostonlzooncloudera.由于一些许可bs,lzo压缩不是标准hadoop的一部分,好的。但是,是什么阻止了cloudera将其作为其发行版的一部分?还是这件事发生了?简而言之,如何在clouderacdh3u2上进行lzo压缩? 最佳答案 Butwhat'sstoppingclouderafrommakingitpartoftheirdistribution?Orhasthishappened?ApacheHadoop和ClouderaCDH都是released在相同

ubuntu - 权限被拒绝 : u'/opt/cloudera/parcel-cache/CDH-5. 3.3-1.cdh5.3.3.p0.5-precise.parcel.part'

我正在尝试安装具有3个节点的hadoopcloudera集群,所有这些节点都是ubuntu12.04机器。为此,我做了以下事情。我已经在所有机器上创建了hduser,并通过以下命令授予它root权限。sudoaddgrouphadoopsudoadduser--ingrouphadoophdusersudoadduserhdusersudosudosuhduser然后在所有机器上通过以下命令为无密码ssh生成无密码key。机器详细信息:master-1ip:192.168.0.101slave-1ip:192.168.0.102slave-2ip:192.168.0.103命令:ssh