草庐IT

cloudera-quickstart-vm

全部标签

java - slave VM 从 slaves 列表中删除,并且仍然被 Yarn/Tez 访问

所以我从从属虚拟机列表中删除了vm4,当我运行以下命令时它不会访问它hdfsdfsadmin-report结果是:ubuntu@anmol-vm1-new:~$hdfsdfsadmin-report15/12/1406:56:12WARNutil.NativeCodeLoader:Unabletoloadnative-hadooplibraryforyourplatform...usingbuiltin-javaclasseswhereapplicableConfiguredCapacity:1268169326592(1.15TB)PresentCapacity:1199270457

hadoop - Cloudera 虚拟机 - 增加磁盘大小

我已经在Windows上通过VMPlayer使用Cloudera发行版CDH5.4.0设置了一个虚拟机。当我开始使用虚拟机时,它的大小约为7GB。现在它的大小已增加到大约73GB。我这里说的大小是windows上占用的磁盘大小。它会创建很多vmdk文件,如下所示:-rw-r--r--1user_nameAdminist1554776064Dec1510:37cloudera-quickstart-vm-5.4.0-0-vmware-s001.vmdk-rw-r--r--1user_nameAdminist2003632128Dec1510:37cloudera-quickstart-v

hadoop - Cloudera Manager 健康问题 : NameNode Connectivity, Web 服务器状态

以下是CM上报告的健康问题的快照。列表中的数据节点不断变化。数据节点日志中的一些错误:3:59:31.859PMERRORorg.apache.hadoop.hdfs.server.datanode.DataNodedatanode05.hadoop.com:50010:DataXceivererrorprocessingWRITE_BLOCKoperationsrc:/10.248.200.113:45252dest:/10.248.200.105:50010java.io.IOException:PrematureEOFfrominputStreamatorg.apache.had

hadoop - 连接拒绝快速启动.cloudera :8020

关闭。这个问题需要detailsorclarity.它目前不接受答案。想改进这个问题吗?通过editingthispost添加细节并澄清问题.关闭2年前。Improvethisquestion我正在使用Cloudera-quickstart5.5.0virtualbox尝试在终端上运行它。正如您在下面看到的,有一个异常(exception)。我在Internet上搜索了解决此问题的解决方案并找到了一些东西。1-)配置core-site.xml文件。https://datashine.wordpress.com/2014/09/06/java-net-connectexception-c

java - Docker 和 Cloudera 快速入门 : How to run own jar-file?

我安装了Docker容器并进行了后续步骤:dockerpullcloudera/quickstart:latestdockerimages#notethehashoftheimageandsubstituteitbelowdockerrun--privileged=true\--hostname=quickstart.cloudera\-t-i${HASH}\/usr/bin/docker-quickstart所以,现在我知道了:Cloudera正在运行。但是我看不到任何本地文件,那么如何加载我自己的文件,尤其是jar文件以使用Hadoop运行它? 最佳答案

hadoop - Cloudera 用户不允许在 hadoop 上操作 hdfs 系统

我正在尝试在hdfshadoop文件系统中创建一个文件夹,但它不允许我使用用户cloudera或root创建文件夹。我应该配置什么以使其允许我使用hier是我的尝试:[cloudera@quickstart~]$sudohadoopfs-mkdir/solr/test_coremkdir:Permissiondenied:user=root,access=WRITE,inode="/solr":solr:supergroup:drwxr-xr-x[cloudera@quickstart~]$suPassword:[root@quickstartcloudera]#hadoopfs-mk

java - Cloudera 中的 WordCount 作业成功但 reducer 的输出与 mapper 的输出相同

这个程序是用Cloudera编写的。这是我创建的驱动程序类。importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.Path;importorg.apache.hadoop.io.IntWritable;importorg.apache.hadoop.io.Text;importorg.apache.hadoop.mapreduce.Job;importorg.apache.hadoop.mapreduce.lib.input.FileInputFormat;importorg.apache.hadoo

java - 使用 Cloudera 5.14 和 Spark2 : Livy can't find its own JAR files 配置 Livy

我是Cloudera的新手,正在尝试将工作负载从运行Ambari和Livy和Spark2.2.x的HDP服务器转移到具有类似设置的CDH5服务器。由于Livy不是Cloudera的组件,我使用的是他们网站上的0.5.0-incubating版本,在与YARN、Spark和HDFSmasters相同的服务器之一上运行它。长话短说,当我尝试提交给Livy时,我收到以下错误消息:Diagnostics:Filefile:/home/livy/livy-0.5.0-incubating-bin/rsc-jars/livy-rsc-0.5.0-incubating.jardoesnotexist

hadoop - 通过 VM 安装 Ubuntu 以进行 Hadoop 环境设置

我是Hadoop领域的新手。我想知道设置hadoop环境的系统要求。我的笔记本电脑有4GB内存、1TB硬盘和Windows10操作系统。我的4GBRAM大小可以通过VM安装Ubuntu吗?或者我应该扩展我的RAM大小吗? 最佳答案 至少8GB内存,但我建议使用16GB,因为您需要一些内存用于Windows和所有办公工具。https://fr.hortonworks.com/tutorial/sandbox-deployment-and-install-guide/section/1/ 关

hadoop - Cloudera 管理器在 ubuntu 12.0.4LTS 上安装失败

我尝试在ubuntu上安装最新的cloudera管理器,当我在psuedo分布式模式下安装cluser时,出现以下错误,有人可以建议我该怎么做我确实已经尝试过以下a)禁用iptablesb)将我的etc主机更改为具有以下条目127.0.0.1本地主机127.0.0.1localhost.localdomainlocalhost安装失败。无法从代理接收心跳。Ensurethatthehost'shostnameisconfiguredproperly.Ensurethatport7182isaccessibleontheClouderaManagerserver(checkfirewal