草庐IT

Cloudera-CDH

全部标签

hadoop - 连接拒绝快速启动.cloudera :8020

关闭。这个问题需要detailsorclarity.它目前不接受答案。想改进这个问题吗?通过editingthispost添加细节并澄清问题.关闭2年前。Improvethisquestion我正在使用Cloudera-quickstart5.5.0virtualbox尝试在终端上运行它。正如您在下面看到的,有一个异常(exception)。我在Internet上搜索了解决此问题的解决方案并找到了一些东西。1-)配置core-site.xml文件。https://datashine.wordpress.com/2014/09/06/java-net-connectexception-c

hadoop - CDH5.4 - HADOOP_HOME

我想问一下,CDH5.4的HADOOP_HOME路径是什么? 最佳答案 应该是:/opt/cloudera/parcels/CDH-5.4.0-1.cdh5.4.0.p0.27/lib/hadoop 关于hadoop-CDH5.4-HADOOP_HOME,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.com/questions/36521347/

java - Docker 和 Cloudera 快速入门 : How to run own jar-file?

我安装了Docker容器并进行了后续步骤:dockerpullcloudera/quickstart:latestdockerimages#notethehashoftheimageandsubstituteitbelowdockerrun--privileged=true\--hostname=quickstart.cloudera\-t-i${HASH}\/usr/bin/docker-quickstart所以,现在我知道了:Cloudera正在运行。但是我看不到任何本地文件,那么如何加载我自己的文件,尤其是jar文件以使用Hadoop运行它? 最佳答案

hadoop - Cloudera 用户不允许在 hadoop 上操作 hdfs 系统

我正在尝试在hdfshadoop文件系统中创建一个文件夹,但它不允许我使用用户cloudera或root创建文件夹。我应该配置什么以使其允许我使用hier是我的尝试:[cloudera@quickstart~]$sudohadoopfs-mkdir/solr/test_coremkdir:Permissiondenied:user=root,access=WRITE,inode="/solr":solr:supergroup:drwxr-xr-x[cloudera@quickstart~]$suPassword:[root@quickstartcloudera]#hadoopfs-mk

hadoop - 无法启用 oozie web 控制台

我在RHEL7.2上使用CDH5.7。我点击了以下链接Ooziewebconsole.将ext-2.2复制到/var/lib/oozie后,我将权限更改为755。然后我重新启动了oozie。但它仍然显示OozieWeb控制台已禁用 最佳答案 我找到了答案下载ext-2.2提取并移动到/var/lib/oozie将所有者更改为oozie并应用权限755然后重启oozie 关于hadoop-无法启用oozieweb控制台,我们在StackOverflow上找到一个类似的问题:

hadoop - HBase 预拆分和最大区域大小

我无法找到问题的答案:我想预拆分HBase表,例如在5个地区。我已将配置中的最大文件大小设置为10GB。(当然只是例子)。如果我将所有5个区域都填满表怎么办?HBase会为此创建第6个区域吗?我发现它会自动分成2个区域,但我需要确定和一些解释。感谢大家的回答。 最佳答案 让我们首先讨论一下预拆分。仅当我们知道键的分布时才推荐使用,否则如果数据中存在任何偏差,预拆分可能会导致数据负载不均匀。这是Hbase用于自动和可配置的表分片的一般性质。从ClouderaHbase站点引用:-无论是否使用预分割,当一个区域达到一定限度时,它会自动分

java - Cloudera 中的 WordCount 作业成功但 reducer 的输出与 mapper 的输出相同

这个程序是用Cloudera编写的。这是我创建的驱动程序类。importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.Path;importorg.apache.hadoop.io.IntWritable;importorg.apache.hadoop.io.Text;importorg.apache.hadoop.mapreduce.Job;importorg.apache.hadoop.mapreduce.lib.input.FileInputFormat;importorg.apache.hadoo

java - 使用 Cloudera 5.14 和 Spark2 : Livy can't find its own JAR files 配置 Livy

我是Cloudera的新手,正在尝试将工作负载从运行Ambari和Livy和Spark2.2.x的HDP服务器转移到具有类似设置的CDH5服务器。由于Livy不是Cloudera的组件,我使用的是他们网站上的0.5.0-incubating版本,在与YARN、Spark和HDFSmasters相同的服务器之一上运行它。长话短说,当我尝试提交给Livy时,我收到以下错误消息:Diagnostics:Filefile:/home/livy/livy-0.5.0-incubating-bin/rsc-jars/livy-rsc-0.5.0-incubating.jardoesnotexist

hadoop - StreamSet 能否用于将数据提取到本地系统?

我们的团队正在探索HDFS到本地数据提取的选项。我们被建议使用StreamSet,但团队中没有人对此有任何想法。谁能帮助我了解这是否符合我们将数据从HDFS提取到本地系统的要求?只是一个额外的问题。我在本地设置了StreamSets。例如在本地ip:xxx.xx.x.xx:18630并且它在一台机器上工作正常。但是当我试图从网络上的其他机器访问这个URL时,它不起作用。而我的其他应用程序(如Shiny-server等)使用相同的机制运行良好。 最佳答案 是的-您可以使用StreamSets数据收集器的HadoopFSStandalo

hadoop - 将 parquet-tools 与 Kerberos CDH 结合使用

我正在尝试从parquet文件中发现模式。我尝试使用代码:parquet-toolsschemahdfs://:8020///.parquet但是我得到了错误:SIMPLEauthenticationisnotenabled.Available:[TOKEN,KERBEROS]有谁知道如何在Kerberized环境中使用parquet-tools。我有带权限的keytab,我在knit命令之前运行。 最佳答案 hadoop.security.authentication的配置可以取值SIMPLE或KERBEROS。从你得到的错误来看