草庐IT

Cloudera-Manager-Installation

全部标签

docker - Cloudera 管理器未运行

我正在尝试在GCP上使用以下docker镜像安装Cloudera:https://www.cloudera.com/documentation/enterprise/5-6-x/topics/quickstart_docker_container.html一旦该过程完成,我将运行以下命令:sudodockerrun--name=quickstart.cloudera--hostname=quickstart.cloudera-d--privileged=true-t-i-p7180:7180-p50070:50070-p80:80-p8888:8888cloudera/quicksta

solr - Hadoop 创建一个索引并将其添加到分布式 SOLR 中……这可能吗?我应该使用 Nutch 吗? ..Cloudera?

我可以使用MapReduce框架创建索引并以某种方式将其添加到分布式Solr中吗?我有大量信息(日志文件和文档)将通过互联网传输并存储在我的数据中心(或亚马逊)中。它需要通过我们复制的Solr安装进行解析、索引和最终搜索。这是我提出的架构:使用MapReduce框架(Cloudera、Hadoop、Nutch,甚至DryadLinq)为索引准备这些文档将这些文档索引为Lucene.NET/Lucene(java)兼容的文件格式将该文件部署到我所有的Solr实例激活那个复制的索引如果可以的话,我需要选择一个MapReduce框架。由于Cloudera是供应商支持的,并且有大量补丁未包含在

hadoop - 如何通过 Cloudera Manager 启用 webhdfs?

Cloudera将webhdfs滚动到最新的cd3u4,但我无法找到可以启用此功能的位置。我意识到有一个条目dfs.webhdfs.enabled您可以在hdfs-site.xml中手动编辑。在cdh3发行版中,是否有一个安全的地方可以放置dfs.webhdfs.enabled配置?有人可以帮我指出正确的方向吗? 最佳答案 如果你想使用WebHDFS,你必须先启用它。如何?在conf/hdfs-site.xml中设置以下属性:dfs.webhdfs.enabledtrue注意:如果要在安全集群中使用WebHDFS,则必须设置其他属性

hadoop - Cloudera-Agent 给出错误 - 'Hostname is invalid; it contains an underscore character.'

我正在尝试使用Cloudera-Manager安装程序在4个虚拟机上设置一个HBase集群(按照安装指南中的建议)。Cloudera-Manager版本为4.6.1,CDH版本为4.3,操作系统为CentOS-6.4。但是在安装包裹并且云时代代理尝试启动之后,报告以下错误:'主机名无效;它包含一个下划线字符。来自/usr/lib64/cmf/agent/src/cmf/agent.py:315.我可以在agent.py的第315行看到一个下划线('_')检查主机名。交叉检查了我们之前的CDH3.4设置,没有这样的验证。开发人员/用户是否可以确认检查是否相关以及下划线('_')是否未在C

hadoop - Cloudera Docker 镜像......一切都出错了

我正在运行16GB的Macbookpro和ElCapitan操作系统。我使用安装了clouderadocker镜像dockerpullcloudera/quickstart:latestdockerrun--privileged=true--hostname=quickstart.cloudera-t-i9f3ab06c7554/usr/bin/docker-quickstart图像启动正常,我可以看到大多数服务正在启动StartedHadoophistoryserver:[OK]startingnodemanager,loggingto/var/log/hadoop-yarn/yar

eclipse - cloudera hadoop : caused by: java. lang.ClassNotFoundException : org. apache.htrace.core.Tracer$Builder

我只是按照教程运行了一个示例程序:http://web.stanford.edu/class/cs246/homeworks/tutorial.pdf出现以下错误:SLF4J:Failedtoloadclass"org.slf4j.impl.StaticLoggerBinder".SLF4J:Defaultingtono-operation(NOP)loggerimplementationSLF4J:Seehttp://www.slf4j.org/codes.html#StaticLoggerBinderforfurtherdetails.16/10/2421:48:18WARNuti

hadoop - Quickstart VM Cloudera parcel 无法启动

我无法理解ClouderaQuickstartVM的某些内容。让我尝试通过概述到目前为止的步骤来进行解释。我想使用Kafka编写一些东西来连接到网络服务并获取数据源。我将使用Cloudera5.5quickstartVM作为我的Playground。我需要从包裹中安装CDH,然后才能获得Kafka。通过https://community.cloudera.com/t5/Apache-Hadoop-Concepts-and/cloudera-manager-5-4-0-installing-kafka-parcel-fails/td-p/30615我在ClouderaVM的桌面上看到一个

hadoop - MapR 架构与 Cloudera 架构

我熟悉Cloudera的基础设施或架构:Master节点包括NameNode、SecondaryNameNode、JobTracker、HMaster。从节点包括DataNode、TaskTracker、HRegionServer。Master节点应该都在自己的节点上(除非它是一个小集群,而不是SecondaryNameNode,JobTracker和HMaster可以组合,如果它是一个非常小的集群甚至是NameNode)。从节点应始终位于同一节点上。从节点越多越好。SecondaryNameNode用词不当,除非您为高可用性启用它。MapR是否维护此设置?它有何相似之处和不同之处?

java - Apache Spark : TaskResultLost (result lost from block manager) Error On cluster

我在Virtualbox上有一个带有3个从节点的Spark独立集群。我的代码在Java上,它可以很好地处理我的小输入数据集,它们的输入总共大约100MB。我将我的虚拟机RAM设置为16GB,但是当我在大输入文件(大约2GB)上运行我的代码时,在我的reduce部分处理数小时后出现此错误:Jobabortedduetostagefailure:Totalsizeofserializedresultsof4tasks(4.3GB)isbiggerthanspark.driver.maxResultSize`我编辑了spark-defaults.conf并为spark.driver.maxR

hadoop - Cloudera 支持 docker 容器或 Docker 支持 CM 5 图像

最近我的组织正在考虑使用Docker。我们组使用的是clouderaCDH5.1.2。1)cloudera是否与Docker容器兼容?2)docker和cloudera组合是否存在已知问题?我在这个论坛上找不到任何关于docker的话题。任何指针都会有所帮助。谢谢,阿米特 最佳答案 已发布Cloudera的官方答复here:Ireadthroughwhatdockeris,yesterday.Idonotthinkthishasbeentested,thereareanumberofplatformvirtualizationpro