我目前有3台机器，所有bootcampedmac都运行Ubuntu，我正在尝试使用CDH5将它们设置为Hadoop集群。在使用安装程序向导时，当它“检查主机的正确性时，我得到如下所示的错误.检查器在所有主机上都失败了，它说IOExceptionthrownwhilecollectingdatafromhost:Connectionrefused在设置机器时，我在运行cloudera管理器安装程序之前做的唯一一件事就是启用ssh。在主机文件中都有本地主机和我的用户在127.0.0.1关于为什么连接被拒绝或者我可以做些什么来修复它有什么想法吗？ 最佳答案
我有一个由两台主机配置的集群-我正在运行的作业似乎正在创建大量日志，并且我的一个hdfs数据节点显示严重的健康问题为-四件事:如何清理这些日志并腾出空间？从/var/log/hadoop-hdfs手动删除它们是个好主意吗？如上/var/log/hadoop-hdfs目录只有610MBhdfs的空间在哪里被占用？如何配置日志文件以定期删除？我有HDFS、Spark和YARN-MR2服务已启动并正在运行，它们都在创建自己的日志。我也想清理那些。谢谢! 最佳答案 深入研究hdfs之后-要获取哪个目录的大小，请执行:hadoopfs-du-
我正在尝试构建不同大小的集群，这就是为什么我需要可以从中计算namenode、yarn和资源管理器的RAM、CPU和磁盘内存的公式。还想知道RAM、CPU和磁盘之间的关系。 最佳答案 您可以使用Cloudera指南Download 关于hadoop-我想知道(公式)如何计算namenode、yarn和ResourceManager的RAM、CPU和磁盘内存，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.co
我在用yarn提交spark作业jar时遇到问题。当我使用--masteryarn-client提交它时，它运行良好并给我预期的结果命令如下；./spark-submit--classmain.MainClass--masteryarn-client--driver-memory4g--executor-memory4g--num-executors4--executor-cores2job.jar其他选项但是当提交到集群模式时同样不起作用；命令如下;./spark-submit--classmain.MainClass--masteryarn--deploy-modecluster-
我正在开发一个自定义加载函数，以便在Dataproc上使用Pig从Bigtable加载数据。我使用从Dataproc获取的以下jar文件列表编译我的java代码。当我运行以下Pig脚本时，它在尝试与Bigtable建立连接时失败。错误信息是:Bigtabledoesnotsupportmanagedconnections.问题:是否有解决此问题的方法？这是一个已知问题吗？是否有解决或调整的计划？是否有不同的方法将多重扫描作为Pig的加载函数来实现并与Bigtable一起工作？详细信息:Jar文件:hadoop-common-2.7.3.jarhbase-client-1.2.2.jar
我正在使用SparkDataframeAPI从NFS共享加载/读取文件，然后将该文件的数据保存/写入HDFS。我有一个包含一个主节点和两个工作节点的三节点Spark集群。我的Spark集群使用YARN作为集群管理器，因此两个工作节点是YARNNodeManager节点，主节点是YarnResourceManager节点。我有一个远程位置，比如/data/files，它安装到所有三个YARN/SPARK节点，因为它是[/data/files]，其中存在我想要读取的所有csv文件[多个]从并最终写入HDFS。我在我的主节点上运行以下代码importjava.io.Fileimportorg
我编写了一个Spark应用程序，它读取一些CSV文件(~5-10GB)，转换数据并将数据转换为HFiles。数据从HDFS读取并保存到HDFS。当我在yarn-client中运行应用程序时，一切似乎都工作正常模式。但是当我尝试以yarn-cluster运行它时应用程序，进程似乎没有运行最终saveAsNewAPIHadoopFile对我已转换并准备好保存的RDD采取行动!这是我的SparkUI的快照，您可以在其中看到所有其他作业都已处理:以及相应的阶段:这是我应用程序的最后一步，其中saveAsNewAPIHadoopFile方法被调用:JavaPairRDDcells=...try{
我正在使用具有以下主机名的ubuntu本地计算机并尝试设置clouderaHadoopDistributionCDH5。chaithu@localhost:~$hostnamelocalhostchaithu@localhost:~$hostname-flocalhostchaithu@localhost:~$sshchaithu@localhostWelcometoUbuntu16.04.2LTS(GNU/Linux4.8.0-36-genericx86_64)*Documentation:https://help.ubuntu.com*Management:https://land
如何查询AzureHDInsightHadoop集群中的时间线服务器以获取作业指标？连接到Azure集群:curl-uadmin-sS-G"https://$CLUSTERNAME.azurehdinsight.net/api/v1/clusters/$CLUSTERNAME"连接到时间线服务器:GET/ws/v1/timeline/我需要一个连接这两个的查询来获取AzureHDInsightHadoop集群的作业指标。提前致谢。 最佳答案 查询Yarn时间线服务器:sshuser@clustername:~$curl-uadmin
使用CM安装并成功下载和分发所有包裹。但是，所有代理都不会在分发100%完成时解压包裹。检查日志，它说:[21/Nov/201809:53:04+0000]30292MainThreadparcelINFOExecutingcommand['chown','root:yarn',u'/opt/cloudera/parcels/CDH-6.0.1-1.cdh6.0.1.p0.590678/lib/hadoop-yarn/bin/container-executor'][21/Nov/201809:53:04+0000]30292MainThreadparcelINFOchmod:/opt
