草庐IT

cloudera-quickstart-vm

全部标签

hadoop - 在docker上的Cloudera QuickStart中扩展HDFS内存

我尝试使用ClouderaQuickStartDockerImage,但hdfs上似乎没有可用空间(0字节)。启动容器后dockerrun--hostname=$HOSTNAME-p80:80-p7180:7180-p8032:8032-p8030:8030-p8888:8888-p8983:8983-p50070:50070-p50090:50090-p50075:50075-p50030:50030-p50060:50060-p60010:60010-p60030:60030-p9095:9095-p8020:8020-p8088:8088-p4040:4040-p18088:18

hadoop - 安装cloudera manager后无法执行任何hadoop命令

我已经成功地设置了我的cdh集群(5.14.0),其中包括4个节点,并安装了包括hdfs、yarn、zookeeper和impala在内的服务。cloudera管理器网页工作正常。但是当我打开一个终端并尝试运行任何hadoop命令时,比如hadoop、impala或任何东西,shell提示“找不到命令”。我使用hadoop用户安装了CM,并使用默认用户cloudera-scm在singer用户模式下运行所有​​服务。我知道CM应该为我设置环境变量,但似乎没有。非常感谢您的帮助! 最佳答案 确保从cloudera管理器服务器下载CDH

azure - 从本地机器访问 azure vm 中的 spark docker

Sparkdocker安装在azurevm(centos7.2)中,我想从我的本地机器(Windows)访问hdfs。我在Windows中运行curl-i-v-Lhttp://52.234.XXX.XXX:50070/webhdfs/v1/user/helloworld.txt?op=OPEN,异常是$curl-i-v-Lhttp://52.234.XXX.XXX:50070/webhdfs/v1/user/helloworld.txt?op=OPEN*timeoutonnamelookupisnotsupported*Trying52.234.XXX.XXX...*TCP_NODEL

mysql - 在 Cloudera 中使用 sqoop 将数据从 HDFS 导出到 mysql 时作业失败

我正在导出HDFS位置/user/training/sqoop_import/departments_export目录中存在的departments_export文件的HDFS数据。以下是文件中的记录。2,Fitness3,Footwear4,Apparel5,Golf6,Outdoors7,FanShop8,Development1000,Admin1001,Books我想将数据导出到名为departments_export(department_idint,department_namevarchar)的mysql表中。此表已包含以下数据mysql>select*fromdepar

Hadoop 分布式缓存 (Cloudera CH3)

我正在尝试使用二进制可执行文件和缓存存档,它似乎不起作用:我尝试运行的示例有一个生成三个随机double和一个key,reducer将对这三个进行平均数字在一起并记录平均值。非常简单的东西。我写了一个c中的简单EXE会生成随机数:#include#include#includeintmain(intargc,char*argv[]){srand(time(NULL));intrand1=rand()%10+1;intrand2=rand()%10+1;intrand3=rand()%10+1;printf("%s,%f,%f,%f",argv[1],(float)rand1/5,(fl

java - Cloudera Hadoop VM 没有eclipse

我刚刚为VirtualBox和VMWarePlayer下载了最新的Cloudera虚拟机并启动了它们。https://ccp.cloudera.com/display/SUPPORT/Cloudera%27s+Hadoop+Demo+VM但是,除了安装hadoop之外,它们不再包含任何东西(如eclipse等)。我清楚地记得我曾经尝试过clouderaVM,其中包含整个安装的预配置示例、示例数据、eclipse等。我在这里进行了验证:http://www.philippeadjiman.com/blog/2009/12/07/hadoop-tutorial-part-1-setting

hadoop - Apache HBase 和 Cloudera HBase 兼容吗?

在工作中我们正在尝试做以下事情:通过Amazon运行ElasticMapReduce作业,将Hadoop卡住在0.20.205版本将输出写入运行在EC2上的HBase,特别是来自Cloudera的0.92.1-cdh4.0.1到目前为止,我发现当我在Hadoop作业(通过maven打包)中使用ApacheHBase0.92.1时,我的WordCount测试似乎有效。我担心这是意外工作,随着我的使用成熟,它可能会崩溃。但是,当我在我的Hadoop作业中打包HBase0.92.1-cdh4.0.1时,我得到一个ClassNotFoundException:https://emr-qa.ev

hadoop - com.cloudera.sqoop.SqoopOptions 与 org.apache.sqoop.SqoopOptions 之间有什么区别吗?

Iamnewinsqoop.Actualiamusedsqoopimport&exportthroughcommandlinearguments.Butnowiamtryingtoimplmentwithjava.IgotcompiletimeerrorwhencallingexpTool.run(sqoopoptions)whenusingtheorg.apache.sqoop.SqoopOptionspackage.Ifiamtryingtouseclouderapackageinsteadofapachesqooppackage.thereisnocompiletimeexecp

hadoop - 如何在cloudera上通过CLI连接到hive

我们从HUE运行CDH4.1.1/BeeswaxHive运行良好,/beeswax/tables显示所有表。我想使用hiveCLI列出所有表:overlord@overlord-datanode1:~$hiveLogginginitializedusingconfigurationinfile:/etc/hive/conf.dist/hive-log4j.propertiesHivehistoryfile=/tmp/overlord/hive_job_log_overlord_201211280646_1426149164.txthive>SHOWTABLES;OKTimetaken:

hadoop - 如何使用cloudera演示虚拟机设置hadoop集群

cloudera有演示虚拟机https://ccp.cloudera.com/display/SUPPORT/Demo+VMs我有5个演示虚拟机,如何使用它们设置hadoop集群?我不想使用clouderamanager,因为它总是会导致失败,它告诉您无法获得心跳,我已经尝试了很多次并放弃了。cloudera没有显示如何使用演示虚拟机设置集群。谁能告诉我? 最佳答案 观看这些视频,了解如何创建CDH群集,这并不难。https://www.youtube.com/watch?v=sCYOQufLzvUhttps://www.youtu