草庐IT

VM_Operation

全部标签

bash - 无法在 Cloudera VM for Hadoop 上找到并执行 start-all.sh 和 Stop-all.sh

如何从命令行CDH4--启动/停止服务。我是Hadoop的新手。从Cloudera安装的VM。找不到start-all.sh和stop-all.sh。如果需要,如何停止或启动任务跟踪器或数据节点。这是我在Centos上使用的单节点集群。我没有做任何修改。除此之外,我还看到所有版本的目录结构都发生了变化。我无法在安装的VM上找到这些sh​​文件。[cloudera@localhost~]$stop-all.shbash:stop-all.sh:commandnotfound非常感谢您的支持。 最佳答案 使用Sudosuhdfs启动和停

单节点 vagrant VM 上的 Hadoop - 启动 start-all.sh 时连接被拒绝

我创建了一个vagrant虚拟机并在上面安装了hadoop。只有一个服务器集群。但是当我尝试在机器上启动我的hadoop时,出现以下错误:mkdir:从master/127.0.1.1到localhost:9000的调用在连接异常时失败:java.net.ConnectException:连接被拒绝;有关详细信息,请参阅:http://wiki.apache.org/hadoop/ConnectionRefused还有想法?该机器被命名为master。服务器是Ubuntu。谢谢! 最佳答案 这是因为hdfs节点没有运行goto,cd

hadoop - 在 Cloudera VM 中将数据从 HDFS 加载到 Hive Table

当使用ClouderaVM时,您如何访问HDFS中的信息?我知道没有到HDFS的直接路径,但我也不知道如何动态访问它。通过HiveCLI创建Hive表后,我尝试从位于HDFS中的文件加载一些数据:loaddatainpath'/test/student.txt'intotablestudent;但是我得到了这个错误:FAILED:SemanticExceptionLine1:17Invalidpath''/test/student.txt'':Nofilesmatchingpathhdfs://quickstart.cloudera:8020/test/student.txt我还尝试将

hadoop - Cloudera CDH VM 默认 HADOOP_HOME 位置

ClouderaCDH4VM中的默认HADOOP_HOME位置是什么。echo$HADOOP_HOME返回空白。 最佳答案 /usr/lib/hadoop是CDH4中的默认HADOOP_HOME。关于弃用,HADOOP_PREFIX似乎是HADOOP_HOME的替代品:$HADOOP_HOMEisdeprecated我相信HADOOP_MAPRED_HOME仅用于mapreduce基础设施,如果您直接使用HDFS,那么您可能需要HADOOP_PREFIX。 关于hadoop-Cloude

scala - 当我尝试通过 Cloudera VM 在 spark 中运行 scala 命令时,topology.py 出现语法错误

每次我尝试按照Scala命令运行valdataRDD=sc.textFile("hdfs://quickstart.cloudera:8020/user/cloudera/data/data.txt")dataRDD.collect().foreach(println)//ordataRDD.count()我得到以下异常-exitCodeExceptionexitCode=1:File"/etc/hadoop/conf.cloudera.yarn/topology.py",line43printdefault_rack^SyntaxError:Missingparenthesesinc

java - 如何修复 Hadoop 警告 : An illegal reflective access operation has occurred error on Ubuntu

我已经成功安装了Javaopenjdkversion"10.0.2"和Hadoop2.9.0。所有进程运行良好hadoopusr@amalendu:~$jps19888NameNode20388DataNode20898NodeManager20343SecondaryNameNode20539ResourceManager21118Jps但是每当我尝试执行任何命令时,如hdfsdfs-ls/都会收到此警告hadoopusr@amalendu:~$hdfsdfs-ls/WARNING:AnillegalreflectiveaccessoperationhasoccurredWARNIN

ubuntu - 在 vmware 中从我的 ubuntu 运行 kafka 时无法识别的 VM 选项 '+UseCompressedOops'

我正在使用VMware使用ubuntu我已经在其中安装了hadoop单节点集群。然后我安装了zookeeper并运行了zookeeper。然后当我运行我的“Apachekafka”时它会抛出一个错误。无法识别的VM选项“+UseCompressedOops”无法创建Java虚拟机single@ubuntu:~/yoga/zookeeper-3.4.5/bin$./zkServer.sh开始默认启用JMX使用配置:/home/single/yoga/zookeeper-3.4.5/bin/../conf/zoo.cfg正在启动zookeeper...已启动single@ubuntu:~/

hadoop - 使用主机系统上的客户端访问在 VM 中运行的 HBase

我尝试用客户端程序将一些数据写入hbaseHBase@Hadoop在Cloudera@ubuntu的预配置虚拟机中运行。客户端在托管虚拟机的系统上运行,并直接在虚拟机中运行客户端。所以现在我想用vm外的client访问vm上的server我正在使用NAT。为了能够访问HBaseMaster、HUE等服务器,在虚拟机上运行我在虚拟框中配置了端口转发:因此我可以访问HBaseMaster、HUE的概览站点。在我创建的虚拟机上针对服务器运行客户端hbase-site.xml内容:hbase.zookeeper.quorumlocalhosthbase.zookeeper.property.c

java - spark 返回错误 libsnappyjava.so : failed to map segment from shared object: Operation not permitted

我刚刚将spark1.6.0提取并设置到全新安装的hadoop2.6.0和hive0.14的环境中。我已验证hive、beeline和mapreduce在示例上运行良好。但是,一旦我在spark-shell中运行sc.textfile(),它就会返回一个错误:$spark-shellWelcometo______/__/__________//___\\/_\/_`/__/'_//___/.__/\_,_/_//_/\_\version1.6.0/_/UsingScalaversion2.10.5(JavaHotSpot(TM)64-BitServerVM,Java1.7.0_67)T

hadoop - 在 CDH4.0.1 VM 上使用 MRV1 运行 wordcount 示例

我从https://downloads.cloudera.com/demo_vm/vmware/cloudera-demo-vm-cdh4.0.0-vmware.tar.gz下载了VM我发现系统启动后,下面列出的服务正在运行。MRV1服务hadoop-0.20-mapreduce-jobtrackerhadoop-0.20-mapreduce-tasktrackerMRV2服务hadoop-yarn-nodemanagerhadoop-yarn-资源管理器hadoop-mapreduce-historyserverHDFS服务hadoop-hdfs-namenodehadoop-hdf