草庐IT

hadoop - 执行时间 Cloudera VM

我使用的是具有标准配置的ClouderaVM,当我执行预定义示例时,执行时间相当长。有什么配置可以提高执行时间吗? 最佳答案 尝试向VM添加更多内存和CPU内核。 关于hadoop-执行时间ClouderaVM,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.com/questions/26636895/

hadoop - Cloudera VM,压缩编解码器

我正在准备CLOUDERA认证,有时很难记住Sqoop导入过程中使用的压缩编解码器。例如:org.apache.hadoop.io.compress.SnappyCodec.考试期间不允许我使用谷歌。在考试的时候,有没有办法检索这些信息?目前我使用的是ClouderaQuickstartVM,在Mapred-site.xml中没有找到这个信息。我在哪里可以找到相同的? 最佳答案 我相当确定您可以访问Cloudera文档https://www.cloudera.com/documentation/enterprise/5-14-x/t

java - 如何在预配置hadoop的VM镜像中加载我们自己的java文件

我是Hadoop环境的新手。为了试用示例并了解它,我已经安装了一个预配置的VM,其中包含来自Here的Hadoop环境。我可以运行hadoop中提供的示例。我需要在VM中加载我的数据,并且必须使用hadoop运行它。但我不知道该怎么做,因为VM没有GUI,只有命令行选项。我正在使用Windows7。如果有人帮助我解决这个问题,我将不胜感激。 最佳答案 由于您已经安装了HadoopVM,因此您必须拥有该VM的IP。由于您使用的是Windows,因此请安装软件WinSCP并使用其IP连接到您的VM。然后将您想要的文件从您的Windows

linux - 如何使用终端而不是应用程序在VM中扩展磁盘?

我使用vmwareplayer和“clouderatrainingvm4.1.1.c”。cloudera培训是一种linux和hadoop的结合。我现在试着展开磁盘。首先,我尝试使用第三方软件,比如gparted,但它不在cloudera培训中运行。然后,我试图通过终端,现在我卡住了。我已经创建了一个名为sda3的分区,并试图使sda3获得可用空间并投入使用。它似乎得到了自由空间,但我仍然不能使用这个空间。>[root@localhosttraining]#pvscanPV/dev/sda3lvm2[13.79GiB]Total:1[13.79GiB]/inuse:0[0]/innoV

hadoop - 使用 Cloudera VM 问题运行 Oozie

我在vmware中使用clouderaquickstart来运行示例Oozie。我正在尝试运行Cloudera中的一些Oozie示例。我正在关注此链接:http://archive.cloudera.com/cdh/3/oozie/DG_Examples.html我解压缩了“oozie-examples.tar.gz”并获得了示例目录。运行oozie时,我收到一条错误消息:[cloudera@localhostoozie-3.3.2+92]$ooziejob-ooziehttp://localhost:11000/oozie-configexamples/apps/map-reduce

hadoop - fs.http.address ip 更改后,cloudera vm hadoop Hive 失败

我正在使用ClouderaVM(cdh3u2)作为模拟的分布式文件系统。为了从Web服务器执行文件创建和写入,我更改了fs.http.address属性以指向VMIP。此功能工作正常。当HIVE执行类似mapreduce的作业时,问题就出现了SELECTCOUNT(*)FROMtmp2;我得到的信息是:hive>selectcount(*)fromtmp2;TotalMapReducejobs=1LaunchingJob1outof1Numberofreducetasksdeterminedatcompiletime:1Inordertochangetheaverageloadfora

hadoop - 加载数据时 HDInsight VM 初始化错误

我正在尝试运行thisgettingstartedsample用于将数据加载到我的单节点HDInsighthadoop集群中。当我运行示例时,出现如下所示的错误:c:\Hadoop\GettingStarted>powershell-ExecutionPolicyunrestricted-Fimportdata.ps1w3cAttemptingtoimportscenariow3cPath----C:\Hadoop\GettingStarted\w3cErroroccurredduringinitializationofVMjava.nio.charset.IllegalCharset

linux - 如何在 VM box 中的 Ubuntu Linux 中安装 Hadoop 和 Hive?

我正在使用Windows7操作系统,我想学习Hive和Hadoop。所以我在MyVMBox中安装了Ubuntu13.04版本。当我选择下载Hadoop和Hive时,下面的URL有多个文件要下载你能帮我在Ubuntu框中安装Hive吗?还有其他步骤吗?你有任何步骤吗http://mirror.tcpdiag.net/apache/hadoop/common/hadoop-1.1.2/hadoop-1.1.2-1.i386.rpmhadoop-1.1.2-1.i386.rpm.mdshadoop-1.1.2-1.x86_64.rpmhadoop-1.1.2-1.x86_64.rpm.mds

java - 如何使用hadoop api在vm上运行的hadoop机器上创建目录

我有一个创建目录的java客户端程序,但是当在我的本地机器上执行它创建目录的程序时,即使我已经将fs.defaultFS配置为与core-site.xml匹配的vmurl。这里是创建目录的示例程序。importjava.io.IOException;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.FileSystem;importorg.apache.hadoop.fs.Path;publicclassMkdir{publicstaticvoidmain(Stringar[])throwsIOE

hadoop - 在支持 64 位架构的 Windows 32 中安装 Cloudera VM

我有一个32位Windows操作系统。但是我的系统支持64位架构,我可以这么说,因为当我从VMware网站下载并运行VMWare处理器检查64位兼容性工具时,它显示“此主机能够在此VMWare产品下运行64位guest操作系统”'.那么,使用这个64位架构,我是否能够安装和使用ClouderaVM,然后安装和使用hadoop? 最佳答案 根据评论,您可以继续使用64位,没有任何问题,hadoop将启动并运行。但是,您始终可以返回并下载32位并导入您的VMWare,然后同时导入64位和32位。如果万一您遇到64位的任何问题,那么您可以