草庐IT

CLOUDERA

全部标签

hadoop - 拆分功能在 Cloudera Impala 中不起作用

当我尝试在ClouderaImpala中使用拆分功能时,我不断收到“拆分未知”的AnalysisException。它似乎是内置函数页面上列出的有效函数。作为引用,我使用Hue与Impala进行交互。有谁知道这个问题的原因吗? 最佳答案 Impala中的以下作品:split_part(stringsource,stringdelimiter,bigintn)文档在这里:https://www.cloudera.com/documentation/enterprise/5-9-x/topics/impala_string_functi

hadoop - hadoop数据复制中的getmerge命令

我的目标是读取目录中所有以“trans”开头的文件并将它们转换为单个文件并将该单个文件加载到HDFS位置我的源目录是/user/cloudera/inputfiles/假设在上述目录中,有很多文件,但我需要所有以“trans”开头的文件我的目标目录是/user/cloudera/transfiles/所以我在下面尝试了这个命令hadoopdfs-getmerge/user/cloudera/inputfiles/trans*/user/cloudera/transfiles/records.txt但是上面的命令不起作用。如果我尝试下面的命令,那么它会起作用hadoopdfs-getme

java - NameNode 地址的 URI 无效

我正在尝试设置一个ClouderaHadoop集群,其中一个主节点包含namenode、secondarynamenode和jobtracker,以及另外两个包含datanode和tasktracker的节点。Cloudera版本为4.6,操作系统为ubuntuprecisex64。此外,此集群是从AWS实例创建的。sshpasswordless也已设置,Java安装Oracle-7。每当我执行sudoservicehadoop-hdfs-namenodestart我得到:2014-05-1405:08:38,023FATALorg.apache.hadoop.hdfs.server.

hadoop - Oozie + Sqoop : JDBC Driver Jar Location

我有一个基于6节点cloudera的hadoop集群,我正在尝试从oozie中的sqoop操作连接到oracle数据库。我已将我的ojdbc6.jar复制到sqoop库位置(对我来说恰好位于:/opt/cloudera/parcels/CDH-4.2.0-1.cdh4.2.0.p0.10/lib/sqoop/lib/)在所有节点上,并已验证我可以从所有6个节点运行简单的“sqoopeval”。现在,当我使用Oozie的sqoop操作运行相同的命令时,我得到“无法加载数据库驱动程序类:oracle.jdbc.OracleDriver”我已阅读thisarticle关于使用共享库,当我们谈

hadoop - YARN UNHEALTHY 节点

在我们80%满的YARN集群中,我们看到一些yarnnodemanager被标记为不健康。在深入研究日志后,我发现它是因为数据目录的磁盘空间已满90%。出现以下错误2015-02-2108:33:51,590INFOorg.apache.hadoop.yarn.server.resourcemanager.rmnode.RMNodeImpl:Nodehdp009.abc.com:8041reportedUNHEALTHYwithdetails:4/4local-dirsarebad:/data3/yarn/nm,/data2/yarn/nm,/data4/yarn/nm,/data1/

java - Hadoop : Provide directory as input to MapReduce job

我正在使用ClouderaHadoop。我能够运行简单的mapreduce程序,我提供一个文件作为MapReduce程序的输入。此文件包含所有其他要由mapper函数处理的文件。但是,我卡在了一点。/folder1-file1.txt-file2.txt-file3.txt如何将MapReduce程序的输入路径指定为"/folder1",以便它可以开始处理该目录中的每个文件?有什么想法吗?编辑:1)首先,我提供了inputFile.txt作为mapreduce程序的输入。它运行良好。>inputFile.txtfile1.txtfile2.txtfile3.txt2)但是现在,我不想提

hadoop - 如何在 Ubuntu 14.04 上挂载 HDFS

所以,我无法在Ubuntu14.04上挂载HDFS。Mucommander不工作,fuse不工作,有人可以用图像解释我或给我一些教程。谢谢,最好的问候。 最佳答案 我今天使用instructionsonClouderasite成功完成了它wgethttp://archive.cloudera.com/cdh5/one-click-install/trusty/amd64/cdh5-repository_1.0_all.debsudodpkg-icdh5-repository_1.0_all.debsudoapt-getupdates

Hadoop JobConf 类已弃用,需要更新示例

我正在编写hadoop程序,我真的不想玩弃用的类。我在网上的任何地方都找不到更新的程序org.apache.hadoop.conf.Configuration类代替org.apache.hadoop.mapred.JobConf类。publicstaticvoidmain(String[]args)throwsException{JobConfconf=newJobConf(Test.class);conf.setJobName("TESST");conf.setOutputKeyClass(Text.class);conf.setOutputValueClass(IntWritabl

hadoop - 从 HDFS 导入数据到 HBase (cdh3u2)

我已经安装了hadoop和hbasecdh3u2。在hadoop中,我在路径/home/file.txt中有一个文件。它有这样的数据one,1two,2three,3我想将这个文件导入到hbase中。其中,第一个字段应解析为字符串,第二个字段应解析为整数,然后应将其插入hbase。帮我做这个a提前致谢.... 最佳答案 我喜欢使用ApachePig来摄取HBase,因为它简单、直接且灵活。这是一个Pig脚本,可以在您创建表和列族后为您完成这项工作。要创建表和列族,您需要:$hbaseshell>create'mydata','myc

hadoop - hdfs - ls : Failed on local exception: com. google.protobuf.InvalidProtocolBufferException:

我正在尝试使用下面的命令在hdfs中列出我的目录:ubuntu@ubuntu:~$hadoopfs-lshdfs://127.0.0.1:50075/ls:Failedonlocalexception:com.google.protobuf.InvalidProtocolBufferException:Protocolmessageend-grouptagdidnotmatchexpectedtag.;HostDetails:localhostis:"ubuntu/127.0.0.1";destinationhostis:"ubuntu":50075;这是我的/etc/hosts文件1