草庐IT

Hadoop 2.6.1 单节点设置 : Data Node is not up

我尝试根据here中的说明设置Hadoop2.6.1但是我的数据节点没有启动。当我执行JPS时,我只得到以下过程▶jps8406ResourceManager7744NameNode8527NodeManager8074SecondaryNameNode9121Jps数据节点日志:2015-10-0713:02:24,144WARNorg.apache.hadoop.hdfs.server.datanode.DataNode:Invaliddfs.datanode.data.dir/home/vinod/.hadoopdata/hdfs/datanode:EPERM:Operation

hadoop - HBase 区域服务器 : error telling master we are up

我在从属RegionServer的日志中收到以下错误。问题似乎出在regionserver.HRegionServer:reportForDutytomaster=localhost,60000,1397430611631withport=60020master设置为localhost但实际上应该指向master。即使在阅读了文档之后,我也无法弄清楚奴隶是如何弄清楚主人的。完整日志为:2014-04-1404:49:35,939INFO[regionserver60020]regionserver.HRegionServer:CompactionCheckerrunsevery10se

hadoop - Hive managed table drop 不会删除 HDFS 上的文件。任何解决方案?

从hive中删除托管表时,它与hdfs中的关联文件不会被删除(在azure-databricks上)。我收到以下错误:[Simba]SparkJDBCDriverERRORprocessingquery/statement.ErrorCode:0,SQLstate:org.apache.spark.sql.AnalysisException:Cannotcreatethemanagedtable('`schema`.`XXXXX`').Theassociatedlocation('dbfs:/user/hive/warehouse/schema.db/XXXXX)alreadyexis

apache - HRegionServer 显示 "error telling master we are up"。显示套接字异常 : Invalid argument

我正在尝试在3台centos机器上创建一个hbase集群。Hadoop(v-2.8.0)已启动并在我配置的HBase(v-1.2.5)上运行。Hbase启动正常,它启动了HMaster和区域服务器,但它仍然在区域服务器和HMaster日志中显示以下错误它显示没有区域服务器被checkin。2017-04-2019:30:33,950WARN[regionserver/localhost/127.0.0.1:16020]regionserver.HRegionServer:errortellingmasterweareupcom.google.protobuf.ServiceExcept

hadoop - 当使用 alter drop 命令删除分区时,如何从配置单元中删除分区元数据

我已经使用alter命令删除了hive表中的所有分区altertableempdroppartition(hiredate>'0');删除分区后我仍然可以看到分区元数据。如何删除这个分区元数据?我可以为新分区使用同一张表吗? 最佳答案 分区是在创建表时定义的。通过运行ALTERTABLE...DROPPARTITION...,您只是删除了匹配分区的数据和元数据,而不是表本身的分区。此时您最好的选择是重新创建没有分区的表。如果您尝试保存一些数据,请重命名当前表,创建新表(没有分区),然后从旧表运行INSERT到新表。

Hadoop Balancer 失败并显示 - IOException : Couldn't set up IO streams (LeaseRenewer Warning)

我在通过Namenode运行HadoopBalancer时遇到了这个错误。关于破解这个的任何提示。该进程还会阻止当前用户并在发出任何其他命令时给出内存不足错误。14/05/0911:30:05WARNhdfs.LeaseRenewer:Failedtorenewleasefor[DFSClient_NONMAPREDUCE_-77290934_1]for936seconds.Willretryshortly...java.io.IOException:Failedonlocalexception:java.io.IOException:Couldn'tsetupIOstreams;Ho

hadoop - hbase 错误 : "10/12/26 06:48:07 INFO ipc.HbaseRPC: Server at/127.0.0.1:58920 could not be reached after 1 tries, giving up."

有人知道hbase有什么问题吗?我正在为hadoop使用cloudera发行版的vm图像,以前它工作正常但现在当我尝试列出所有表时每秒都会给我这个错误:10/12/2606:48:07信息ipc.HbaseRPC:尝试1次后无法访问位于/127.0.0.1:58920的服务器,放弃。 最佳答案 我在Ubuntu11.10上遇到了同样的问题。默认安装在/etc/hosts中添加了一行,将我的机器主机名与IP127.0.1.1相关联。我将此链接更改为指向127.0.0.1,Hbase开始工作。此外,其他计算机上类似问题的解决方案要么禁用

java - HBASE 错误 : Failed setting up proxy interface org. apache.hadoop.hbase.ipc.HRegionInterface

我目前正在尝试处理HDFS和HBASE。Hadoop和HBASE已正确安装在一台机器上,当托管在同一台机器上时,我的应用程序运行完美。但是在另一台机器上托管时。第一次访问HBASE时,我收到一条错误消息:org.apache.catalina.core.StandardWrapperValveinvokeSEVERE:Servlet.service()forservlet[sitepulsewebsite]incontextwithpath[/SitePulseWeb]threwexception[Requestprocessingfailed;nestedexceptionisjav

oracle - 在 Sqoop 中使用 HCatalog 时,hive-drop-import-delims 不删除换行符

Sqoop在与HCatalog导入一起使用时无法从列数据中删除新行(\n),即使在使用Oracle运行ApacheSqoop时在命令中使用--hive-drop-import-delims选项也是如此。Sqoop查询:sqoopimport--connectjdbc:oracle:thin:@ORA_IP:ORA_PORT:ORA_SID\--usernameuser123--passwordpasswd123-tableSCHEMA.TBL_2\--hcatalog-tabletbl2--hcatalog-databasetestdb--num-mappers1\--split-by

hadoop - apache spark hive 中 Drop 表查询的 ClassCastException

我正在使用以下配置单元查询:this.queryExecutor.executeQuery("Droptableuser")并且出现以下异常:java.lang.LinkageError:ClassCastException:attemptingtocastjar:file:/usr/hdp/2.4.2.0-258/spark/lib/spark-assembly-1.6.1.2.4.2.0-258-hadoop2.7.1.2.4.2.0-258.jar!/javax/ws/rs/ext/RuntimeDelegate.classtojar:file:/usr/hdp/2.4.2.0-