草庐IT

when_start

全部标签

hadoop - 运行 Hadoop/bin/start-all.sh 时名称解析暂时失败

我在SUSELinux上运行Hadoop/bin/start-all.sh时遇到“Temporaryfailureinnameresolution”。我搜索了很多网站寻找问题,但找不到有效的答案。期待您的帮助,谢谢!!它部署在一个相同的机器上,所以在主/从文件中只有一行:localhostsolom@linux87:~/hadoop>bin/hadoopnamenode-format11/07/1217:43:10INFOnamenode.NameNode:STARTUP_MSG:/****************************************************

hadoop - 使用配置单元初始化数据库时出现 java.sql.SQLException : Failed to start database 'metastore_db' ERROR,

我在3个集群上安装了Hadoop和Hive。我能够从运行HIVE的集群节点登录到配置单元。root@NODE_3hive]#hiveLogginginitializedusingconfigurationinjar:file:/usr/lib/hive/lib/hive-common-0.10.0-cdh4.2.0.jar!/hive-log4j.propertiesHivehistoryfile=/tmp/root/hive_job_log_root_201304020248_306369127.txthive>showtables;OKTimetaken:1.459secondsh

MySQL安装 starting the server失败的两种解决办法

目录一.第一种方法,卸载该软件重新安装:1.找到软件MySQLInstaller2.打开找到remove3.移除已安装的MySQLserver,点击next移除。4.再点击add,重新安装。5.选择合适的版本,选好后点击箭头,再next下一步进行安装。如果还是停在startingtheserver失败的话,推荐使用方法二。二.第二种方法,修改系统设置:1.出现startingtheserver失败后,不要动任何设置。2.右键我的电脑,点击管理。3.点击服务和应用程序4.点击服务。5.找到MySQL右键,点击属性。​6.选择登录,选择本地系统账户。7.改好以后,回到安装界面,点击Execute,

oracle - 异常 : Job Failed with status:3 when copying data from Oracle to HDFS through sqoop2

我正在尝试使用Sqoop2将数据从Oracle11g2服务器复制到HDFS。Oracle的链接似乎有效,因为如果我使用无效的凭据,它会提示。定义如下:linkwithid14andnameOLink(Enabled:true,Createdbyxxxat2/9/162:48PM,Updatedbyxxxat2/11/1610:08AM)UsingConnectorgeneric-jdbc-connectorwithid4LinkconfigurationJDBCDriverClass:oracle.jdbc.driver.OracleDriverJDBCConnectionString

java.lang.NoClassDefFoundError : com/google/common when trying to create a Configuration object 错误

我正在尝试从java中与我的HDFS进行交互。当我尝试创建一个新的Configuration对象时配置conf=newConfiguration();我的应用程序抛出这个错误Exceptioninthread"main"java.lang.NoClassDefFoundError:com/google/common/base/Preconditionsatorg.apache.hadoop.conf.Configuration$DeprecationDelta.(Configuration.java:306)atorg.apache.hadoop.conf.Configuration$

hadoop - 为什么我无法访问 http ://hadoop-master:50070 when i define dfs. namenode.http-address

Hadoop版本为2.7.1修改hdfs.xml,添加两个属性:dfs.namenode.http-addressHADOOP-MASTER:50070dfs.namenode.secondary.http-addressHADOOP-SLAVE-1:50090然后重启hadoop集群,但是我无法访问http://hadoop-master:50070.namenode进程还活着。和[hadoop@HADOOP-MASTER~]$lsof-i:50070COMMANDPIDUSERFDTYPEDEVICESIZE/OFFNODENAMEjava26541hadoop184uIPv412

Hadoop 级联 : CascadeException "no loops allowed in cascade" when cogroup pipes twice

我正在尝试编写由两个流程组成的Casacading(v1.2)级联(http://docs.cascading.org/cascading/1.2/userguide/htmlsingle/#N20844):1)第一个流输出urls到数据库表,(其中它们通过自动递增的id值自动分配id)。此流程还将url对输出到SequenceFile中。字段名称为“urlTo”、“urlFrom”。2)第二个流程从这两个来源读取并尝试执行CoGroup在“urlTo”(来自SequenceFile)和“url”(来自数据库源)上获取每个“id”的数据库记录“urlTo”。然后它执行CoGroup在“

hadoop - Spark : Out Of Memory Error when I save to HDFS

我在保存大数据到hdfs时出现OOMEvalaccumulableCollection=sc.accumulableCollection(ArrayBuffer[String]())valrdd=textfile.filter(row=>{if(row.endsWith(",")){accumulableCollection+=rowfalse}elseif(row.length{varvalid=truefor((k,v)我在spark-submit中使用这个:--num-executors2--driver-memory1G--executor-memory1G--executor

Hadoop 安装 : Namenode cannot be started

目前我正在尝试在我的ubuntu14.10(32位utopic)上安装hadoop-2.6.0。我按照这里的说明操作:http://www.itzgeek.com/how-tos/linux/ubuntu-how-tos/install-apache-hadoop-ubuntu-14-10-centos-7-single-node-cluster.html#axzz3X2DuWaxQ但是格式化namenode时,namenode无法启动。这是我在尝试执行hdfs或hadoopnamenode格式时不断收到的信息:15/04/1116:32:13FATALnamenode.NameNod

hadoop - 运行 jps 命令不显示 NameNode 或 Tasktracker ID,虽然它在我使用 start.sh 命令时启动

jps命令应该显示IDJPSNameNodeTaskTrackerJobTracker但我只获得了JPS及其ID。其余部分工作正常。4801Jps为方便起见,我尝试发布屏幕截图,但由于我没有10分或类似的积分,所以不允许。如果有其他方法,如果您需要查看屏幕截图来帮助我解决问题,请告诉我。此致。 最佳答案 如果您已经使用sudo启动了hadoop服务,那么您需要使用sudo权限运行JPS。$sudojps 关于hadoop-运行jps命令不显示NameNode或TasktrackerID,