草庐IT

start-dfs

全部标签

hadoop - 使用 start-all.sh 启动 hadoop 进程遇到问题

关闭。这个问题是off-topic.它目前不接受答案。想改进这个问题吗?Updatethequestion所以它是on-topic用于堆栈溢出。关闭10年前。Improvethisquestion我正在使用redhatlinux4.1.2当我尝试使用以下命令启动hadoop时,它要求输入root@localhost密码。我不明白这里要输入什么密码。sreenath@sreenath-pc#sudo-i[root@sreenath-pchadoop-1.1.1]#bin/start-all.shWarning:$HADOOP_HOMEisdeprecated.startingnameno

java - hadoop、 Jersey 和 JBoss : application won't start

首先,我对JBoss几乎一无所知。昨天之前从来没有接触过它,仍然不太了解它。但是,我公司的一位客户正在使用它来部署我们的应用程序,而我们的最新更新破坏了他们的配置,所以我正在努力解决它。无论如何,这是版本信息:Hadoop:2.7.2Jersey:2.3JBoss:6.1操作系统:Windows(我怀疑这是特定于操作系统的,那只是我正在处理的环境)我们最近向我们的应用程序添加了一个Hadoop连接器模块,这似乎是导致失败的原因。我已经能够重现这个问题,这里是堆栈跟踪:13:32:39,857ERROR[org.jboss.msc.service.fail](MSCservicethre

hadoop - 运行 Hadoop/bin/start-all.sh 时名称解析暂时失败

我在SUSELinux上运行Hadoop/bin/start-all.sh时遇到“Temporaryfailureinnameresolution”。我搜索了很多网站寻找问题,但找不到有效的答案。期待您的帮助,谢谢!!它部署在一个相同的机器上,所以在主/从文件中只有一行:localhostsolom@linux87:~/hadoop>bin/hadoopnamenode-format11/07/1217:43:10INFOnamenode.NameNode:STARTUP_MSG:/****************************************************

hadoop - 使用配置单元初始化数据库时出现 java.sql.SQLException : Failed to start database 'metastore_db' ERROR,

我在3个集群上安装了Hadoop和Hive。我能够从运行HIVE的集群节点登录到配置单元。root@NODE_3hive]#hiveLogginginitializedusingconfigurationinjar:file:/usr/lib/hive/lib/hive-common-0.10.0-cdh4.2.0.jar!/hive-log4j.propertiesHivehistoryfile=/tmp/root/hive_job_log_root_201304020248_306369127.txthive>showtables;OKTimetaken:1.459secondsh

MySQL安装 starting the server失败的两种解决办法

目录一.第一种方法,卸载该软件重新安装:1.找到软件MySQLInstaller2.打开找到remove3.移除已安装的MySQLserver,点击next移除。4.再点击add,重新安装。5.选择合适的版本,选好后点击箭头,再next下一步进行安装。如果还是停在startingtheserver失败的话,推荐使用方法二。二.第二种方法,修改系统设置:1.出现startingtheserver失败后,不要动任何设置。2.右键我的电脑,点击管理。3.点击服务和应用程序4.点击服务。5.找到MySQL右键,点击属性。​6.选择登录,选择本地系统账户。7.改好以后,回到安装界面,点击Execute,

hadoop - dfs.blocksize、file.blocksize、kfs.blocksize 等对 hadoop mapreduce 作业有什么影响?

当我查看hadoop(版本0.21.0)mapreduce作业的job.xml文件时,我发现存在多个blocksize设置:dfs.blocksize=134217728(即128MB)file.blocksize=67108864(即64MB)kfs.blocksize=67108864s3.blocksize=67108864s3native.blocksize=67108864ftp.blocksize=67108864我期待一些答案来解释以下相关问题:在这种情况下,dfs、file、kfs、s3等是什么意思?它们之间有什么区别?它们在运行mapreduce作业时有什么影响?非常

hadoop - 为什么我无法访问 http ://hadoop-master:50070 when i define dfs. namenode.http-address

Hadoop版本为2.7.1修改hdfs.xml,添加两个属性:dfs.namenode.http-addressHADOOP-MASTER:50070dfs.namenode.secondary.http-addressHADOOP-SLAVE-1:50090然后重启hadoop集群,但是我无法访问http://hadoop-master:50070.namenode进程还活着。和[hadoop@HADOOP-MASTER~]$lsof-i:50070COMMANDPIDUSERFDTYPEDEVICESIZE/OFFNODENAMEjava26541hadoop184uIPv412

linux - 无法写入 Hadoop DFS 目录模式 775 组权限 UserGroupInformation

我在启用了文件系统权限的私有(private)集群上运行Hadoop2.6.2。集群有密码文件,只有像hadoop这样的系统用户,没有个人账户。我正在从具有像我这样的个人帐户('clott')的linux边缘节点访问DFS。问题是我无法写入模式为775和组hadoop的DFS目录(“共享”);边缘节点显示我是hadoop组的成员。我以为会使用边缘节点上的用户组成员资格,但是没有?这是我看到的:clott@edge$iduid=1003(clott)gid=1003(clott)groups=1003(clott),27(sudo),1001(hadoop)clott@edge$hdfs

linux - 安装和获取当前的 dfs.name.dir 和 dfs.data.dir 值

我没有在hdfs-site.xml文件中设置dfs.name.dir和dfs.data.dir值没有设置。他们会怎样?有趣的是,他们默认接受什么值?(如何接收他们的当前值?) 最佳答案 dfs.name.dir的默认值为${hadoop.tmp.dir}/dfs/data和dfs.data.dir是${hadoop.tmp.dir}/dfs/data。如果hadoop.tmp.dir的值未使用-D选项或配置文件设置,则默认值为/tmp/hadoop-${user.name}user.name是您用来登录系统的用户名。对于所有默认值,

Hadoop 安装 : Namenode cannot be started

目前我正在尝试在我的ubuntu14.10(32位utopic)上安装hadoop-2.6.0。我按照这里的说明操作:http://www.itzgeek.com/how-tos/linux/ubuntu-how-tos/install-apache-hadoop-ubuntu-14-10-centos-7-single-node-cluster.html#axzz3X2DuWaxQ但是格式化namenode时,namenode无法启动。这是我在尝试执行hdfs或hadoopnamenode格式时不断收到的信息:15/04/1116:32:13FATALnamenode.NameNod