草庐IT

hadoop - Hbase 分布式模式可以使用本地文件系统代替DFS吗?

我有独立模式下的工作hbase实例。我计划将其迁移到分布式模式(3台机器组成的集群)。我的问题是我可以从独立模式迁移到分布式模式而不丢失独立模式的数据吗?还有分布式模式使用HDFS有必要吗? 最佳答案 (H)adoop(D)分布式(F)文件(S)系统。这是促进分布式Hbase的东西。如果您使用nativeFS,它将不再分发。所以,这不是一个选择。分布式意味着存储(连同计算)分布在所有参与的机器上,这与nativeFS所做的相反。关于您的第一个问题,您可以这样做。从独立模式迁移到分布式模式应该只是从本地磁盘复制到HDFS的问题。自己确

hadoop - SecondaryNameNode 错误 - 锁定/app/hadoop/tmp/dfs/namesecondary/in_use.lock 由 nodename 获取

我刚开始使用Hadoop,在启动SecondaryNameNode(SNN)时遇到问题。我可以从日志中看到以下错误错误:2015-10-2800:26:58,495信息org.apache.hadoop.hdfs.server.common.Storage:锁定/app/hadoop/tmp/dfs/namesecondary/in_use.lock由nodename10496@sam-Notebook下面是我的配置文件,这是因为NameNode和SNN都试图访问/使用相同的tmp目录吗?hdfs-site.xmldfs.datanode.data.dirfile:/home/sam/

hadoop - 信息配置弃用 session ID 已弃用,而是使用 dfs 指标 session ID

我正在尝试设置hadoop2.6.2。几乎一切都已设置。我的Ubuntu版本:15.10我的hadoop路径是/usr/local/hadoop/hadoop-2.6.2java路径为/usr/local/java/jdk1.8.0_65我在/etc/profile中提到了java和hadoop路径我在hadoop-2.6.2/etc/hadoop中编辑了4个文件:core-site.xml、hadoop-env.sh、hdfs-site.xml和mapred-site.xml但是当我尝试从hadoop站点执行以下命令时bin/hadoopjarshare/hadoop/mapredu

hadoop - HUE 查询编辑器给出 "dfs command"错误

对于下面的查询:错误:OKFAILED:ParseExceptionline1:0cannotrecognizeinputnear'dfs''-''cp'有人可以指导我吗? 最佳答案 不要将您的源网址和目标网址放在单引号之间。如下所示:dfs-cppath/to/your/sourcepath/to/your/destination 关于hadoop-HUE查询编辑器给出"dfscommand"错误,我们在StackOverflow上找到一个类似的问题: ht

hadoop - 错误配置 : namenode address dfs. namenode.servicerpc-address 或 dfs.namenode.rpc-address 没有配置

我正在尝试在ec2-instance上安装Hadoop-2.6.0。我下载并安装了Hadoop。我还设置了环境变量。尝试启动hdfs服务时出现以下错误。[ec2-user@ip-10-177-1-69sbin]$./start-dfs.sh配置不正确:namenode地址dfs.namenode.servicerpc-address或dfs.namenode.rpc-address没有配置。在[]上启动名称节点报错:找不到配置目录:/home/ec2-user/hadoop2.6.0/etc/hadoop报错:找不到配置目录:/home/ec2-user/hadoop2.6.0/etc

hadoop - 启动 Hadoop DFS - $HADOOP_HOME/bin/hdfs 中没有这样的文件或目录?

我正在设置单个Hadoop节点,但是在运行$HADOOP_HOME/sbin/start-dfs.sh时它打印出找不到$HADOOP_HOME/bin/hdfs。虽然那个位置的文件存在,但我可以很好地阅读它。从start-dfs.sh脚本记录:root@hadoop:/opt/hadoop-2.7.3#sbin/start-dfs.shError:Couldnotfindorloadmainclassorg.apache.hadoop.hdfs.tools.GetConfStartingnamenodeson[]localhost:startingnamenode,loggingto/

ubuntu - “ubuntu” 用户的 Hadoop start-dfs.sh 权限被拒绝

我正在尝试在Amazonaws上设置一个4节点集群。所有安装、设置和配置都已完成,但在执行“start-dfs.sh”命令时遇到问题。错误信息如下:Startingnamenodeson[ec2-13-126-215-231.ap-south-1.compute.amazonaws.com]ec2-13-126-215-231.ap-south-1.compute.amazonaws.com:Permissiondenied(publickey).datanode2:startingdatanode,loggingto/usr/local/hadoop/logs/hadoop-ubun

hadoop - 无法构建 fuse-dfs 来挂载 HDFS

我的Hadoop版本是2.5.2。我想用fuse挂载Hadoop。我尝试了两种方法,但都失败了。一种方法是:HADOOP_HOME:antcompile-c++-libhdfs-Dlibhdfs=1`.但由于找不到build.xml而失败。另一种方法在hadoop-hdfs/target/native/main/native/fuse-dfs,我执行了make还是没有fuse-dfs。我应该如何构建fuse-dfs才能通过fuse挂载HDFS? 最佳答案 我假设您已经安装了Java和Maven,并且可以构建其他Hadoop组件。之后

Hadoop:start-dfs.sh 抛出语法错误

我试图通过运行./start-dfs.sh来启动hadoop,但是我遇到了一些语法错误。有人可以帮忙吗?Gurupads-MacBook-Air:sbinguru$sudo./start-dfs.shStartingnamenodeson[localhost]/Users/guru/homebrew/Cellar/hadoop/3.1.1/libexec/bin/../libexec/hadoop-functions.sh:line398:syntaxerrornearunexpectedtoken` 最佳答案 错误表明,您正在以r

hadoop - start-dfs.sh,权限被拒绝

hduser@ubuntu:~$start-dfs.shStartingnamenodeson[localhost]localhost:sign_and_send_pubkey:signingfailed:agentrefusedoperationlocalhost:Permissiondenied(publickey,password).Startingdatanodeslocalhost:sign_and_send_pubkey:signingfailed:agentrefusedoperationlocalhost:Permissiondenied(publickey,passw