最近在做windows7操作系统的Hadoop环境搭建。但是，我陷入了SSH配置，它阻止了Hadoop的所有剩余工作。我相信这与Hadoop无关，所以任何熟悉SSH的人都可以帮我一个忙。事情是这样的，我正在尝试为两台计算机安装SSH服务，以便任何一台都可以与另一台进行通信。我已经通过cygwin成功为我的PC安装了SSH，它是win7-x64。然而，当我在另一台计算机上重复它时，这是一台win7-x86的服务器，SSH服务器失败，而客户端可以工作，我完全糊涂了。对于我的PC，我安装了cygwin以使用SSH服务。sshlocalhost工作正常。在生成sshkey并将其附加到autho

Hadoop的部分安装需要通过ssh与本地主机的无密码连接。说明很简单$ssh-keygen-tdsa-P''-f~/.ssh/id_dsa$cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys$ssh-vvlocalhostOpenSSH_6.9p1,LibreSSL2.1.8debug1:Readingconfigurationdata/etc/ssh/ssh_configdebug1:/etc/ssh/ssh_configline20:Applyingoptionsfor*debug1:/etc/ssh/ssh_configline102:Ap

我已经建立了一个hadoop集群。问题出在ssh无密码连接上。我的主节点无需密码即可连接到从属节点。但是我的奴隶要求输入密码才能连接到主人。当我删除从属节点中的known_hosts文件时，我无需密码即可连接到主节点。但是在重新启动时，它再次要求我输入密码。有什么想法吗？ 最佳答案 我终于成功地通过无密码ssh连接了master和slave。以下内容可能对该领域的其他开发人员有用:关于主人:ssh-keygenssh-copy-iduser@slave然后从主机连接到从机:sshuser@slave在奴隶上:ssh-keygenss

在Hadoop的文件系统中，我有Excel文件。我的任务是将该文件从Hadoop复制到我的Scala/Spark应用程序中的远程SFTP服务器。我认为直接这样做是行不通的。如果我的担心是正确的，我需要采取后续步骤:1)从Hadoop中删除excel文件到本地目录。例如，我可以使用ScalaDSL来实现:importscala.sys.process._s"hdfsdfs-copyToLocal/hadoop_path/file_name.xlsx/local_path/"!2)从本地目录发送文件到远程SFTP服务器。您可以为这项任务推荐哪种图书馆？我的推理正确吗？解决我的问题的最佳方法

我已经能够很好地使用elastic-mapreduceruby​​库启动工作流程。现在我有一个实例在它的工作完成后仍然“活着”。我已经使用SSH登录并想开始另一项工作，但是我的各种尝试都失败了，因为hadoop找不到输入文件。我试过将输入文件存储在本地和S3上。如何直接从我的SSHsession中创建新的hadoop作业？我尝试的错误:(第一次尝试使用本地文件存储，这是我通过使用SFTP上传文件创建的)hadoopjarhadoop-0.20-streaming.jar\-input/home/hadoop/mystic/search_sets/test_sample.txt\-out

我工作的地方是使用Centrify进行身份验证，并且出于某种原因，当我通过SSH进入系统时，它没有运行.bashrc/.bash_profile。这意味着JAVA_HOME和一堆其他变量在本地通过SSH启动节点时不会被设置。SA在找出原因方面毫无用处，并拒绝将其从我的开发机器中删除。截至目前，我正在尝试运行需要native压缩库的Hadoop实例。所以JAVA_LIBRARY_PATH在SSH进入时没有被设置。由于某种原因，在hadoop-env.sh中设置它不起作用。有没有办法在不使用SSH的情况下以单节点模式运行hadoop？ 最佳答案

我有一个脚本可以将大量文件从本地机器传输到远程机器上的HDFS。在脚本中，它像这样使用ssh:catlocalfile|sshuser@remote'hadoopfs-put-path-to-target-file'由于我有很多文件要传输，在每次传输之前我需要检查是否已经存在一个同名的目标文件，因此每次传输我必须使用两个ssh命令(检查存在，放置).因为建立SSH连接比较耗时，所以想知道有没有什么方法可以让SSH连接保持存活状态，使得在第一次连接成功后，其他ssh命令不再尝试建立新连接，而是直接使用旧连接。此外，我使用了多个进程来进行上传。是否有可能保持多个不同的连接处于事件状态？例如

我试图在gcecentosbox中设置hadoop。但是当我试图将我的公钥从我的服务器复制到客户端[ssh-copy-id-i~/.ssh/id_rsa.pub[USER]@[CLIENT]]时，它抛出权限被拒绝的错误。我尝试了几乎所有在互联网上找到的东西，但没有成功。如果我需要在gce控制台的防火墙中添加任何东西，或者我必须做些什么才能让它工作，有人能建议我吗 最佳答案 常规过程是在本地生成SSHkey，然后将公钥添加到服务器，以便能够通过SSH连接到实例。您似乎在做相反的事情:将key从服务器添加到客户端。为了更好地理解这个问题

我正在尝试从SFTP服务器加载包含225GB(文件数量约为1,75,000)的庞大数据，并将数据复制到HDFS。为了实现上述场景，我们使用了2个处理器。GetSFTP(从SFTP服务器获取文件)已配置处理器->递归搜索=true;使用自然排序=true；远程轮询批量大小=5000；并发任务=32.PutHDFS(将数据推送到HDFS)已配置的处理器->并发任务=3；冲突解决策略=replace;Hadoop配置资源；目录但是一段时间后，数据复制停止并且它的大小在HDFS中没有更新。当我在GetSFTP中将RemotePollBatchSize配置设置为5000->推送到HDFS的总数据

我手头有一个非常棘手的情况。我在几个运行Ubuntu12.04的节点上安装Hadoop，我们的IT人员创建了一个用户“hadoop”供我在所有节点上使用。该用户的问题是由于某些安全限制，它不允许在localhost上使用ssh。所以，我根本无法启动Hadoop守护进程。我可以使用“sshhadoop@hadoops_address”连接到自身，但不能使用环回地址。我也无法对/etc/hosts进行任何更改。有没有一种方法可以告诉Hadoop使用“sshhadoop@hadoops_address”而不是“sshhadoop@localhost”通过ssh连接到自身？