我工作的地方是使用Centrify进行身份验证，并且出于某种原因，当我通过SSH进入系统时，它没有运行.bashrc/.bash_profile。这意味着JAVA_HOME和一堆其他变量在本地通过SSH启动节点时不会被设置。SA在找出原因方面毫无用处，并拒绝将其从我的开发机器中删除。截至目前，我正在尝试运行需要native压缩库的Hadoop实例。所以JAVA_LIBRARY_PATH在SSH进入时没有被设置。由于某种原因，在hadoop-env.sh中设置它不起作用。有没有办法在不使用SSH的情况下以单节点模式运行hadoop？ 最佳答案
我有一个脚本可以将大量文件从本地机器传输到远程机器上的HDFS。在脚本中，它像这样使用ssh:catlocalfile|sshuser@remote'hadoopfs-put-path-to-target-file'由于我有很多文件要传输，在每次传输之前我需要检查是否已经存在一个同名的目标文件，因此每次传输我必须使用两个ssh命令(检查存在，放置).因为建立SSH连接比较耗时，所以想知道有没有什么方法可以让SSH连接保持存活状态，使得在第一次连接成功后，其他ssh命令不再尝试建立新连接，而是直接使用旧连接。此外，我使用了多个进程来进行上传。是否有可能保持多个不同的连接处于事件状态？例如
我试图在gcecentosbox中设置hadoop。但是当我试图将我的公钥从我的服务器复制到客户端[ssh-copy-id-i~/.ssh/id_rsa.pub[USER]@[CLIENT]]时，它抛出权限被拒绝的错误。我尝试了几乎所有在互联网上找到的东西，但没有成功。如果我需要在gce控制台的防火墙中添加任何东西，或者我必须做些什么才能让它工作，有人能建议我吗 最佳答案 常规过程是在本地生成SSHkey，然后将公钥添加到服务器，以便能够通过SSH连接到实例。您似乎在做相反的事情:将key从服务器添加到客户端。为了更好地理解这个问题
我手头有一个非常棘手的情况。我在几个运行Ubuntu12.04的节点上安装Hadoop，我们的IT人员创建了一个用户“hadoop”供我在所有节点上使用。该用户的问题是由于某些安全限制，它不允许在localhost上使用ssh。所以，我根本无法启动Hadoop守护进程。我可以使用“sshhadoop@hadoops_address”连接到自身，但不能使用环回地址。我也无法对/etc/hosts进行任何更改。有没有一种方法可以告诉Hadoop使用“sshhadoop@hadoops_address”而不是“sshhadoop@localhost”通过ssh连接到自身？
我尝试在安装Cygwin后运行ssh-host-config。它因以下错误而失败:$**ssh-host-config**/usr/bin/ssh-host-config:line49:/usr/share/csih/cygwin-service-installation-helper.sh:Nosuchfileordirectory物理文件在路径中可用。我验证了PATH变量，它指向D:\cygwin\bin;D:\cygwin\usr\bin。我还运行了挂载命令:D:/cygwin/binon/usr/bintypentfs(binary,auto)D:/cygwin/libon/u
我已经在Ubuntu机器上安装了Hadoop。我设置了无密码的ssh。我可以使用命令“sshlocalhost”，它无需输入密码即可为我提供信息。但是，当我转到Hadoop并键入“sudobin/start-all.sh”时，它会询问我的密码(因为我使用的sudo很好)，但在我输入密码后，它会做一些事情然后问我对于根密码，我认为它不应该这样做。我已经搜索了几天，但最终只得到了“sshlocalhost”何时不起作用的答案。我还没有找到解决我的问题的任何东西。非常感谢任何帮助。更新:看来我需要sudo无密码ssh，这与无密码ssh不同。但是，我仍然无法找到如何实现这一点。
奇怪的问题:如果我分别在每台机器上使用./zkServer.sh启动它，zookeeper在我的集群上正常工作。但是，当我尝试从主节点远程启动它时:ssh192.168.xxx.xxx"/opt/apache/zookeeper-3.4.5/bin/zkServer.shstart"看起来不错:JMXenabledbydefaultUsingconfig:/opt/apache/zookeeper-3.4.5/bin/../conf/zoo.cfgStartingzookeeper...STARTED但实际上，zookeeper没有在那台机器上运行，这可以通过jps来确认。最奇怪的是:
我基于vmware搭建hadoop集群，使用sbin/start-dfs.sh命令，遇到ssh问题。它说，ssh:Couldnotresolvehostnamenow.:Noaddressassociatedwithhostname我已经使用vi/etc/hosts命令检查主机名和IP地址，以及vi/etc/profile命令。我保证没有错。 最佳答案 一些建议检查hdfs-site.xml中的主机名是否设置正确。如果您使用单主机设置运行，并且将名称节点主机设置为本地主机，则需要确保本地主机映射到/etc/hosts中的127.0.
我正在尝试连接到无法通过HDFS访问的远程hadoop集群。现在它以这种方式使用:用户通过SSH(例如sshuser@somejumboxhost.com)连接到Jumpbox，然后我们也使用ssh(例如sshuser@realhadoopcluster1.com)从jumpbox服务器连接到hadoop。我想做的是使用HDFS客户端从我的Scala/Java应用程序访问文件。现在我感觉就像在Matrix中一样——“我必须更深入”并且不知道如何到达服务器。有没有人有过类似的经历？现在我正尝试从我的应用程序使用SSH客户端连接到第一台服务器，但我不知道如何调用HDFS客户端。任何想法将不
我正在使用亚马逊的弹性map缩减。我正在进入hadoop主节点并执行类似的脚本。$EMR_BIN/elastic-mapreduce--jobflow$JOBFLOW--ssh.它让我进入主节点并运行配置单元脚本。hivescript包含以下几行hiveaddjarjoda-time-1.6.jar;addjarEmrHiveUtils-1.2.jar;和一些创建配置单元表的命令。该脚本运行良好并创建了配置单元表和其他所有内容，但返回到我运行脚本的提示。我如何在配置单元提示符下将它sshed到hadoop主节点。 最佳答案 考虑使用
