我已经解决了这个网站上围绕这个问题的大部分问题,但似乎没有任何帮助。基本上我想做的是通过 Google 提供的 bdutil 脚本在我的 VM 上实例化一个 Hadoop 实例,但是问题似乎与我无法通过 ssh 进入 VM 实例有关。
我已经为此苦苦挣扎了几天,非常感谢您的帮助。
以下是我遵循的步骤:
为了引导您完成这些步骤,我刚刚创建了一个新的 VM
我可以毫无问题地通过开发者控制台进行 SSH
下面是系统信息和操作系统:
uname –a Linux archipelago-vm1 2.6.32-431.20.3.el6.x86_64 #1 SMP Thu Jun 19 21:14:45 UTC 2014
tail/etc/redhat-release tail: inotify 无法使用,恢复到 pollingCentOS release 6.5 (Final)
VM 已设置为允许 http 和 https 连接
在我的 windows 机器上(windows 8.1 专业版) 我删除了所有以前创建的 SSH 文件,以允许创建新文件 我还删除了项目中所有以前创建的 key (那里有很多垃圾,因为我一直在尝试一些方法来让它工作)
然后我使用 gcloud Auth Login 授权给新的 VM
这很好用,我获得了授权并登录了
我可以使用 gcloud compute instances list 查看实例
然后我尝试通过 SSH 连接到实例
它说它正在生成我的 SSH key ,它确实在我的机器和 VM 实例上生成
但是它不能通过 SSH 进入机器 笔记: 我已经尝试过使用密码短语和不使用密码短语,在这种情况下我将其留空
我收到的错误是没有可用的受支持的身份验证方法
当我检查文件时,它们已在两个地方创建 在我的机器上以及元数据/ssh key 部分的项目中
当我比较我机器上的 .pub 文件和虚拟机上的 key 时,这两个 key 是相同的 我还尝试将 key 添加到特定于 vm 实例的 SSH key ,但没有成功
这里有趣的是,当我在我的机器上使用腻子时,我可以毫无问题地登录,使用 C:\Users\cleveen.ssh\google_compute_engine.ppk 文件
所以最初我想,没问题,我将只使用我的 putty,但是当我尝试运行 bdutil 脚本来实例化 Hadoop 时,它给了我错误,我没有通过 gcutil 登录并且不会运行脚本,所以我然后通过开发人员控制台登录,它仍然无法运行(同样的错误)
然后我进入 sshd_config 文件并允许密码登录,为我的帐户设置密码然后 gcloud SSH,允许我通过密码登录没有问题。
然而,当我运行脚本时,它创建了 Hadoop 所需的所有实例和驱动器,但是脚本因 SSH 公钥错误而失败,我永远无法完成它。
不幸的是,我没有这个脚本的日志文件,因为我删除了它们所在的实例;如果查看这些日志对您有帮助,我可以再次执行这些步骤。
然而这一切似乎都与使用 key 文件的SSH进程不起作用有关
如果我可以提供任何其他信息,请告诉我 再次感谢您对此的帮助
最佳答案
所以,听起来这里有几个问题在起作用:
bdutil 仍然使用 gcutil ssh 而不是 gcloud compute ssh(但是升级到使用 gcloud compute ssh 的工作正在进行中),所以即使您可以配置您的本地环境以使 gcloud compute ssh 工作,bdutil 仍然需要 gcutil ssh 才能工作以部署 Hadoop 集群 - 请注意,大多数 情况下,这两个不同的命令功能相同。
从 cmd.exe 或 Putty 运行没有为“gcutil”设置足够的环境;传统上,说明包括安装“cygwin”以提供运行 Google Cloud SDK 工具的 posix 环境。
您可以看到这篇关于“gcutil ssh”需要 cygwin 的相关 stackoverflow 帖子:Unable to run gcutil from command line
因此,如果您确保安装了 cygwin,然后使用 cygwin shell(不是 cmd.exe 或 Putty),您确保“gcutil ssh”在没有密码的情况下工作,那么 bdutil 应该从那时起从 cygwin 开始工作。
一种替代方法是启动一个运行类似 debian-7 的 n1-standard-1 虚拟机作为您的“bdutil runner”,确保点击“高级设置”并启用云存储和计算引擎“服务”帐”。在那个“bdutil runner”中,您可以通过键入来配置它自己的“gcutil ssh”能力
gcutil ssh `hostname`
并在提示您时将密码短语保留为空,然后使用该 VM 运行您的部署。
关于hadoop - 无法通过 SSH 连接到 VM,导致使用 bdutil 安装 Hadoop 出现问题,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/25923225/
我正在学习如何使用Nokogiri,根据这段代码我遇到了一些问题:require'rubygems'require'mechanize'post_agent=WWW::Mechanize.newpost_page=post_agent.get('http://www.vbulletin.org/forum/showthread.php?t=230708')puts"\nabsolutepathwithtbodygivesnil"putspost_page.parser.xpath('/html/body/div/div/div/div/div/table/tbody/tr/td/div
我有一个Ruby程序,它使用rubyzip压缩XML文件的目录树。gem。我的问题是文件开始变得很重,我想提高压缩级别,因为压缩时间不是问题。我在rubyzipdocumentation中找不到一种为创建的ZIP文件指定压缩级别的方法。有人知道如何更改此设置吗?是否有另一个允许指定压缩级别的Ruby库? 最佳答案 这是我通过查看rubyzip内部创建的代码。level=Zlib::BEST_COMPRESSIONZip::ZipOutputStream.open(zip_file)do|zip|Dir.glob("**/*")d
类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc
很好奇,就使用rubyonrails自动化单元测试而言,你们正在做什么?您是否创建了一个脚本来在cron中运行rake作业并将结果邮寄给您?git中的预提交Hook?只是手动调用?我完全理解测试,但想知道在错误发生之前捕获错误的最佳实践是什么。让我们理所当然地认为测试本身是完美无缺的,并且可以正常工作。下一步是什么以确保他们在正确的时间将可能有害的结果传达给您? 最佳答案 不确定您到底想听什么,但是有几个级别的自动代码库控制:在处理某项功能时,您可以使用类似autotest的内容获得关于哪些有效,哪些无效的即时反馈。要确保您的提
假设我做了一个模块如下:m=Module.newdoclassCendend三个问题:除了对m的引用之外,还有什么方法可以访问C和m中的其他内容?我可以在创建匿名模块后为其命名吗(就像我输入“module...”一样)?如何在使用完匿名模块后将其删除,使其定义的常量不再存在? 最佳答案 三个答案:是的,使用ObjectSpace.此代码使c引用你的类(class)C不引用m:c=nilObjectSpace.each_object{|obj|c=objif(Class===objandobj.name=~/::C$/)}当然这取决于
我正在尝试使用ruby和Savon来使用网络服务。测试服务为http://www.webservicex.net/WS/WSDetails.aspx?WSID=9&CATID=2require'rubygems'require'savon'client=Savon::Client.new"http://www.webservicex.net/stockquote.asmx?WSDL"client.get_quotedo|soap|soap.body={:symbol=>"AAPL"}end返回SOAP异常。检查soap信封,在我看来soap请求没有正确的命名空间。任何人都可以建议我
关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题?更新问题,以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点?我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等),但我确实想创建一个输出文件。
我在从html页面生成PDF时遇到问题。我正在使用PDFkit。在安装它的过程中,我注意到我需要wkhtmltopdf。所以我也安装了它。我做了PDFkit的文档所说的一切......现在我在尝试加载PDF时遇到了这个错误。这里是错误:commandfailed:"/usr/local/bin/wkhtmltopdf""--margin-right""0.75in""--page-size""Letter""--margin-top""0.75in""--margin-bottom""0.75in""--encoding""UTF-8""--margin-left""0.75in""-
我在我的项目目录中完成了compasscreate.和compassinitrails。几个问题:我已将我的.sass文件放在public/stylesheets中。这是放置它们的正确位置吗?当我运行compasswatch时,它不会自动编译这些.sass文件。我必须手动指定文件:compasswatchpublic/stylesheets/myfile.sass等。如何让它自动运行?文件ie.css、print.css和screen.css已放在stylesheets/compiled。如何在编译后不让它们重新出现的情况下删除它们?我自己编译的.sass文件编译成compiled/t
我想将html转换为纯文本。不过,我不想只删除标签,我想智能地保留尽可能多的格式。为插入换行符标签,检测段落并格式化它们等。输入非常简单,通常是格式良好的html(不是整个文档,只是一堆内容,通常没有anchor或图像)。我可以将几个正则表达式放在一起,让我达到80%,但我认为可能有一些现有的解决方案更智能。 最佳答案 首先,不要尝试为此使用正则表达式。很有可能你会想出一个脆弱/脆弱的解决方案,它会随着HTML的变化而崩溃,或者很难管理和维护。您可以使用Nokogiri快速解析HTML并提取文本:require'nokogiri'h