草庐IT

hadoop - hadoop 集群上的 gcloud compute 权限不足

我在开发控制台上使用点击部署机制安装了hadoop集群。我对自定义设置做了一些修改,例如机器种类,机器数量。集群已部署。但是现在当我登录到master并运行以下命令时sudogcloudcompute防火墙规则列表我收到错误:权限不足我检查了主节点的权限,我看到了这个:权限用户信息-禁用,计算障碍存储满任务队列-禁用BigQuery-禁用CloudSQL-已禁用云数据存储-禁用云平台-禁用当我启动一个单独的虚拟机时,我可以为这些方面启用它的权限,但是当我启动一个集群时,我不能。这是我在hadoopmaster上看到权限错误的原因吗?如何修复?更多背景:我需要启用防火墙端口,以便我可以使

hadoop - gcloud 控制台指示作业正在运行,而 hadoop 应用程序管理器指示作业已完成

我提交给spark集群的作业没有完成。我看到它永远悬而未决,但是日志显示即使是sparkjetty连接器也已关闭:17/05/2311:53:39INFOorg.spark_project.jetty.server.ServerConnector:StoppedServerConnector@4f67e3df{HTTP/1.1}{0.0.0.0:4041}我在yarn上运行最新的clouddataprocv1.1(spark2.0.2)。我通过gcloudapi提交spark作业:gclouddataprocjobssubmitspark--projectstage--clusterd

python - Hadoop、gcloud 实用程序、Cygwin 中的 bdutils。无连接,无法识别命令

不确定Hadoop论坛在哪里...这似乎是最接近的赌注。我正在尝试设置集群以运行Hortonworks平台,这意味着我需要bdutil正常工作。但是,虽然我可以在引导文件夹中运行install.py脚本,但我无法使任何gcloud或bdutil函数正常工作。我最初认为64位python安装和32位GCSDK之间存在不兼容...所以,安装了32位Python2.7并通过临时删除具有64位安装路径的环境变量来强制Cygwin使用此路径.下面是我的错误日志,以及有关目录内容的信息。将不胜感激。我已经为此奋斗了三天。--KNOWSWHICHPYTHONTOUSE$whichpython/cyg

android - 从 CLI 测试后如何获取 gcloud Firebase 测试实验室 Android Espresso 结果?

我们将TravisCI与FaSTLane结合使用来进行自动化构建和夜间UIEspresso测试。对于仪器测试,我们尝试使用gcloud命令行工具使用Firebase测试实验室。我正在尝试以易于使用的格式获取测试结果,以便我可以在内部向Slack报告,例如有多少测试通过或失败以及哪些测试。./google-cloud-sdk/bin/gcloudbetafirebasetestandroidrun\--typeinstrumentation\--appourapp/app/build/outputs/apk/mock/debug/app-mock-debug-local.apk\--te

windows - Google Cloud SDK 安装程序在 Windows 7 上失败(gcloud 崩溃(UnicodeDecodeError))

我的操作系统是win7。我想安装云SDK。但它“无法安装”。错误消息是:Outputfolder:C:\ProgramFiles(x86)\Google\CloudSDKDownloadingGoogleCloudSDKcore.ExtractingGoogleCloudSDKcore.CreateGoogleCloudSDKbatfile:C:\ProgramFiles(x86)\Google\CloudSDK\cloud_env.batInstallingcomponents.WelcometotheGoogleCloudSDK!ERROR:gcloudcrashed(Unicod

python - 在 Windows 上将自定义 CA 根证书添加到 GCloud 实用程序(或一般的 Python)

我在Windows上使用gcloud来开发GAE的东西。这里的网络在设计上有一个MITM根证书,所以所有的SSL流量都可以被窥探;我可以轻松地将根证书安装到浏览器或Windows证书存储中,但无法成功地为Python或更具体地说是gcloud(捆绑了自己的Python)完成这项工作。答案在HowtoaddacustomCARootcertificatetotheCAStoreusedbyPythoninWindows?不起作用-我已尝试将SSL_CERT_DIR和SSL_CERT_FILE环境变量设置为无效,并且pip.ini解决方案不适用,因为我没有使用pip。

node.js - 无法从 Windows 上的 Node.js 脚本生成 `gcloud app deploy`

我正在构建一个Electron应用程序(Node.js)需要从具有实时反馈(stdin/stdout/stderr)的应用程序生成gcloudappdeploy。我迅速从child_process切换到execa因为我在MacOSX上遇到了一些问题,child_process缓冲区限制为200kb(并且gcloudappdeploy发送了一些大块的字符串>200kb,这导致命令崩溃)。现在,有了execa,一切似乎在OSX上都能正常工作,但在Windows上却不行。代码看起来像这样:letbin=`gcloud${/^win/.test(process.platform)?'.cmd'

docker - 将 Gcloud 与 Vagrant 一起使用

我已经通过ssh连接到我的vagrantminion,安装了GoogleCloudSDK,进行了身份验证,当我运行时:gclouddockerpullredis我得到:ERROR:gcloudcrashed(ValueError):NoJSONobjectcouldbedecoded为什么会这样? 最佳答案 运行:dockerlogin有问题的json文件现在位于:/root/.docker/config.json 关于docker-将Gcloud与Vagrant一起使用,我们在Stac

python - gcloud.exceptions.Forbidden : 403 Missing or insufficient permissions

我是GoogleCloudPlatform的新手。我已经设置了一个GoogleVM实例。运行命令时我在本地机器上遇到身份验证问题:pythonmanage.pymakemigrations能否请您提出一些提示/步骤来解决同样的问题?错误跟踪File"/constants.py",line18,intable_data=datastore_fetch(project_id,entity_kind)File"/datastore_helper.py",line23,indatastore_fetchresults=list(query.fetch())File"/venv/local/li

python - 运行 `gcloud app deploy` 时如何忽略文件?

当我运行时gcloudappdeployapp.yaml实际上传了哪些文件?项目文件夹包含.git、.git_ignore、Makefile或venv等文件夹和文件与已部署的应用程序无关。gcloudappdeploy如何决定上传哪些文件? 最佳答案 tl;dr:您应该使用.gcloudignore文件,而不是app.yaml中的skip_files。虽然前两个答案在app.yaml文件中使用了skip_files。现在有一个.gcloudignore是在使用gclouddeploy或upload命令时创建的。默认值将取决于您正在使