草庐IT

ibm-cloud-infrastructure

全部标签

hadoop - Apache Hadoop 的分析在 IBM Bluemix 中不可见,为什么?

我正在尝试运行HadoopIbmBiginsights,但ibmbluemix不显示。详细信息:我已经注册(免费试用)并登录到ibmbluemix,但不幸的是,在服务类别中,Hadoop分析没有出现在大数据session中。请在此处找到预览。我正在关注thislink练习。 最佳答案 您使用的是英国地区吗?IBMAnalyticsforHadoop服务目前仅在美国南部地区可用。您可以在页面右上角将区域更改为美国南部。 关于hadoop-ApacheHadoop的分析在IBMBluemix

hadoop - 如何从机器内部在 google cloud dataproc 上运行配置单元?

我刚刚创建了一个谷歌云数据处理集群。一些基本的东西对我不起作用:我正在尝试从主节点运行Hive控制台,但它无法加载除root以外的任何用户(看起来有锁,控制台只是卡住了)。但即使在使用root时,我也会看到一些奇怪的行为:“显示表格;”显示名为“输入”的表查询该表会引发一个异常,表示未找到该表。不清楚哪个用户正在通过网络用户界面创建表格。我创建了一个作业并执行了它,但随后没有通过控制台看到结果。找不到关于此的任何好的文档-有人对此有想法吗? 最佳答案 由于默认的Metastore配置,目前运行hive命令有些问题。我建议您使用bee

hadoop - 在 Google Cloud Dataproc 环境中使用 Hadoop 流运行 python map reduce 作业时出错

我想使用hadoop流方法在GoogleCloudDataproc中运行pythonmapreduce作业。我的mapreducepython脚本、输入文件和作业结果输出位于Google云存储中。我试着运行这个命令hadoopjar/usr/lib/hadoop-mapreduce/hadoop-streaming.jar-filegs://bucket-name/intro_to_mapreduce/mapper_prod_cat.py-mappergs://bucket-name/intro_to_mapreduce/mapper_prod_cat.py-filegs://buck

hadoop - 无法在 Google Cloud Dataproc 上启动 Apache Flink 1.7

我使用Hadoop2.9.2启动了Dataproc集群,下载了Flink1.7.2并尝试使用以下命令启动它:./bin/yarn-session.sh-n2失败并显示以下错误消息:SettingHADOOP_CONF_DIR=/etc/hadoop/confbecausenoHADOOP_CONF_DIRwasset.2019-02-1512:56:05,679INFOorg.apache.flink.configuration.GlobalConfiguration-Loadingconfigurationproperty:jobmanager.rpc.address,localho

hadoop - Google Cloud 上的 Hive 无法与 hive 以外的任何用户访问数据

我在Hadoop上运行Hive,并使用bdutil版本1.3.1成功安装在GoogleCloudStorage上。我运行了以下命令:./bdutil-eplatforms/hdp/ambari_env.shdeploy作为hive用户,我可以毫不费力地创建/删除数据库和表:hive>createdatabasedb_finallocation'gs://cip-hadoop-dev-data/apps/hive/warehouse/db_final';OKTimetaken:1.816seconds但是如果我尝试以任何其他用户身份访问数据库,我会收到以下错误:hive>usedb_fi

linux - 运行 hadoop 集群时在 Google Cloud Platform 上获取 'sudo: unknown user: hadoop' 和 'sudo: unable to initialize policy plugin error'

我正在尝试部署Google在https://github.com/GoogleCloudPlatform/solutions-google-compute-engine-cluster-for-hadoop提供的示例Hadoop应用程序在谷歌云平台上。我逐步按照那里给出的所有设置说明进行操作。我能够设置环境并成功启动集群。但是我无法运行MapReduce部分。我正在我的终端上执行这个命令:./compute_cluster_for_hadoop.pymapreduce[--prefix]--inputgs://\--outputgs://\--mappersample/shortest

hadoop - 我可以在没有 IBM Cognos Transformer 的情况下自己编写 mdc 吗?

我想在CognosMDC文件中使用Hadoop/Mapreduce生成cube,但似乎mdc文件只能通过CognosTransformer生成?那么,我可以在没有CognosTransformer的情况下编写MDC文件吗? 最佳答案 你不能自己制作cube,但是如果你想在congosBI中使用hadoop生态系统,你可以使用congosFramework数据源,或者transformer数据源。这可能对你有帮助UsingApacheHadoopinaCognosBIenvironment

hadoop - 如何在使用 Google Cloud Dataproc 启动的 Spark 集群中启用 Snappy 编解码器支持?

尝试从使用GoogleCloudDataproc启动的Spark集群读取Snappy压缩序列文件时,我收到以下警告:java.lang.RuntimeException:nativesnappylibrarynotavailable:thisversionoflibhadoopwasbuiltwithoutsnappysupport.在此上下文中启用Snappy编解码器支持的最佳方法是什么? 最佳答案 遗憾的是,Dataproc的启动图像是在没有Snappy支持的情况下构建的。我已经打开了一个错误来为下一张图片修复这个问题。解决方法

php - git 是否安装在 IBM/AS400 中

我在AS400上运行PHP。Git也可以安装在AS400上吗?我想用它来维护版本控制。 最佳答案 YiPs站点有关于如何让它在PASE中运行的说明。你可以在这里找到它:http://youngiprofessionals.com/wiki/index.php/PASE/OpenSourceBinaries滚动到页面中间或在页面中搜索“Git”。更新我已经写了thisarticle描述如何在IBMi上安装Git。 关于php-git是否安装在IBM/AS400中,我们在StackOverf

php - 通过 pdo_ibm 模块连接到 db2 手动配置错误 SQL10007N -5005

我在使用pdo_ibm连接到远程db2数据库时遇到困难,我按照IBM上的说明配置pdo_ibm库和linux客户端,但是由于我的php不是手动配置的,而是通过apt-get安装的,我不确定当前是否可用错误可能是由于配置错误或其他原因造成的。我的舞台是:Linuxdebian喘息IBMDB2客户端10.5PHP5.4.45pdo_ibm1.4当我尝试使用以下代码连接db2时:PDO::ERRMODE_EXCEPTION));echo"Success";}catch(Exception$e){var_dump($e);}出现以下错误object(PDOException)[2]protec