草庐IT

vm-cdh-cluster

全部标签

hadoop - 使用 --master yarn-cluster : issue with spark-assembly 运行 spark-submit

我在基于Kerberos的集群上运行Spark1.1.0、HDP2.1。我可以使用--masteryarn-client成功运行spark-submit,并且结果已正确写入HDFS,但是,该作业没有显示在HadoopAllApplications页面上。我想使用--masteryarn-cluster运行spark-submit但我仍然收到此错误:appDiagnostics:Applicationapplication_1417686359838_0012failed2timesduetoAMContainerforappattempt_1417686359838_0012_0000

hadoop - 在 CDH4.0.1 VM 上使用 MRV1 运行 wordcount 示例

我从https://downloads.cloudera.com/demo_vm/vmware/cloudera-demo-vm-cdh4.0.0-vmware.tar.gz下载了VM我发现系统启动后,下面列出的服务正在运行。MRV1服务hadoop-0.20-mapreduce-jobtrackerhadoop-0.20-mapreduce-tasktrackerMRV2服务hadoop-yarn-nodemanagerhadoop-yarn-资源管理器hadoop-mapreduce-historyserverHDFS服务hadoop-hdfs-namenodehadoop-hdf

hadoop - Hive cluster by vs order by vs sort by

据我了解;sortby仅在reducer中排序orderby在全局范围内排序,但将所有内容都推送到一个reducer中clusterby通过键散列智能地将内容分发到reducer中,并按以下方式排序所以我的问题是clusterby保证全局顺序吗?distributionby将相同的键放入相同的reducer,但是相邻的键呢?我能找到的唯一文档是here从这个例子来看,它似乎是在全局范围内订购的。但从定义来看,我觉得它并不总是这样做。 最佳答案 一个简短的回答:是的,CLUSTERBY保证全局排序,前提是您愿意自己加入多个输出文件。较

CDH大数据平台 31Cloudera Manager Console之impala hive负载均衡(markdown新版)

?个人主页:@与自己作战?作者简介:CSDN@博客专家、CSDN@大数据领域优质创作者、CSDN@内容合伙人、阿里云@专家博主?希望大佬们多多支持,携手共进?如果文章对你有帮助的话,欢迎评论?点赞?收藏?加关注⛔如需要支持请私信我,?必支持文章目录一、安装配置haproxy1、安装haproxy2、配置haproxy3、启动haproxy二、配置hive1、修改配置文件2、重新启动hive三、配置i

CDH大数据平台 31Cloudera Manager Console之impala hive负载均衡(markdown新版)

?个人主页:@与自己作战?作者简介:CSDN@博客专家、CSDN@大数据领域优质创作者、CSDN@内容合伙人、阿里云@专家博主?希望大佬们多多支持,携手共进?如果文章对你有帮助的话,欢迎评论?点赞?收藏?加关注⛔如需要支持请私信我,?必支持文章目录一、安装配置haproxy1、安装haproxy2、配置haproxy3、启动haproxy二、配置hive1、修改配置文件2、重新启动hive三、配置i

php - 链接 (CSS) 和脚本不会使用共享文件夹文档根更新我的 VM 上的内容

我已经在我的CentOS6虚拟机上全新安装了Apache和PHP,我还创建了一个共享文件夹并将其用作我的文档根目录。一切正常,我可以访问该网站,做我想做的所有事情,我可以在我的工作站上编辑PHP文件,当在浏览器中测试时,它们会立即更新。然而,当编辑CSS和JavaScript时,“链接”到网站的文件,我遇到了一个奇怪的问题,当对页面进行未缓存的重新加载时,他们不会更新内容,但是会更新内容-长度。因此,如果我向脚本添加了任何内容,它会给我相同的内容,但内容长度会更长,并尝试通过添加未知字符符号(方形问号)来纠正此问题。如果我删除一些相反的事情,它会识别出内容长度较短并开始删除末尾的内容。

php - Mkdir() 的 Vagrant vm + apache 权限被拒绝

我正在使用vagrant来使用ubuntu、apache等运行我的虚拟机。这是在我的OSX主机上运行。一切正常,直到我的php应用程序尝试创建文件夹、该文件夹中的文件等。我得到权限被拒绝。我在vagrant文件的提供/配置中缺少什么? 最佳答案 在这种情况下,如果您使用的是Vagrant+Apache2。解决方案是:编辑/etc/apache2/apache2.conf;搜索User和Group指令将这些行更改为:UservagrantGroupvagrant运行sudoserviceapache2restart无法将/vagran

php - Elasticsearch 报错 No alive nodes found in your cluster

我开始使用Elasticsearch。我在我的服务器上成功安装了Elasticsearch(不同于应用程序服务器)。但是当我尝试从我的应用程序服务器调用Elasticsearch时,它给出了一个错误fatalerror:未捕获异常“Elasticsearch\Common\Exceptions\NoNodesAvailableException”,消息为“在您的集群中找不到事件节点”当我检查Elasticsearch状态时,它显示事件。如何从我的应用程序服务器调用Elasticsearch到我的Elasticsearch服务器。setHosts($hosts)->build();$pa

php - 使用 xDebug 和 PhpStorm 调试 VM

我的工作设置是WindowsXP主机,运行UbuntuVMLAMP堆栈。我正在使用PhpStorm在我的Windows主机上编辑我的代码。保存后,文件会通过SFTP自动上传到VM。除调试外,一切都适用于此过程。我已将PhpStorm设置为具有以下设置的名为“UbuntuVM”的服务器:调试器:-X调试调试session设置:-在第一行中断-等待与idekey的连接:XDEBUG_PHPSTORM发布前:-上传文件到选定的服务器我正在使用带有XdebugHelper的Chrome,并将扩展设置为使用“Other”作为IDE,以“XDEBUG_PHPSTORM”作为键。VM在php.ini

php - Laravel 家园 : "VM not created.. moving on"

我对Laravelhomestead进行了全局安装,编辑了我的~/.homestead/Homestead.yaml文件,并使用homesteadup启动了虚拟机。一切正常,但后来我需要添加另一个站点。我编辑了Homestead.yaml以包含新项目,并尝试运行homesteadprovision以将更改应用到VM。唯一输出的是:==>default:VMnotcreated.Movingon...我将其解释为虚拟机未在运行,但它确实在运行。此处唯一起作用的是homesteaddestroy,然后是homesteadup,但这(从本质上讲)会破坏VM的保存状态。我虽然vagrant命令