草庐IT

hawq_init

全部标签

hadoop - 来自 Ambari 的 HAWQ 服务检查失败

我们有小型Hadoop-Hawq集群。在那,当我执行HAWQ服务的检查时,从属主机服务失败。从AmbariUI获取以下错误:**stderr:**Traceback(mostrecentcalllast):File"/var/lib/ambari-agent/cache/stacks/PHD/3.0/services/HAWQ/package/scripts/service_check.py",line9,inHAWQServiceCheck().execute()File"/usr/lib/python2.6/site-packages/resource_management/lib

hadoop - 建立在 HDFS 之上的 Apache HAWQ 安装

我想安装基于Hadoop的ApacheHAWQ。在安装HAWQ之前,我应该安装Hadoop并配置我所有的节点。我有四个节点如下,我的问题是一样的。我应该为hawq-master安装一个hadoop发行版吗?1.hadoop-master//namenode,SecondaryNamenode,ResourceManager,HAWQStandby,2.hawq-master//HAWQMaster3.datanode01//Datanode,HAWQSegment4.datanode02//Datanode,HAWQSegment如上我在节点旁边写了每个节点的作用。在我看来,我应该为h

postgresql - 关于 hawq pxf 访问 hdfs 上的文件数据

在我部署了hdfs、mapreduce、hawq、pxf和ambari之后,我使用impala-tpcds-kits在hdfs上生成了大约10G数据。但是当我用用户postgres登录Postgres时,我不能使用命令行CREATEEXTERNALTABLE来索引hdfs上的数据。当我使用psqlhelp命令时,没有关键字CREATEEXTERNALTABLE。不知道为什么?Lastlogin:ThuAug2515:08:152016from192.168.1.50[root@hadoop-m-21~]#supostgresbash-4.1$psqlpsql(8.4.20)Type"h

json - 使用关键 HAWQ 的数据即服务

我们有一个要求,我们需要将HAWQ的数据作为一个RESTfulAPI以JSON格式提供给许多消费者,例如具有Web服务安全性的移动应用程序、Web应用程序等;基本上数据即服务来自数据湖的不同应用程序.您能否帮助我们提供详细的架构或一些相同的指示。我们正在使用PivotalHD3.0 最佳答案 我想说您可以使用任何应用程序来开发您的网络服务(即:spring)并通过JDBC驱动程序连接到HAWQ以查询数据,然后在您的网络服务中将其重新格式化为JSON。 关于json-使用关键HAWQ的数据

java - 配置单元顶点失败 : killed/failed due to:ROOT_INPUT_INIT_FAILURE Caused by: java. lang.NullPointerException

我正在查询一个表,一个简单的计数(*)并收到以下错误:Vertexfailed,vertexName=Map1,vertexId=vertex_1486982569467_0809_3_00,diagnostics=[Vertexvertex_1486982569467_0809_3_00[Map1]killed/faileddueto:ROOT_INPUT_INIT_FAILURE,VertexInput:table_nameinitializerfailed,vertex=vertex_1486982569467_0809_3_00[Map1],java.lang.RuntimeE

apache-spark - java.lang.IllegalArgumentException 在 org.apache.xbean.asm5.ClassReader.<init>(未知来源)与 Java 10

每当我尝试收集我的rdd时,我就开始收到以下错误。我安装Java10.1后就发生了所以当然是把它拿出来重新安装,同样的错误。然后我安装了Java9.04同样的错误。然后我撕掉了python2.7.14,apachespark2.3.0和Hadoop2.7,同样的错误。有没有人有任何其他原因导致我不断收到错误消息?>>>fromoperatorimportadd>>>frompysparkimportSparkConf,SparkContext>>>importstring>>>importsys>>>importre>>>>>>sc=SparkContext(appName="NEW"

hadoop - 运行 accumulo init 时出错

我的Hadoop和Zookeeper运行没有问题,但是当我运行$ACCUMULO_HOME/bin/accumuloinit时,发生了这种情况:Exceptioninthread"main"java.lang.NoClassDefFoundError:org/apache/accumulo/start/PlatformCausedby:java.lang.ClassNotFoundException:org.apache.accumulo.start.Platformatjava.net.URLClassLoader$1.run(URLClassLoader.java:202)atja

Hadoop - Hawq - 添加新段

我使用ambari在Hadoop上安装了hawq。在安装步骤中,我选择了带有2个网段的Hawqmaster主机,一切正常。后来,我使用ambari添加了一个新的hawq段,安装过程顺利,没有错误。但我意识到新段实际上并没有添加到hawq集群中,并且/data/hawq/segments目录在这个新节点中是空的。我是否遗漏了将新段添加到hawq集群的任何步骤?如有任何帮助或提示,我们将不胜感激。 最佳答案 你能澄清一下你的HAWQ版本吗?我假设你的意思是添加一个新的HAWQ“节点”不是“段”?HAWQ1.x不能动态添加/删除段号,这是

hadoop - HAWQ 表大小估计

我对要加载到HAWQ中的表的存储大小计算/估算有疑问吗?我在HIVE中有一个30MB的表,我正在尝试使用PXF将其加载到HAWQ中,例如:createtablet2tablespacedataasselect*fromhcatalog.default.afs_trvn_mktscn_population;HAWQ中的表消耗了369MB的存储空间?不管我有多少个HAWQ段以及HAWQDFS.replica因子或HDFS复制因子是多少?我的情况是,即使有4个HAWQ段或1个HAWQ段,加载后表的大小也是369MB。我能理解最小块大小是128MB,所以即使是30MB也至少使用128MB,但为

spring - Spring中的BeanPostProcessor和init/destroy方法有什么区别?

实现BeanPostProcessor接口(interface)和在Spring的XML配置文件中使用init/destroy方法属性有什么区别或者实现InitializingBean/DisposableBean接口(interface)? 最佳答案 这在Spring文档中关于ContainerExtensionPoints的解释非常清楚。.TheBeanPostProcessorinterfacedefinescallbackmethodsthatyoucanimplementtoprovideyourown(oroverrid