草庐IT

prog_name

全部标签

hadoop - Hive:无法在具有 100 个或更多分区列的表中插入数据错误:在最大长度为 767 的列 "PART_NAME"中

我正在使用配置单元,我需要创建一个包含“n”个普通列和100个或更多作为分区列的表,并且我能够成功创建该表。现在当我用另一个具有相同模式的表的数据加载该表并且所有列都是非分区列时,我收到这样的错误:FailedwithexceptionMetaException(message:AttempttostorevalueFailedwithexceptionMetaException(message:Attempttostorevalue"c1=v1/c2=v2/c3=v3/....c100=v100"incolumn"PART_NAME"thathasmaximumlengthof767

Hadoop mapreduce 出现 "Cannot resolve the host name"错误

现在运行Hadoopmapreduce作业,输入数据来自HBase表,最近出现错误,错误如下:错误mapreduce.TableInputFormatBase:无法解析/172.16.4.195的主机名,因为javax.naming.NameNotFoundException:找不到DNS名称[响应代码3];剩余名称'195.4.16.172.in-addr.arpa'*172.16.4.195*是集群节点(slave)ip地址,我不知道“195.4.16.172”是什么。我第一次运行这个job的时候没有这个错误,不知道为什么会出现这个错误。如果你解决了问题,请告诉我,谢谢。

hadoop - Name node在哪里存储fsImage和edit Log?

我是一名java程序员,正在学习Hadoop。我读到HDFS中的名称节点将其信息存储到两个文件中,即fsImage和editLog。在启动的情况下,它会从磁盘读取此数据并执行检查点操作。但在很多地方我也读到NameNode将数据存储在RAM中,这就是为什么apache推荐具有高RAM的机器作为NameNode服务器。请赐教。它在RAM中存储什么数据?它在哪里存储fsImage和编辑日志?抱歉,如果我问了一些显而易见的问题。 最佳答案 我先回答WhatdatadoesitstoreinRAM&wheredoesitstorefsIma

hadoop - Name Node 存储什么?

在“名称节点”的情况下,什么存储在主内存中,什么存储在辅助内存(硬盘)中。“文件到block的映射”是什么意思?fsimage和编辑日志到底是什么? 最佳答案 Incaseof"NameNode",whatgetsstoredinmainmemoryandwhatgetsstoredinsecondarymemory(harddisk).block映射文件、block在数据节点上的位置、事件数据节点、一堆其他元数据都存储在NameNode的内存中。当您查看NameNode状态网站时,几乎所有这些信息都存储在某个地方的内存中。唯一存储

hadoop - 在 core-site.xml 中设置 fs.default.name 将 HDFS 设置为安全模式

我在一台机器上以伪分布式模式安装了ClouderaCDH4发行版并成功测试它是否正常工作(例如可以运行MapReduce程序,在Hive服务器上插入数据等)但是,如果我有机会core-site.xml文件将fs.default.name设置为机器名而不是localhost并重启NameNode服务,HDFS进入安全-模式。在更改fs.default.name之前,我运行了以下命令来检查HDFS的状态:$hadoopdfsadmin-report...ConfiguredCapacity:18503614464(17.23GB)PresentCapacity:13794557952(12

java - Hadoop Java 错误 : Exception in thread "main" java. lang.NoClassDefFoundError: WordCount (wrong name: org/myorg/WordCount)

我是hadoop的新手。我按照maichel-noll教程在单节点中设置hadoop。我尝试运行WordCount程序。这是我使用的代码:importjava.io.IOException;importjava.util.StringTokenizer;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.Path;importorg.apache.hadoop.io.IntWritable;importorg.apache.hadoop.io.Text;importorg.apache.hadoop

hadoop - 无法初始化集群。请检查你配置的mapreduce.framework.name和对应的服务器地址-提交job2remoteClustr

我最近将我的集群从ApacheHadoop1.0升级到CDH4.4.0。我在另一台机器上有一个weblogic服务器,我从那里通过mapreduce客户端将作业提交到这个远程集群。我仍然想使用MR1而不是Yarn。我已经针对CDH安装中的客户端jar编译了我的客户端代码(/usr/lib/hadoop/client/*)创建JobClient实例时出现以下错误。有很多帖子与同一问题相关,但所有解决方案都涉及将作业提交到本地集群而不是远程的场景,特别是在我的情况下是从wls容器提交。JobClientjc=newJobClient(conf);无法初始化集群。请检查您的配置中的mapre

PHP DOM : How to get child elements by tag name in an elegant manner?

我正在使用PHPDOM扩展解析一些XML,以便以其他形式存储数据。毫不奇怪,当我解析一个元素时,我经常需要获取某个名称的所有子元素。有方法DOMElement::getElementsByTagName($name),但它返回所有具有该名称的后代,而不仅仅是直系子代。还有属性DOMNode::$childNodes但(1)它包含节点列表,而不是元素列表,即使我设法将列表项转换为元素(2)我仍然需要检查所有这些名称的名称。是否真的没有优雅的解决方案来只获取某个特定名称的child,或者我在文档中遗漏了什么?一些插图:loadXML(1234EndOfXML);$bs=$document-

基于同一域内的 HTTP_HOST/SERVER_NAME 的 PHP 重定向

我正在尝试使用PHP脚本重定向到基于HTTP_HOST或SERVER_NAME的特定路径。我试过这些脚本:1.$domain=$_SERVER["SERVER_NAME"];if(($domain=="example.dk")||($domain=="www.example.dk")){header("location:/index.php/da/forside");}?>2。switch($host){case'example.dk':header("HTTP/1.1301MovedPermanently");header("Location:http://www.example.d

php - oci_bind_by_name 有什么用?

什么是oci_bind_by_name为了?我阅读了php手册,但什么也看不懂。请有人给我解释一下看这个例子:$name="O'Reilly";$stid=oci_parse($mycon,'INSERTINTOCUSTOMERS(NAME)VALUES(:nm)');oci_bind_by_name($stid,':nm',$name,-1);oci_execute($stid);什么是-1? 最佳答案 它将值绑定(bind)到命名参数:$name="O'Reilly";$stid=oci_parse($mycon,'INSERT