草庐IT

LIB_NAME

全部标签

hadoop - java.sql.SQLException : Failed to start database '/var/lib/hive/metastore/metastore_db' in hive 异常

我是hive的初学者。当我尝试执行任何配置单元命令时:hive>显示表格;它显示以下错误:FAILED:Errorinmetadata:javax.jdo.JDOFatalDataStoreException:Failedtostartdatabase'/var/lib/hive/metastore/metastore_db',seethenextexceptionfordetails.NestedThrowables:java.sql.SQLException:Failedtostartdatabase'/var/lib/hive/metastore/metastore_db',se

java - 组织.apache.thrift : Invalid method name: 'authenticate'

我正在运行出现此错误的用户手册中的一些基本Accumulo代码。简单的谷歌搜索没有提供任何有用的信息。错误org.apache.accumulo.core.client.AccumuloException:org.apache.thrift.TApplicationException:Invalidmethodname:'authenticate'atorg.apache.accumulo.core.client.impl.ServerClient.execute(ServerClient.java:77)atorg.apache.accumulo.core.client.impl.C

maven - org.datanucleus.exceptions.NucleusUserException : Error : Could not find API definition for name "JDO"

我试图通过hcatalog访问mapreduce中的配置单元表并面临以下异常:我用谷歌搜索并试图找到根本原因,但没有成功,所以我在这里发布我的查询。2016-12-0115:48:35,855INFO[main]metastore.HiveMetaStore(HiveMetaStore.java:newRawStore(564))-0:Openingrawstorewithimplementationclass:org.apache.hadoop.hive.metastore.ObjectStore2016-12-0115:48:35,857INFO[main]metastore.Ob

linux - 安装和获取当前的 dfs.name.dir 和 dfs.data.dir 值

我没有在hdfs-site.xml文件中设置dfs.name.dir和dfs.data.dir值没有设置。他们会怎样?有趣的是,他们默认接受什么值?(如何接收他们的当前值?) 最佳答案 dfs.name.dir的默认值为${hadoop.tmp.dir}/dfs/data和dfs.data.dir是${hadoop.tmp.dir}/dfs/data。如果hadoop.tmp.dir的值未使用-D选项或配置文件设置,则默认值为/tmp/hadoop-${user.name}user.name是您用来登录系统的用户名。对于所有默认值,

java - 无法在 Oozie java 操作中设置 mapred.job.queue.name

我有一个运行紧迫作业的应用程序。我正在尝试将Oozie配置为使用Java操作运行此作业。我的操作如下,${jobTracker}${nameNode}mapred.job.queue.namelaunchercom.test.Main-Dmapred.output.compress=false-Dmapred.textoutputformat.separator=,-Dcrunch.disable.output.counters=trueActionfailed,errormessage[${wf:errorMessage(wf:lastErrorNode())}]但每次我运行Oozi

hadoop - 当 Name Node 在 YARN 中失败时,工作状态是什么?

当一个job在集群中运行时,如果NameNode突然挂了,那么这个job的状态是什么(failed或者killed)?如果失败意味着谁在更新作业状态?这在内部是如何工作的? 最佳答案 备用Namenode将通过故障转移过程变为事件Namenode。看看HowdoesHadoopNamenodefailoverprocessworks?YARN架构围绕着ResourceManager、NodeManager和ApplicationsMaster。作业将继续进行,而不会因名称节点故障而受到任何影响。如果以上三个进程中的任何一个失败,将根

java - 连接到 Kerberrized HDFS,java.lang.IllegalArgumentException : Failed to specify server's Kerberos principal name;

我正在尝试使用以下代码连接到Kerberizedhdfs集群,使用以下相同的代码我能够使用HBaseConfiguration访问hbaseofcourse,Configurationconfig=newConfiguration();config.set("hadoop.security.authentication","Kerberos");UserGroupInformation.setConfiguration(config);UserGroupInformationugi=null;ugi=UserGroupInformation.loginUserFromKeytabAnd

java - 链接两个作业时 hadoop.mapreduce.lib.input.FileInputFormat.getBlockIndex 中的 NullPointerException

我正在尝试构建倒排索引。我链接了两个作业。基本上,第一个作业解析输入并对其进行清理,并将结果存储在文件夹“output”中,该文件夹是第二个作业的输入文件夹。第二个工作应该实际构建倒排索引。当我刚找到第一份工作时,它工作得很好(至少,没有异常(exception))。我像这样链接两个作业:publicclassMain{publicstaticvoidmain(String[]args)throwsException{StringinputPath=args[0];StringoutputPath=args[1];StringstopWordsPath=args[2];Stringfi

java - 无法构建 piggybank ->/home/build/ivy/lib 不存在

嘿,我按照这里的步骤操作:http://wiki.apache.org/pig/PiggyBank构建存钱jar,但我不断得到下面的输出。我还从源代码构建了pig项目,并在我的.bash_profile中引用了它:cloudera@cloudera-demo:~/piggybank/java$./makepiggy.shBuildfile:/home/cloudera/piggybank/java/build.xmldownload-hive-deps:init:compile:[echo]***CompilingPigUDFs***[javac]/home/cloudera/pigg

hadoop - mapred-site.xml 中 mapreduce.framework.name 的经典、本地有什么区别?

官方对该参数的描述如下:TheruntimeframeworkforexecutingMapReducejobs.Canbeoneoflocal,classicoryarn.我知道值“yarn”用于MRv2,它会将mapreduce作业提交给resourcemanager。但是本地和经典之间有什么区别?哪个对应MRv1?非常感谢! 最佳答案 你是对的,“yarn”代表MRv2。“经典”用于MRv1,“本地”用于MR作业的本地运行。但是为什么需要MRv1?Yarn现在已经结束测试,它比旧的MRv1框架更稳定,而您的MapReduce作