草庐IT

platform_metadata

全部标签

hadoop - 无法实例化 org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient (Ubuntu)

我已经成功安装了Java、HadoopMySQL。运行配置单元时出现此错误。我遇到了文件权限错误,之前通过将hive文件夹下的metastore_db文件夹设置为777权限模式得到修复。我该如何解决这个问题。SLF4J:ClasspathcontainsmultipleSLF4Jbindings.SLF4J:Foundbindingin[jar:file:/usr/lib/hive/lib/log4j-slf4j-impl-2.4.1.jar!/org/slf4j/impl/StaticLoggerBinder.class]SLF4J:Foundbindingin[jar:file:/

hadoop - WARN util.NativeCodeLoader : Unable to load native-hadoop library for your platform. .. 在适用于 mac 的情况下使用内置 java 类

我正在使用MacOSXEl-Capitan,并且是hadoop的新手。安装后我收到此警告:WARNutil.NativeCodeLoader:Unabletoloadnative-hadooplibraryforyourplatform...usingbuiltin-javaclasseswhereapplicableWARNutil.NativeCodeLoader:Unabletoloadnative-hadooplibraryforyourplatform...usingbuiltin-javaclasseswhereapplicableStartingnamenodeson[l

apache - 无法实例化 org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

Hiveshell正在启动,但是每当我在shell中点击任何命令时,说hive>显示数据库;我收到以下错误:失败:语义异常org.apache.hadoop.hive.ql.metadata.HiveException:java.lang.RuntimeException:无法实例化org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient我的JPS是这样的:/apache-hive-2.3.0-bin/conf$jps第3779章第3540章第3909章3384数据节点6856日元第3257章我遇到这个错误了吗?我的SQ

hadoop - HiveException : java. lang.RuntimeException : Unable to instantiate org. apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient 客户端

当我尝试启动hive时,出现以下错误:SLF4J:ClasspathcontainsmultipleSLF4Jbindings.SLF4J:Foundbindingin[jar:file:/home/ezhil/hadoop-ecosystem/hive/lib/log4j-slf4j-impl-2.6.2.jar!/org/slf4j/impl/StaticLoggerBinder.class]SLF4J:Foundbindingin[jar:file:/home/ezhil/hadoop-ecosystem/hadoop/share/hadoop/common/lib/slf4j-

linux - 运行 hadoop 集群时在 Google Cloud Platform 上获取 'sudo: unknown user: hadoop' 和 'sudo: unable to initialize policy plugin error'

我正在尝试部署Google在https://github.com/GoogleCloudPlatform/solutions-google-compute-engine-cluster-for-hadoop提供的示例Hadoop应用程序在谷歌云平台上。我逐步按照那里给出的所有设置说明进行操作。我能够设置环境并成功启动集群。但是我无法运行MapReduce部分。我正在我的终端上执行这个命令:./compute_cluster_for_hadoop.pymapreduce[--prefix]--inputgs://\--outputgs://\--mappersample/shortest

hadoop - FAILED : Error in metadata: MetaException(message:Got exception: java.net.ConnectException 调用 localhost/127.0.0.1:54310 失败

我使用的是Ubuntu12.04、hadoop-0.23.5、hive-0.9.0。我将我的metastore_db分别指定到hive-site.xml中的其他地方$HIVE_HOME/my_db/metastore_dbHadoop运行良好,jps给出ResourceManager,NameNode,DataNode,NodeManager,SecondaryNameNodeHive完美启动,metastore_db和derby.log也创建,所有hive命令运行成功,我可以创建数据库、表等。但是几天后,当我运行showdatabases或showtables时,出现以下错误FAIL

hadoop - 失败 : Error in metadata: java. lang.RuntimeException : Unable to instantiate org. apache.hadoop.hive.metastore.HiveMetaStoreClient

我在HDFS和配置单元实例运行时关闭了我的HDFS客户端。现在,当我重新登录到Hive时,我无法执行任何DDL任务,例如“显示表”或“描述表名”等。它给我如下错误ERRORexec.Task(SessionState.java:printError(401))-FAILED:Errorinmetadata:java.lang.RuntimeException:Unabletoinstantiateorg.apache.hadoop.hive.metastore.HiveMetaStoreClientorg.apache.hadoop.hive.ql.metadata.HiveExcep

hadoop - WARN util.NativeCodeLoader : Unable to load native-hadoop library for your platform. .. 在适用的情况下使用内置 java 类

alpesh@alpesh-Inspiron-3647:~/hadoop-2.7.2/sbin$hadoopfs-ls16/07/0513:59:17警告util.NativeCodeLoader:无法为您的平台加载nativehadoop库...在适用的情况下使用内置java类它还向我展示了如下输出hadoop检查native-a16/07/0514:00:42警告util.NativeCodeLoader:无法为您的平台加载nativehadoop库...在适用的情况下使用内置java类native库检查:hadoop:错误zlib:错误活泼:假lz4:假的bzip2:错误open

hadoop - pig 与大表倾斜连接导致 "Split metadata size exceeded 10000000"

我们在一个小的(16M行)不同表和一个大的(6B行)倾斜表之间有一个pig连接。常规连接在2小时内完成(经过一些调整)。我们尝试使用skewed并能够将性能提高到20分钟。但是,当我们尝试更大的倾斜表(19B行)时,我们从SAMPLER作业中得到这条消息:Splitmetadatasizeexceeded10000000.Abortingjobjob_201305151351_21573[ScriptRunner]atorg.apache.hadoop.mapreduce.split.SplitMetaInfoReader.readSplitMetaInfo(SplitMetaInfo

apache - java.lang.RuntimeException : Unable to instantiate org. apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient 客户端

我在ubuntu14.0上安装了Hadoop2.7.1和apache-hive-1.2.1版本。为什么会出现这个错误?是否需要任何Metastore安装?当我们在终端上输入hive命令时,xml的内部调用方式是什么,这些xml的流程是什么?是否需要任何其他配置?当我在ubuntu14.0终端上编写hive命令时,它抛出以下异常。$hiveLogginginitializedusingconfigurationinjar:file:/usr/local/hive/apache-hive-1.2.1-bin/lib/hive-common-1.2.1.jar!/hive-log4j.pro