草庐IT

hadoop - 无法从配置单元创建 hbase 表

coder 2024-01-09 原文

这是我正在运行的查询,但出现异常。我将所有 jar 保存在 hive/lib 文件夹中,但我仍然面临这个问题。谁能给我建议如何解决这个问题。提前致谢。

hive> CREATE TABLE hbase_shipper(s_id int,s_name string)STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES ("hbase.columns.mapping"=":key,cf1:val")TBLPROPERTIES ("hbase.table.name"="hive_shipper");


FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:MetaException(message:java.io.IOException: java.lang.reflect.InvocationTargetException
    at org.apache.hadoop.hbase.client.ConnectionFactory.createConnection(ConnectionFactory.java:240)
    at org.apache.hadoop.hbase.client.ConnectionManager.createConnection(ConnectionManager.java:410)
    at org.apache.hadoop.hbase.client.ConnectionManager.createConnection(ConnectionManager.java:403)
    at org.apache.hadoop.hbase.client.ConnectionManager.getConnectionInternal(ConnectionManager.java:281)
    at org.apache.hadoop.hbase.client.HBaseAdmin.<init>(HBaseAdmin.java:202)
    at org.apache.hadoop.hive.hbase.HBaseStorageHandler.getHBaseAdmin(HBaseStorageHandler.java:120)
    at org.apache.hadoop.hive.hbase.HBaseStorageHandler.preCreateTable(HBaseStorageHandler.java:200)
    at org.apache.hadoop.hive.metastore.HiveMetaStoreClient.createTable(HiveMetaStoreClient.java:664)
    at org.apache.hadoop.hive.metastore.HiveMetaStoreClient.createTable(HiveMetaStoreClient.java:657)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:606)
    at org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.invoke(RetryingMetaStoreClient.java:156)
    at com.sun.proxy.$Proxy9.createTable(Unknown Source)
    at org.apache.hadoop.hive.ql.metadata.Hive.createTable(Hive.java:714)
    at org.apache.hadoop.hive.ql.exec.DDLTask.createTable(DDLTask.java:4135)
    at org.apache.hadoop.hive.ql.exec.DDLTask.execute(DDLTask.java:306)
    at org.apache.hadoop.hive.ql.exec.Task.executeTask(Task.java:160)
    at org.apache.hadoop.hive.ql.exec.TaskRunner.runSequential(TaskRunner.java:88)
    at org.apache.hadoop.hive.ql.Driver.launchTask(Driver.java:1653)
    at org.apache.hadoop.hive.ql.Driver.execute(Driver.java:1412)
    at org.apache.hadoop.hive.ql.Driver.runInternal(Driver.java:1195)
    at org.apache.hadoop.hive.ql.Driver.run(Driver.java:1059)
    at org.apache.hadoop.hive.ql.Driver.run(Driver.java:1049)
    at org.apache.hadoop.hive.cli.CliDriver.processLocalCmd(CliDriver.java:213)
    at org.apache.hadoop.hive.cli.CliDriver.processCmd(CliDriver.java:165)
    at org.apache.hadoop.hive.cli.CliDriver.processLine(CliDriver.java:376)
    at org.apache.hadoop.hive.cli.CliDriver.executeDriver(CliDriver.java:736)
    at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:681)
    at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:621)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:606)
    at org.apache.hadoop.util.RunJar.run(RunJar.java:221)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:136)
Caused by: java.lang.reflect.InvocationTargetException
    at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
    at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)
    at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
    at java.lang.reflect.Constructor.newInstance(Constructor.java:526)
    at org.apache.hadoop.hbase.client.ConnectionFactory.createConnection(ConnectionFactory.java:238)
    ... 36 more
Caused by: java.lang.NoClassDefFoundError: io/netty/channel/EventLoopGroup
    at java.lang.Class.forName0(Native Method)
    at java.lang.Class.forName(Class.java:270)
    at org.apache.hadoop.conf.Configuration.getClassByNameOrNull(Configuration.java:2013)
    at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:1978)
    at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:2072)
    at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:2098)
    at org.apache.hadoop.hbase.client.ConnectionManager$HConnectionImplementation.<init>(ConnectionManager.java:631)
    ... 41 more
Caused by: java.lang.ClassNotFoundException: io.netty.channel.EventLoopGroup
    at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
    at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
    ... 48 more
)
    at org.apache.hadoop.hive.hbase.HBaseStorageHandler.getHBaseAdmin(HBaseStorageHandler.java:124)
    at org.apache.hadoop.hive.hbase.HBaseStorageHandler.preCreateTable(HBaseStorageHandler.java:200)
    at org.apache.hadoop.hive.metastore.HiveMetaStoreClient.createTable(HiveMetaStoreClient.java:664)
    at org.apache.hadoop.hive.metastore.HiveMetaStoreClient.createTable(HiveMetaStoreClient.java:657)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:606)
    at org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.invoke(RetryingMetaStoreClient.java:156)
    at com.sun.proxy.$Proxy9.createTable(Unknown Source)
    at org.apache.hadoop.hive.ql.metadata.Hive.createTable(Hive.java:714)
    at org.apache.hadoop.hive.ql.exec.DDLTask.createTable(DDLTask.java:4135)
    at org.apache.hadoop.hive.ql.exec.DDLTask.execute(DDLTask.java:306)
    at org.apache.hadoop.hive.ql.exec.Task.executeTask(Task.java:160)
    at org.apache.hadoop.hive.ql.exec.TaskRunner.runSequential(TaskRunner.java:88)
    at org.apache.hadoop.hive.ql.Driver.launchTask(Driver.java:1653)
    at org.apache.hadoop.hive.ql.Driver.execute(Driver.java:1412)
    at org.apache.hadoop.hive.ql.Driver.runInternal(Driver.java:1195)
    at org.apache.hadoop.hive.ql.Driver.run(Driver.java:1059)
    at org.apache.hadoop.hive.ql.Driver.run(Driver.java:1049)
    at org.apache.hadoop.hive.cli.CliDriver.processLocalCmd(CliDriver.java:213)
    at org.apache.hadoop.hive.cli.CliDriver.processCmd(CliDriver.java:165)
    at org.apache.hadoop.hive.cli.CliDriver.processLine(CliDriver.java:376)
    at org.apache.hadoop.hive.cli.CliDriver.executeDriver(CliDriver.java:736)
    at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:681)
    at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:621)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:606)
    at org.apache.hadoop.util.RunJar.run(RunJar.java:221)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:136)
)

hive/lib 中的 jar :

accumulo-core-1.6.0.jar               commons-vfs2-2.0.jar                    hbase-thrift-1.0.3.jar                jsr305-3.0.0.jar
accumulo-fate-1.6.0.jar               curator-client-2.6.0.jar                hive-accumulo-handler-1.2.1.jar       jta-1.1.jar
accumulo-start-1.6.0.jar              curator-framework-2.6.0.jar             hive-ant-1.2.1.jar                    junit-4.11.jar
accumulo-trace-1.6.0.jar              curator-recipes-2.6.0.jar               hive-beeline-1.2.1.jar                libfb303-0.9.2.jar
activation-1.1.jar                    datanucleus-api-jdo-3.2.6.jar           hive-cli-1.2.1.jar                    libthrift-0.9.2.jar
ant-1.9.1.jar                         datanucleus-core-3.2.10.jar             hive-common-1.2.1.jar                 log4j-1.2.16.jar
ant-launcher-1.9.1.jar                datanucleus-rdbms-3.2.9.jar             hive-contrib-1.2.1.jar                mail-1.4.1.jar
antlr-2.7.7.jar                       derby-10.10.2.0.jar                     hive-exec-1.2.1.jar                   maven-scm-api-1.4.jar
antlr-runtime-3.4.jar                 eigenbase-properties-1.1.5.jar          hive-hbase-handler-1.2.1.jar          maven-scm-provider-svn-commons-1.4.jar
apache-curator-2.6.0.pom              geronimo-annotation_1.0_spec-1.1.1.jar  hive-hwi-1.2.1.jar                    maven-scm-provider-svnexe-1.4.jar
apache-log4j-extras-1.2.17.jar        geronimo-jaspic_1.0_spec-1.0.jar        hive-jdbc-1.2.1.jar                   mysql-connector-java-5.1.40.jar
asm-commons-3.1.jar                   geronimo-jta_1.1_spec-1.1.1.jar         hive-jdbc-1.2.1-standalone.jar        netty-3.7.0.Final.jar
asm-tree-3.1.jar                      groovy-all-2.1.6.jar                    hive-metastore-1.2.1.jar              opencsv-2.3.jar
avro-1.7.5.jar                        guava-14.0.1.jar                        hive-serde-1.2.1.jar                  oro-2.0.8.jar
bonecp-0.8.0.RELEASE.jar              hamcrest-core-1.1.jar                   hive-service-1.2.1.jar                paranamer-2.3.jar
calcite-avatica-1.2.0-incubating.jar  hbase-annotations-1.0.3.jar             hive-shims-0.20S-1.2.1.jar            parquet-hadoop-bundle-1.6.0.jar
calcite-core-1.2.0-incubating.jar     hbase-annotations-1.0.3-tests.jar       hive-shims-0.23-1.2.1.jar             pentaho-aggdesigner-algorithm-5.1.5-jhyde.jar
calcite-linq4j-1.2.0-incubating.jar   hbase-checkstyle-1.0.3.jar              hive-shims-1.2.1.jar                  php
commons-beanutils-1.7.0.jar           hbase-client-1.0.3.jar                  hive-shims-common-1.2.1.jar           plexus-utils-1.5.6.jar
commons-beanutils-core-1.8.0.jar      hbase-common-1.0.3.jar                  hive-shims-scheduler-1.2.1.jar        py
commons-cli-1.2.jar                   hbase-common-1.0.3-tests.jar            hive-testutils-1.2.1.jar              regexp-1.3.jar
commons-codec-1.4.jar                 hbase-examples-1.0.3.jar                htrace-core-3.1.0-incubating.jar      servlet-api-2.5.jar
commons-collections-3.2.1.jar         hbase-hadoop2-compat-1.0.3.jar          httpclient-4.4.jar                    snappy-java-1.0.5.jar
commons-compiler-2.7.6.jar            hbase-hadoop-compat-1.0.3.jar           httpcore-4.4.jar                      ST4-4.0.4.jar
commons-compress-1.4.1.jar            hbase-it-1.0.3.jar                      ivy-2.4.0.jar                         stax-api-1.0.1.jar
commons-configuration-1.6.jar         hbase-it-1.0.3-tests.jar                janino-2.7.6.jar                      stringtemplate-3.2.1.jar
commons-dbcp-1.4.jar                  hbase-prefix-tree-1.0.3.jar             jcommander-1.32.jar                   super-csv-2.2.0.jar
commons-digester-1.8.jar              hbase-protocol-1.0.3.jar                jdo-api-3.0.1.jar                     tempus-fugit-1.1.jar
commons-httpclient-3.0.1.jar          hbase-resource-bundle-1.0.3.jar         jetty-all-7.6.0.v20120127.jar         velocity-1.5.jar
commons-io-2.4.jar                    hbase-rest-1.0.3.jar                    jetty-all-server-7.6.0.v20120127.jar  xz-1.0.jar
commons-lang-2.6.jar                  hbase-server-1.0.3.jar                  jline-2.12.jar                        zookeeper-3.4.6.jar
commons-logging-1.1.3.jar             hbase-server-1.0.3-tests.jar            joda-time-2.5.jar
commons-math-2.1.jar                  hbase-shell-1.0.3.jar                   jpam-1.1.jar
commons-pool-1.5.4.jar                hbase-testing-util-1.0.3.jar            json-20090211.jar

最佳答案

从堆栈跟踪,

引起:java.lang.NoClassDefFoundError: io/netty/channel/EventLoopGroup

netty-3.7.0.Final.jar 不包含此类。将其替换为最新 (>=4.0) 版本的 netty-all-4.0.x.Final.jar

关于hadoop - 无法从配置单元创建 hbase 表,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/41672822/

有关hadoop - 无法从配置单元创建 hbase 表的更多相关文章

  1. ruby - 如何在 Ruby 中顺序创建 PI - 2

    出于纯粹的兴趣,我很好奇如何按顺序创建PI,而不是在过程结果之后生成数字,而是让数字在过程本身生成时显示。如果是这种情况,那么数字可以自行产生,我可以对以前看到的数字实现垃圾收集,从而创建一个无限系列。结果只是在Pi系列之后每秒生成一个数字。这是我通过互联网筛选的结果:这是流行的计算机友好算法,类机器算法:defarccot(x,unity)xpow=unity/xn=1sign=1sum=0loopdoterm=xpow/nbreakifterm==0sum+=sign*(xpow/n)xpow/=x*xn+=2sign=-signendsumenddefcalc_pi(digits

  2. python - 如何使用 Ruby 或 Python 创建一系列高音调和低音调的蜂鸣声? - 2

    关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题?更新问题,以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点?我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等),但我确实想创建一个输出文件。

  3. ruby-on-rails - 由于 "wkhtmltopdf",PDFKIT 显然无法正常工作 - 2

    我在从html页面生成PDF时遇到问题。我正在使用PDFkit。在安装它的过程中,我注意到我需要wkhtmltopdf。所以我也安装了它。我做了PDFkit的文档所说的一切......现在我在尝试加载PDF时遇到了这个错误。这里是错误:commandfailed:"/usr/local/bin/wkhtmltopdf""--margin-right""0.75in""--page-size""Letter""--margin-top""0.75in""--margin-bottom""0.75in""--encoding""UTF-8""--margin-left""0.75in""-

  4. ruby - 使用 Vim Rails,您可以创建一个新的迁移文件并一次性打开它吗? - 2

    使用带有Rails插件的vim,您可以创建一个迁移文件,然后一次性打开该文件吗?textmate也可以这样吗? 最佳答案 你可以使用rails.vim然后做类似的事情::Rgeneratemigratonadd_foo_to_bar插件将打开迁移生成的文件,这正是您想要的。我不能代表textmate。 关于ruby-使用VimRails,您可以创建一个新的迁移文件并一次性打开它吗?,我们在StackOverflow上找到一个类似的问题: https://sta

  5. ruby-on-rails - 无法使用 Rails 3.2 创建插件? - 2

    我对最新版本的Rails有疑问。我创建了一个新应用程序(railsnewMyProject),但我没有脚本/生成,只有脚本/rails,当我输入ruby./script/railsgeneratepluginmy_plugin"Couldnotfindgeneratorplugin.".你知道如何生成插件模板吗?没有这个命令可以创建插件吗?PS:我正在使用Rails3.2.1和ruby​​1.8.7[universal-darwin11.0] 最佳答案 随着Rails3.2.0的发布,插件生成器已经被移除。查看变更日志here.现在

  6. ruby - 无法运行 Rails 2.x 应用程序 - 2

    我尝试运行2.x应用程序。我使用rvm并为此应用程序设置其他版本的ruby​​:$rvmuseree-1.8.7-head我尝试运行服务器,然后出现很多错误:$script/serverNOTE:Gem.source_indexisdeprecated,useSpecification.Itwillberemovedonorafter2011-11-01.Gem.source_indexcalledfrom/Users/serg/rails_projects_terminal/work_proj/spohelp/config/../vendor/rails/railties/lib/r

  7. ruby-on-rails - 无法在centos上安装therubyracer(V8和GCC出错) - 2

    我正在尝试在我的centos服务器上安装therubyracer,但遇到了麻烦。$geminstalltherubyracerBuildingnativeextensions.Thiscouldtakeawhile...ERROR:Errorinstallingtherubyracer:ERROR:Failedtobuildgemnativeextension./usr/local/rvm/rubies/ruby-1.9.3-p125/bin/rubyextconf.rbcheckingformain()in-lpthread...yescheckingforv8.h...no***e

  8. ruby - 如何使用 RSpec::Core::RakeTask 创建 RSpec Rake 任务? - 2

    如何使用RSpec::Core::RakeTask初始化RSpecRake任务?require'rspec/core/rake_task'RSpec::Core::RakeTask.newdo|t|#whatdoIputinhere?endInitialize函数记录在http://rubydoc.info/github/rspec/rspec-core/RSpec/Core/RakeTask#initialize-instance_method没有很好的记录;它只是说:-(RakeTask)initialize(*args,&task_block)AnewinstanceofRake

  9. ruby - 无法让 RSpec 工作—— 'require' : cannot load such file - 2

    我花了三天的时间用头撞墙,试图弄清楚为什么简单的“rake”不能通过我的规范文件。如果您遇到这种情况:任何文件夹路径中都不要有空格!。严重地。事实上,从现在开始,您命名的任何内容都没有空格。这是我的控制台输出:(在/Users/*****/Desktop/LearningRuby/learn_ruby)$rake/Users/*******/Desktop/LearningRuby/learn_ruby/00_hello/hello_spec.rb:116:in`require':cannotloadsuchfile--hello(LoadError) 最佳

  10. ruby-on-rails - 独立 ruby​​ 脚本的配置文件 - 2

    我有一个在Linux服务器上运行的ruby​​脚本。它不使用rails或任何东西。它基本上是一个命令行ruby​​脚本,可以像这样传递参数:./ruby_script.rbarg1arg2如何将参数抽象到配置文件(例如yaml文件或其他文件)中?您能否举例说明如何做到这一点?提前谢谢你。 最佳答案 首先,您可以运行一个写入YAML配置文件的独立脚本:require"yaml"File.write("path_to_yaml_file",[arg1,arg2].to_yaml)然后,在您的应用中阅读它:require"yaml"arg

随机推荐