草庐IT

Hive安装与配置及常见问题解决

wxin_@ 2023-07-24 原文

 

目录

1.前期准备

2.安装HIVE并配置

2.1上传HIVE安装包

2.2添加Hive核心配置，选择远程MySQL模式 

2.3给mysql赋予权限

 2.4配置环境变量

2.5初始化Hive

3.常见问题

3.1配置 hive-env.sh

3.2配置hive-site.xml时

1.前期准备

需要3台虚拟需要并安装好java 运行环境 JDK
需要搭建配置好Hadoop集群并启动同时需要安装有mysql

2.安装HIVE并配置

2.1上传HIVE安装包

        上传至/opt/software/

        解压并重命名

        在hive的lib下添加一个mysql-connect-jar

2.2添加Hive核心配置，选择远程MySQL模式 

vi hive-site.xml

        添加以下配置信息 

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!--连接数据库地址，名称 -->  
	<property>
	  <name>javax.jdo.option.ConnectionURL</name>
	  <value>jdbc:mysql://localhost:3306/myhive?createDatabaseIfNotExist=true&amp;useUnicode=true&amp;characterEncoding=UTF-8&amp;useSSL=false</value>
	</property>  
	<!--连接数据库驱动 --> 
	<property>
	  <name>javax.jdo.option.ConnectionDriverName</name>
	  <value>com.mysql.jdbc.Driver</value>
	</property> 
	<!--连接数据库用户名称 -->  
	<property>  
	  <name>javax.jdo.option.ConnectionUserName</name>  
	  <value>root</value>
	</property> 
	<!--连接数据库用户密码 -->  
	<property>  
	  <name>javax.jdo.option.ConnectionPassword</name>  
	  <value>123456</value>
	</property>
	<!--客户端显示当前查询表的头信息 --> 
	 <property>
	  <name>hive.cli.print.header</name>
	  <value>true</value>
	</property>
	<!--客户端显示当前数据库名称信息 --> 
	<property>
	  <name>hive.cli.print.current.db</name>
	  <value>true</value>
	</property> 
    <property>
	<!--关闭数据库的版本检查--> 
    	  <name>hive.metastore.schema.verification</name>
    	  <value>false</value>
	</property>
</configuration>

        重命名

        修改路径

vi hive-env.sh

      注：将注释删掉 

 

        重命名

         在对应的位置修改日志信息

2.3给mysql赋予权限

        如果此处报错误，先查看mysql初始密码策略。

        SHOW VARIABLES LIKE 'validate_password%';

        设置密码的验证强度等级。

        set global validate_password_policy=LOW;

        设置密码的长度。

        set global validate_password_length=6;

        然后再进行赋予权限。

 2.4配置环境变量

vi /etc/profile

        重新加载：source /etc/profile

2.5初始化Hive

出现 schemaTool completed 即可成功

3.常见问题

3.1配置 hive-env.sh

        (1)路径务必要是自己的正确路径，可以使用pwd命令查看后复制，避免后续错误。

        (2)要删除”#”的注释符号。

3.2配置hive-site.xml时

        (1)若配置文件出错，刷新环境变量和初始化hive都会不成功，会报“未找到命令”或 “Cannot find hadoop installation”的错。

3.3 安装过程报错

com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)

错误原因：系统找不到这个类所在的jar包或者jar包的版本不一样系统不知道使用哪个，hive启动报错的原因是后者。

解决方法：

将jar包变成一致的版本：删除hive中低版本jar包，将hadoop中高版本的复制到hive的lib中。
再次启动问题得到解决！

Hive安装margin-leftmarginstylehadoop大数据

有关Hive安装与配置及常见问题解决的更多相关文章

  1. ruby - 在 64 位 Snow Leopard 上使用 rvm、postgres 9.0、ruby 1.9.2-p136 安装 pg gem 时出现问题 - 2

    我想为Heroku构建一个Rails3应用程序。他们使用Postgres作为他们的数据库，所以我通过MacPorts安装了postgres9.0。现在我需要一个postgresgem并且共识是出于性能原因你想要pggem。但是我对我得到的错误感到非常困惑当我尝试在rvm下通过geminstall安装pg时。我已经非常明确地指定了所有postgres目录的位置可以找到但仍然无法完成安装:$envARCHFLAGS='-archx86_64'geminstallpg--\--with-pg-config=/opt/local/var/db/postgresql90/defaultdb/po

  2. ruby - 通过 rvm 升级 ruby​​gems 的问题 - 2

    尝试通过RVM将RubyGems升级到版本1.8.10并出现此错误:$rvmrubygemslatestRemovingoldRubygemsfiles...Installingrubygems-1.8.10forruby-1.9.2-p180...ERROR:Errorrunning'GEM_PATH="/Users/foo/.rvm/gems/ruby-1.9.2-p180:/Users/foo/.rvm/gems/ruby-1.9.2-p180@global:/Users/foo/.rvm/gems/ruby-1.9.2-p180:/Users/foo/.rvm/gems/rub

  3. ruby - 完全离线安装RVM - 2

    我打算为ruby​​脚本创建一个安装程序，但我希望能够确保机器安装了RVM。有没有一种方法可以完全离线安装RVM并且不引人注目(通过不引人注目，就像创建一个可以做所有事情的脚本而不是要求用户向他们的bash_profile或bashrc添加一些东西)我不是要脚本本身，只是一个关于如何走这条路的快速指针(如果可能的话)。我们还研究了这个很有帮助的问题:RVM-isthereawayforsimpleofflineinstall?但有点误导，因为答案只向我们展示了如何离线在RVM中安装ruby。我们需要能够离线安装RVM本身，并查看脚本https://raw.github.com/wayn

  4. ruby-on-rails - rails 目前在重启后没有安装 - 2

    我有一个奇怪的问题:我在rvm上安装了ruby​​onrails。一切正常，我可以创建项目。但是在我输入“railsnew”时重新启动后，我有“程序'rails'当前未安装。”。SystemUbuntu12.04ruby-v"1.9.3p194"gemlistactionmailer(3.2.5)actionpack(3.2.5)activemodel(3.2.5)activerecord(3.2.5)activeresource(3.2.5)activesupport(3.2.5)arel(3.0.2)builder(3.0.0)bundler(1.1.4)coffee-rails(

  5. ruby - 如何为 emacs 安装 ruby​​-mode - 2

    我刚刚为fedora安装了emacs。我想用emacs编写ruby。为ruby​​提供代码提示、代码完成类型功能所需的工具、扩展是什么？ 最佳答案 ruby-mode已经包含在Emacs23之后的版本中。不过，它也可以通过ELPA获得。您可能感兴趣的其他一些事情是集成RVM、feature-mode(Cucumber)、rspec-mode、ruby-electric、inf-ruby、rinari(用于Rails)等。这是我当前用于Ruby开发的Emacs配置:https://github.com/citizen428/emacs

  6. ruby-on-rails - 无法在centos上安装therubyracer(V8和GCC出错) - 2

    我正在尝试在我的centos服务器上安装therubyracer，但遇到了麻烦。$geminstalltherubyracerBuildingnativeextensions.Thiscouldtakeawhile...ERROR:Errorinstallingtherubyracer:ERROR:Failedtobuildgemnativeextension./usr/local/rvm/rubies/ruby-1.9.3-p125/bin/rubyextconf.rbcheckingformain()in-lpthread...yescheckingforv8.h...no***e

  7. ruby-on-rails - 独立 ruby​​ 脚本的配置文件 - 2

    我有一个在Linux服务器上运行的ruby​​脚本。它不使用rails或任何东西。它基本上是一个命令行ruby​​脚本，可以像这样传递参数:./ruby_script.rbarg1arg2如何将参数抽象到配置文件(例如yaml文件或其他文件)中？您能否举例说明如何做到这一点？提前谢谢你。 最佳答案 首先，您可以运行一个写入YAML配置文件的独立脚本:require"yaml"File.write("path_to_yaml_file",[arg1,arg2].to_yaml)然后，在您的应用中阅读它:require"yaml"arg

  8. ruby - 通过 RVM (OSX Mountain Lion) 安装 Ruby 2.0.0-p247 时遇到问题 - 2

    我的最终目标是安装当前版本的RubyonRails。我在OSXMountainLion上运行。到目前为止，这是我的过程:已安装的RVM$\curl-Lhttps://get.rvm.io|bash-sstable检查已知(我假设已批准)安装$rvmlistknown我看到当前的稳定版本可用[ruby-]2.0.0[-p247]输入命令安装$rvminstall2.0.0-p247注意:我也试过这些安装命令$rvminstallruby-2.0.0-p247$rvminstallruby=2.0.0-p247我很快就无处可去了。结果:$rvminstall2.0.0-p247Search

  9. ruby - 如何在 Lion 上安装 Xcode 4.6，需要用 RVM 升级 ruby - 2

    我实际上是在尝试使用RVM在我的OSX10.7.5上更新ruby，并在输入以下命令后:rvminstallruby我得到了以下回复:Searchingforbinaryrubies,thismighttakesometime.Checkingrequirementsforosx.Installingrequirementsforosx.Updatingsystem.......Errorrunning'requirements_osx_brew_update_systemruby-2.0.0-p247',pleaseread/Users/username/.rvm/log/138121

  10. ruby - Fast-stemmer 安装问题 - 2

    由于fast-stemmer的问题，我很难安装我想要的任何ruby​​gem。我把我得到的错误放在下面。Buildingnativeextensions.Thiscouldtakeawhile...ERROR:Errorinstallingfast-stemmer:ERROR:Failedtobuildgemnativeextension./System/Library/Frameworks/Ruby.framework/Versions/2.0/usr/bin/rubyextconf.rbcreatingMakefilemake"DESTDIR="cleanmake"DESTDIR=

随机推荐