草庐IT

Presto安装集成kerberos

江南独孤客 2023-03-28 原文

解压presto-server包

tar -zxvf presto-server-0.276.tar.gz

件目录结构如下

drwxr-xr-x 3 rong rong 4096 Mar 29 10:29 bin
drwxrwxr-x 2 rong rong 12288 Mar 29 09:54 lib
-rw-r--r-- 1 rong rong 191539 Mar 5 02:48 NOTICE
drwxrwxr-x 33 rong rong 4096 Mar 29 09:54 plugin
-rw-r--r-- 1 rong rong 126 Mar 5 02:48 README.txt

创建etc目录

mkdir etc

结构如下：

drwxr-xr-x 3 rong rong 4096 Mar 29 10:29 bin
drwxrwxr-x 3 rong rong 4096 Mar 29 15:08 etc
drwxrwxr-x 2 rong rong 12288 Mar 29 09:54 lib
-rw-r--r-- 1 rong rong 191539 Mar 5 02:48 NOTICE
drwxrwxr-x 33 rong rong 4096 Mar 29 09:54 plugin
-rw-r--r-- 1 rong rong 126 Mar 5 02:48 README.txt

在etc目录创建需要配置文件

  1. 创建config.propertie
touch config.properties

内容如下：

# 指定是否运维Presto实例作为一个coordinator(接收来自客户端的查询情切管>理每个查询的执行过程)
coordinator=true
# 是否允许在coordinator服务中进行调度工作,
node-scheduler.include-coordinator=true
http-server.http.port=8080
query.max-memory=100MB
query.max-memory-per-node=100MB
query.max-total-memory-per-node=100MB
discovery-server.enabled=true
discovery.uri=http://hadoop-test001:8080
# 如果节点是worker 则是以下配置
# coordinator=false
# http-server.http.port=8080
# query.max-memory=50GB
# query.max-memory-per-node=1GB
# query.max-total-memory-per-node=2GB
# discovery.uri=http://hadoop-test002:8080

  1. 创建jvm.config
touch jvm.config

内容如下：

-server
-Xmx500M
-XX:+UseG1GC
-XX:G1HeapRegionSize=32M
-XX:+UseGCOverheadLimit
-XX:+ExplicitGCInvokesConcurrent
-XX:+HeapDumpOnOutOfMemoryError
-Djava.security.krb5.conf=/etc/krb5.conf

注意：如果集群没有集成kerberos，配置最后一行需要去掉。


  1. 创建log.properties
配置日志级别

touch log.properties

  1. 创建node.properties
touch node.properties

内容如下：

# 集群名称, 所有在同一个集群中的Presto节点必须拥有相同的集群名称
node.environment=production
# 每个Presto节点的唯一标示。每个节点的node.id都必须是唯一的
node.id=hadoop-test02
#该路径要自己创建 随意的目录
node.data-dir=/var/presto/data

在etc目录下创建catlog目录

mkdir catalog

在catalog目录下配置数据源

  1. 配置mysql数据源
touch mysql.properties

connector.name=mysql
connection-url=jdbc:mysql://hadoop-test002:3306
connection-user=root
connection-password=root

  1. 配置hive数据源（没权限）
touch hive.properties

# name后面为固定写法
connector.name=hive-hadoop2
# 需要启动hive metastore服务
hive.metastore.uri=thrift://hadoop-test003:9083
# hadoop集群的配置文件目录
hive.config.resources=${HADOOP_HOME}/etc/hadoop/core-site.xml,${HADOOP_HOME}/etc/hadoop/hdfs-site.xml

客户端配置

将客户端放到 ${PRESTO_HOME}/bin 下：


mv presto-cli-0.276-executable.jar ${PRESTO_HOME}/bin

修改名称为 presto ,并赋予执行权限 chmod +x

mv presto-cli-0.276-executable.jar presto
# 赋权执行权限
chmod +x presto

测试

--启动服务
bin/launcher run
--启动客户端
./presto --server hadoop-test001:8080 --catalog myslq

集成kerberos

生成persto主体的princal

kadmin.local -q "addprinc -randkey presto/admin@WANG.COM"
kadmin.local -q "xst -norandkey -k presto.keytab presto/admin@WANG.COM"

集成Kerberos环境Hive

  1. 修改hive.properties
connector.name=hive-hadoop2
#需要启动hive metastore服务
hive.metastore.uri=thrift://hadoop-test006:9083
#配置Presto访问HiveMetastore服务的Kerberos信息，该段配置可以只存在Presto的Coordinator节点
hive.metastore.authentication.type=KERBEROS
hive.metastore.service.principal=hive/_HOST@WANG.COM
hive.metastore.client.principal=presto/admin@WANG.COM
hive.metastore.client.keytab=/root/presto.keytab

#配置Presto访问HDFS的Kerberos信息，改段配置可以只存在Presto的Worker节点
hive.hdfs.authentication.type=KERBEROS
hive.hdfs.impersonation.enabled=true
hive.hdfs.presto.principal=presto/admin@WANG.COM
hive.hdfs.presto.keytab=/root/presto.keytab
# hadoop集群的配置文件目录
hive.config.resources=/etc/hadoop/conf/core-site.xml,/etc/hadoop/conf/hdfs-site.xml

在hive.properties配置文件中增加访问HiveMetastore和HDFS的Kerberos认证信息，将如上配置同步至Presto集群所有节点的${PRESTO_HOME}/etc/catalog/hive.properties文件中。

注意：在配置hive.metastore.url时，需要使用HiveMetastore服务的HOSTNAME，否则在使用Kerberos访问HiveMetastore时会报找不到Kerberos账号的错误。

  1. 修改config.properties
-server
-Xmx500M
-XX:+UseG1GC
-XX:G1HeapRegionSize=32M
-XX:+UseGCOverheadLimit
-XX:+ExplicitGCInvokesConcurrent
-XX:+HeapDumpOnOutOfMemoryError
-Djava.security.krb5.conf=/etc/krb5.conf

注意最后一行

3. 配置HDFS

修改core-site.xml：添加presto的代理用户，不然会报错

<property>
<name>hadoop.proxyuser.presto.hosts</name>
<value>*</value>
</property>
<property><name>hadoop.proxyuser.presto.groups</name>
<value>*</value>
</property>

  1. 重启HDFS 和 presto
./bin/launcher restart

5.测试

presto --server http://hadoop-test001:8080 --catalog hive --schema default

测试命令

show schemas;

Schema
--------------------
default
information_schema
test
(3 rows)


kerberosPrestospanstylecolorhivehadoophdfsHadoop大数据

有关Presto安装集成kerberos的更多相关文章

  1. ruby - 在 64 位 Snow Leopard 上使用 rvm、postgres 9.0、ruby 1.9.2-p136 安装 pg gem 时出现问题 - 2

    我想为Heroku构建一个Rails3应用程序。他们使用Postgres作为他们的数据库，所以我通过MacPorts安装了postgres9.0。现在我需要一个postgresgem并且共识是出于性能原因你想要pggem。但是我对我得到的错误感到非常困惑当我尝试在rvm下通过geminstall安装pg时。我已经非常明确地指定了所有postgres目录的位置可以找到但仍然无法完成安装:$envARCHFLAGS='-archx86_64'geminstallpg--\--with-pg-config=/opt/local/var/db/postgresql90/defaultdb/po

  2. ruby - 完全离线安装RVM - 2

    我打算为ruby​​脚本创建一个安装程序，但我希望能够确保机器安装了RVM。有没有一种方法可以完全离线安装RVM并且不引人注目(通过不引人注目，就像创建一个可以做所有事情的脚本而不是要求用户向他们的bash_profile或bashrc添加一些东西)我不是要脚本本身，只是一个关于如何走这条路的快速指针(如果可能的话)。我们还研究了这个很有帮助的问题:RVM-isthereawayforsimpleofflineinstall?但有点误导，因为答案只向我们展示了如何离线在RVM中安装ruby。我们需要能够离线安装RVM本身，并查看脚本https://raw.github.com/wayn

  3. ruby-on-rails - rails 目前在重启后没有安装 - 2

    我有一个奇怪的问题:我在rvm上安装了ruby​​onrails。一切正常，我可以创建项目。但是在我输入“railsnew”时重新启动后，我有“程序'rails'当前未安装。”。SystemUbuntu12.04ruby-v"1.9.3p194"gemlistactionmailer(3.2.5)actionpack(3.2.5)activemodel(3.2.5)activerecord(3.2.5)activeresource(3.2.5)activesupport(3.2.5)arel(3.0.2)builder(3.0.0)bundler(1.1.4)coffee-rails(

  4. ruby - 如何为 emacs 安装 ruby​​-mode - 2

    我刚刚为fedora安装了emacs。我想用emacs编写ruby。为ruby​​提供代码提示、代码完成类型功能所需的工具、扩展是什么？ 最佳答案 ruby-mode已经包含在Emacs23之后的版本中。不过，它也可以通过ELPA获得。您可能感兴趣的其他一些事情是集成RVM、feature-mode(Cucumber)、rspec-mode、ruby-electric、inf-ruby、rinari(用于Rails)等。这是我当前用于Ruby开发的Emacs配置:https://github.com/citizen428/emacs

  5. ruby-on-rails - 无法在centos上安装therubyracer(V8和GCC出错) - 2

    我正在尝试在我的centos服务器上安装therubyracer，但遇到了麻烦。$geminstalltherubyracerBuildingnativeextensions.Thiscouldtakeawhile...ERROR:Errorinstallingtherubyracer:ERROR:Failedtobuildgemnativeextension./usr/local/rvm/rubies/ruby-1.9.3-p125/bin/rubyextconf.rbcheckingformain()in-lpthread...yescheckingforv8.h...no***e

  6. ruby - 通过 RVM (OSX Mountain Lion) 安装 Ruby 2.0.0-p247 时遇到问题 - 2

    我的最终目标是安装当前版本的RubyonRails。我在OSXMountainLion上运行。到目前为止，这是我的过程:已安装的RVM$\curl-Lhttps://get.rvm.io|bash-sstable检查已知(我假设已批准)安装$rvmlistknown我看到当前的稳定版本可用[ruby-]2.0.0[-p247]输入命令安装$rvminstall2.0.0-p247注意:我也试过这些安装命令$rvminstallruby-2.0.0-p247$rvminstallruby=2.0.0-p247我很快就无处可去了。结果:$rvminstall2.0.0-p247Search

  7. ruby - 如何在 Lion 上安装 Xcode 4.6，需要用 RVM 升级 ruby - 2

    我实际上是在尝试使用RVM在我的OSX10.7.5上更新ruby，并在输入以下命令后:rvminstallruby我得到了以下回复:Searchingforbinaryrubies,thismighttakesometime.Checkingrequirementsforosx.Installingrequirementsforosx.Updatingsystem.......Errorrunning'requirements_osx_brew_update_systemruby-2.0.0-p247',pleaseread/Users/username/.rvm/log/138121

  8. ruby - Fast-stemmer 安装问题 - 2

    由于fast-stemmer的问题，我很难安装我想要的任何ruby​​gem。我把我得到的错误放在下面。Buildingnativeextensions.Thiscouldtakeawhile...ERROR:Errorinstallingfast-stemmer:ERROR:Failedtobuildgemnativeextension./System/Library/Frameworks/Ruby.framework/Versions/2.0/usr/bin/rubyextconf.rbcreatingMakefilemake"DESTDIR="cleanmake"DESTDIR=

  9. ruby-on-rails - 如何使辅助方法在 Rails 集成测试中可用？ - 2

    我在app/helpers/sessions_helper.rb中有一个帮助程序文件，其中包含一个方法my_preference，它返回当前登录用户的首选项。我想在集成测试中访问该方法。例如，这样我就可以在测试中使用getuser_path(my_preference)。在其他帖子中，我读到这可以通过在测试文件中包含requiresessions_helper来实现，但我仍然收到错误NameError:undefinedlocalvariableormethod'my_preference'.我做错了什么？require'test_helper'require'sessions_hel

  10. ruby - 安装 Ruby 时遇到问题(无法下载资源 "readline--patch") - 2

    当我尝试安装Ruby时遇到此错误。我试过查看this和this但无济于事➜~brewinstallrubyWarning:YouareusingOSX10.12.Wedonotprovidesupportforthispre-releaseversion.Youmayencounterbuildfailuresorotherbreakages.Pleasecreatepull-requestsinsteadoffilingissues.==>Installingdependenciesforruby:readline,libyaml,makedepend==>Installingrub

随机推荐