一、背景kerberos认证是比较底层的认证，掌握好了用起来比较简单。kettle完成kerberos认证后会存储认证信息在jvm中，之后直接连接hive就可以了无需提供额外的用户信息。sparkthriftserver本质就是通过hivejdbc协议连接并运行sparksql任务。二、思路kettle中可以使用js调用java类的方法。编写一个jar放到kettle的lib目录下并。在启动kettle后会自动加载此jar中的类。编写一个javascript转换完成kerbero即可。二、kerberos认证模块开发准备使用scala语言完成此项目。hadoop集群版本:cdh-6.2.0ke

我正在运行一个SparkThriftServer，这样我就可以对存储在Hive表中的数据执行SparkSQL命令。当我启动beeline以显示我当前的表格时:user@mn~$beeline!connectjdbc:hive2://mn:10000showtables;+------------+--------------+--+|tableName|isTemporary|+------------+--------------+--++------------+--------------+--+输出显示我的数据库中没有表。但是，如果我使用(已弃用的)CLIhive，我会得到不同

背景本篇主要讲解如何配置Sparkthriftserver，从而可以使用JDBC方式通过Sparkthriftserver操作Hudi表。博主的环境信息：Spark3.1.1Hive3.1.0Hadoop3.1.1Hudi0.11.1环境准备首先，我们需要编译Hudi。然后找到编译后输出的hudi-spark3.1-bundle_2.12-0.11.1.jar和hudi-hadoop-mr-bundle-0.11.1.jar，复制到$SPARK_HOME/jars中。找一台已经安装了maven的服务器。执行：gitclonehttps://github.com/apache/hudi.git源

在具有kerberos的Hadoop-2.7.1安全集群上配置了Spark-1.4.1和Hive-1.2.1。在未启用sasl的情况下启动外部元存储。我可以使用直线在Hiveserver2中执行基本操作。尝试启动SparkThrift服务器时，出现与委托(delegate)token相关的异常。命令spark-submit--classorg.apache.spark.deploy.history.HistoryServer--masteryarn-clientC:\Spark\lib\spark-core_2.10-1.4.0.jarSpark异常15/07/2816:07:31IN

我在Hadoop集群中使用HDFS2.7.3和Spark22.0.0。当我启动Spark2ThriftServer时，它成功启动，但自动从Hive用户那里开始运行，它似乎永远挂起。如果我手动终止作业，它会再次使用新的applicationId启动新作业。但如果我停止Spark2Thrift服务器，它就会终止工作。你能帮我理解这个问题吗？提前致谢。 最佳答案 我也遇到过和你一样的问题，spark2.0的thriftserver模块不稳定，最好升级到spark2.1 关于hadoop-Spa