草庐IT

HiveThriftServer

全部标签

hadoop - Spark 应用程序继续运行并且似乎挂起 - org.apache.spark.sql.hive.thriftserver.HiveThriftServer2

我在Hadoop集群中使用HDFS2.7.3和Spark22.0.0。当我启动Spark2ThriftServer时,它成功启动,但自动从Hive用户那里开始运行,它似乎永远挂起。如果我手动终止作业,它会再次使用新的applicationId启动新作业。但如果我停止Spark2Thrift服务器,它就会终止工作。你能帮我理解这个问题吗?提前致谢。 最佳答案 我也遇到过和你一样的问题,spark2.0的thriftserver模块不稳定,最好升级到spark2.1 关于hadoop-Spa

hadoop - 避免以编程方式使用创建的上下文启动 HiveThriftServer2

我们正在尝试使用ThriftServer从spark2.0.0中的spark临时表中查询数据。首先,我们创建了启用Hive支持的sparkSession。目前,我们像这样使用sqlContext启动ThriftServer:HiveThriftServer2.startWithContext(spark.sqlContext());我们有带有注册临时表“spark_temp_table”的Spark流:StreamingQuerystreamingQuery=streamedData.writeStream().format("memory").queryName("spark_tem