我关注这个游览http://hortonworks.com/hadoop-tutorial/using-apache-spark-hdp/在HDP2.2上安装Spark。但是它告诉我dfs拒绝了我的连接!我的命令:./bin/spark-submit--classorg.apache.spark.examples.SparkPi--masteryarn-cluster--num-executors3--driver-memory512m--executor-memory512m--executor-cores1lib/spark-examples*.jar10这是日志:tput:Nov
我使用Ambari运行了pig服务检查，但它失败了并出现以下异常。2016-04-0920:35:19,399[JobControl]INFOorg.apache.hadoop.mapreduce.JobSubmitter-Cleaningupthestagingarea/user/ambari-qa/.staging/job_1460043791266_00122016-04-0920:35:19,407[JobControl]INFOorg.apache.hadoop.mapreduce.lib.jobcontrol.ControlledJob-PigLatin:pigSmoke.
根据这篇故障排除文章，我需要向HADOOP_CLASSPATH环境变量添加一个值:https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.3.2/bk_installing_manually_book/content/troubleshooting-phoenix.html当我在控制台中键入echo$HADOOP_CLASSPATH时，我得到一个空结果。我想我需要在config.xml文件中设置这些值...在哪里或如何将这个新值设置为环境变量？我可以在spark-submit中设置吗？ 最佳答案
我正在尝试使用javaAPI将其与hbase连接。我在192.168.56.101本地运行HortonworksSandbox(HDP2.5)。以下是我的java代码importjava.io.IOException;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.hbase.HBaseConfiguration;importorg.apache.hadoop.hbase.client.HTable;importorg.apache.hadoop.hbase.client.Put;importorg.
错误信息:Caughtanexceptionwhileexecutingcustomservicecommand::[Errno13]Permissiondenied:'/var/lib/ambari-agent/cred/conf/hive/hive-site.jceks';[Errno13]Permissiondenied:'/var/lib/ambari-agent/cred/conf/hive/hive-site.jceks'文件存在，将其设置为777并不能解决问题。启动失败的服务是“MySQLServer”。我可以在命令行上启动和重新启动msqld。
我正在尝试运行一个简单的sparkJava应用程序。我可以在我们的集群中通过spark提交来运行应用程序我的job.properties文件如下:nameNode=hdfs://auper01-01-20-01-0.prod.vroc.com.au:8020jobTracker=auper01-02-10-01-0.prod.vroc.com.au:8050master=yarn-clusterqueueName=default#examplesRoot=examplesoozie.use.system.libpath=trueoozie.wf.application.path=${n
我不久前下载了HDP-Sandbox(在OracleVirtualBoxVM中)，但很少使用它，现在我正在尝试使用HiveHDBC从外部世界访问数据。我使用来自apache的hive-jdbc1.2.2，它是我从mvnrepository获得的，所有依赖项都在类路径中，或者hortonworksJDBC从他们的存储库获得http://mvnrepository.com/artifact/org.apache.hive/hive-jdbc/1.2.2或http://repo.hortonworks.com/content/repositories/releases/org/apache/
我们安装了新的Spark版本，因此所有文件夹的名称都类似于:ls/etc/hadoop/2.6.4.0-91confconf.backup从spark-submit我们得到spark-submit--versionWelcometo______/__/__________//___\\/_\/_`/__/'_//___/.__/\_,_/_//_/\_\version2.2.0.2.6.4.0-91/_/我需要确定spark版本-2.6.4.0-91。我们可以做到:ls/etc/hadoop/|grep[0-9]2.6.4.0-91但这种方法不是很好(因为可能有其他带编号的文件夹名称等
我计划从Hortonworks数据平台[HDP](版本2.6.x)升级到HDP3.0。但是，ApacheSpark2.3.x及其与Hadoop3.0的集成似乎存在一些重大错误，这些错误在ApacheSparkJIRA问题中仍未解决。尽管Spark开发团队正在努力解决它们。这些问题是否有Hortonworks团队的解决方法/解决方案，或者它们是否仍然存在于HDP3.0中？关于我的用例的一些Unresolved问题:SparkDataFrames不适用于Hadoop3.0https://issues.apache.org/jira/browse/SPARK-18673Kerberos票证更
我在VirtualBox中下载并启动了HDP2.0，然后尝试使用YarnClient从Java进行连接YarnClientclient=YarnClient.createYarnClient();client.init(newConfiguration());client.start();client.createApplication();但是遇到了以下错误:1311[IPCClient(1943692956)connectionto/192.168.0.31:8050fromlordorient]DEBUGorg.apache.hadoop.ipc.Client.runnull–I
