草庐IT

hortonworks-dataflow

全部标签

hadoop - 身份验证失败,状态 : 503 error hortonworks HDP 2. 4

我收到以下错误:(通过命令行和网络界面)。有用信息:1.Hive、HDFS、Yarn服务启动并运行。2.我什至可以通过命令行和Web界面进入配置单元提示符。当我使用showdatabases时出现错误。(或单击网络界面数据库资源管理器上的刷新符号)。3.我以root用户登录,hdfs用户4.我尝试将/user/root目录的权限更改为755任何帮助将不胜感激..----------------错误消息的开始(从网络界面日志中复制)无法提交声明。处理语句时出错:失败:配置单元内部错误:com.sun.jersey.api.client.ClientHandlerException(jav

hadoop - hortonworks 沙箱上的诺克斯网关

我已经安装了knox服务器并完成了hortonworks网站上提到的所有步骤。当我在沙箱上运行以下命令时,它为我提供了正确的输出。curlhttp://sandbox:50070/webhdfs/v1?op=GETHOMEDIRECTORY现在我有另一个运行fedora的虚拟机。我假设它是外部客户端并尝试进行外部访问但没有输出:-curl-khttps://:8443/gateway/sandbox/webhdfs/v1?op=GETHOMEDIRECTORY谁能指出我的设置有什么问题。 最佳答案 不确定您的拓扑结构,但如果您使用的

hadoop - 如何使用 Spring DataFlow 部署自治应用程序?

我的应用程序配置为从配置的Kafka读取主题,然后将转换后的结果写入HadoopHDFS。为此,它需要在Yarn集群节点上启动。为此,我们想使用SpringDataFlow。但是由于这个应用程序不需要来自另一个流的任何输入(它已经知道从哪里提取它的源),并且什么都不输出,我如何从它创建一个有效的DataFlow流?换句话说,这将是一个仅由一个应用程序组成的流,它应该在Yarn节点上无限期运行。 最佳答案 在这种情况下,您需要一个连接到Kafka中指定目的地并写入HDFS的流定义。例如,流看起来像这样:streamcreatea1--

hadoop - 关于设置本地存储库 Hortonworks

我正在尝试学习使用HortonworksAmbair(适用于HDP)设置本地存储库。我指的是Hortonworks的官方指南;引用如下:我无法理解为什么我们必须下载.repo文件和.tar文件?如果我们有临时访问权限并且某些进程会下载实际的二进制文件,是否需要.repo文件?如果是这样,那么哪个进程会下载它?如果我们根本无法访问互联网,是否需要.tar.gz文件,而这个.tar.gz指的是实际的软件分发?谁能指导我这些是什么意思? 最佳答案 .repo文件是yum用来从远程中央服务器下载二进制文件的配置文件。.tar文件是所有这些二

hadoop - Hortonworks Oozie Spark 操作 - NullPointerException

我在HDP2.5.3和oozie4.2.0上运行。spark操作设置为以yarn-client模式运行。SparkJob用于从hive表中获取数据,对其进行处理并将其存储在HDFS中。但是当我尝试从SparkAction提交Spark应用程序时,我得到了NullPointerException。workflow.xml${job_tracker}${name_node}hive2.jdbc.url${hive_beeline_server}hive2.server.principal${hive_kerberos_principal}${job_tracker}${name_node}

hadoop - 如何在谷歌云实例上运行 hortonworks 沙箱环境?

我想学习hadoop,因此在我的本地机器上下载了hortonworks沙盒并在vmbox上打开它。但是由于内存不足,我正在考虑使用云虚拟机实例。我使用wget在实例上安装了hortonworks沙箱,但它在ova文件中?我怎样才能打开它?如何开始在我的实例上使用hadoopeenvironment?我想通过我的云实例进入ambariGUI。有什么办法吗? 最佳答案 您不能将Hortonworks沙箱从ova安装到VM实例中。沙箱是一种虚拟机设置,用于在您的桌面上安装到VirtualBox等产品中。您的GoogleComputeEng

hadoop - 在现有的 Hortonworks HDP 集群中安装 Spark 1.5

我是Hadoop的新手,想知道如何在现有的Hadoop集群上安装Spark1.5.1。4个节点,Ubuntu14.04。Hadoop2.3.2。安巴里版本2.1.2.1。已关注tutorial,但是有Ubuntu12的spark版本,我无法在我们的系统上安装它。所以在第1步之后我坚持了下来。sudoapt-getinstallspark_2_3_2_1_12-master-y出现错误:Readingpackagelists...DoneBuildingdependencytreeReadingstateinformation...DoneE:Unabletolocatepackages

hadoop - Apache Ambari 未在 hortonworks 沙箱中启动

我正在玩hortonworkssandbox,但我无法让ApacheAmbari工作。如您所见,在访问Hortonworks沙箱的欢迎页面时,我收到一条消息:默认情况下禁用服务。要启用该服务,您需要以ambari管理员身份登录。如“SecureShell(SSH)Client”一节中所述,可以通过ssh以root身份进入vm来设置ambari管理员密码。以root用户身份登录后,执行ambari-admin-password-reset并按照提示进行操作我这样做了,但是当我访问链接时,它仍然无法正常工作:127.0.0.1:8080。我检查了ambari-server是否正在运行:[r

ubuntu - Ubuntu 上的 Hadoop 安装,Hadoop 文件 VS Hortonworks 或 Cloudera

我正在尝试在我的机器上安装Hadoop。目前我有Windows和Ubuntu操作系统。我一直在寻找安装Hadoop的可能方法,并且遇到了Hortonworks网站。从他们的网站上,他们为虚拟机提供沙箱,不知道是否有直接在操作系统上安装的选项。问题是从http://hadoop.apache.org/安装会有所不同吗??或者安装像Hortonworks或Cloudera这样的东西?我读过使用hadoop文件可以更好地理解Hadoop,但是它是否适合只想使用它创建应用程序的人?我更喜欢使用操作系统而不是虚拟机。谢谢。 最佳答案 是的,有

hadoop - Hadoop 2.x (Hortonworks) 上的辅助名称节点

在Hortonworks、cloudera学习hadoop2.x技术,发现hadoop2.x的架构中没有secondarynamenode;它被替换为一个备用名称节点。是否已弃用辅助节点?据我了解,备用namenode函数不同于辅助namenode函数。我可以在没有辅助namenode和备用namenode的情况下构建Hadoop而不会损失性能吗? 最佳答案 据我所知,secondary和standby具有不同的功能。在HA集群的情况下使用standbynamenode你的问题1.Secondarynode没有被弃用,但是如果你正在