草庐IT

Hortonworks

全部标签

hadoop - 如何安装 Hortonworks 的 HDP?

我是这方面的新手,我想知道如何按照下一个规范安装Hortonworks、HDP(http://hortonworks.com/products/data-center/hdp/)提供的解决方案:我有2台虚拟机和另一台要使用的本地机器,我我想在配置ApacheSPARK时将2个虚拟机用作主节点和工作节点。但我的问题是:我必须做什么才能正确安装HDP?我必须在我的本地机器上安装te解决方案并配置ApacheSPARK以将这2个虚拟机用作主节点和工作节点?或者我必须在我拥有的3台机器上安装HDP?我再说一遍,我是这方面的新手,如果您能提供任何答案或评论,这对我都将非常有帮助。非常感谢!

hadoop - 边缘节点 hortonworks 使用

我有一个配置了HA的6节点(2个主节点+4个从节点)生产集群。实际拓扑是:大师1:活跃的HBase大师hive元存储HiveServer2HST服务器诺克斯网关事件NameNodeOozie服务器事件资源管理器WebHCat服务器动物园管理员服务器HST代理期刊节点指标监控大师2:应用时间线服务器备用HBaseMaster历史服务器InfraSolr实例指标收集器格拉法纳备用NameNode备用资源管理器Spark2历史服务器飞艇笔记本动物园管理员服务器HST代理期刊节点指标监控客户奴隶1/2/3:数据节点区域服务器HST代理节点管理器指标监控其中一个从节点包含:JournalNode

hadoop - hortonworks 沙箱 : connection denied

如何通过ssh连接到hortonworks的沙箱(2.5)?sshmaria_dev@127.0.0.1我收到消息:权限被拒绝,请重试 最佳答案 我整理好了。有必要把端口放在最后。sshmaria_dev@127.0.0.1-p2222 关于hadoop-hortonworks沙箱:connectiondenied,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.com/questions/52163040/

hadoop - "Unexpected Error"加入 2 个简单表

我已经创建了一个配置单元数据库。我使用HortonworksODBC驱动程序为Hive创建了一个ODBC数据源。我使用来自Tableau9(桌面)的数据源。我可以查询表DimA,我可以查询表FactA。但是在tableau中,如果我尝试进行连接,则会出现错误[Hortonworks][HiveODBC](35)ErrorfromHive:errorcode:'0'errormessage:'ExecuteStatementfinishedwithoperationstate:ERROR_STATE'.UnexpectedError我可以轻松地转到我的集群并在hiveshell中发出相同

hadoop - Hive 不会在 Hortonworks 2.2.4 中运行

我刚刚下载了HortonworksSandbox2.2.4,当我关注Hortonwork'stutorialonHive时我注意到了,我明白了,HCatClienterroroncreatetable:{"statement":"usedefault;createtablenyse_stocks(`exchange`string,`stock_symbol`string,`date`string,`stock_price_open`float,`stock_price_high`float,`stock_price_low`float,`stock_price_close`float,

java - 未入门Hortonworks沙盒中的Datanode进程手动设置

我是Hortonworks沙箱的新手。我正在尝试通过此链接在我的系统(ubuntu-14.04)上手动设置它。http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.2.4/HDP_Man_Install_v224/index.html#validating_core_hadoop.在运行下面的命令以运行Datanode之后。/usr/hdp/current/hadoop-hdfs-datanode/../hadoop/sbin/hadoop-daemon.sh--config$HADOOP_CONF_DIRstartdatanodeDa

scala - 如何在 HDP(Hortonworks 数据平台)中安装 Scala 库

提前感谢您花时间阅读本文,抱歉我的英语不好。我正在尝试使用Spark流进行实时数据处理。我在HDP(Hortonworks数据平台)中安装了Spark,对于我的流程,我需要为JSONparsing安装一个scala库。我在互联网上阅读了很多关于此的内容,但它只是针对一个简单的SparkCluster,而不是针对HDP和CDH之类的解决方案,我尝试调整该解决方案但我做不到,我找不到任何scala文件来安装它.有人知道可以帮助我的解决方案或提示吗?谢谢 最佳答案 要在Zeppelin中加载Spark的依赖项,您需要创建一个新单元并使用以

hadoop - Hortonworks 数据平台 : High load causes node restart

我已经使用HortonworksDataPlatform2.5设置了一个Hadoop集群。我正在使用1个主节点和5个从(工作)节点。每隔几天,我的一个(或多个)工作节点就会承受高负载,并且似乎会自动重启整个CentOS操作系统。重新启动后,Hadoop组件不再运行,必须通过Amabri管理UI手动重新启动。这里是“崩溃”节点的屏幕截图(大约4小时前在高负载值后重新启动):这是其他“健康”工作节点之一的屏幕截图(所有其他工作节点都具有相似的值):节点在5个工作节点之间交替崩溃,主节点似乎运行没有问题。什么会导致这个问题?这些高负载值从何而来? 最佳答案

hadoop - 无法将数据加载到 Pig 中的 Hortonworks 沙箱

嗨,我是hadoop的新手,当我第一次运行这个命令时LOAD'Pig/iris.csv'usingPigStorage(',')弹出错误:LOAD'Pig/iris.csv'usingPigStorage(',');2014-09-0506:04:04,853[main]INFOorg.apache.pig.Main-ApachePigversion0.12.1.2.1.1.0-385(rexported)compiledApr162014,15:59:002014-09-0506:04:04,885[main]INFOorg.apache.pig.Main-Loggingerrorm

hadoop - 如何使用 Hortonworks hdp SSH 客户端释放非 DFS 已用空间?

我正在使用HDP自学学习大数据基础知识。今天我遇到了以下问题:HDFS磁盘使用率为91%。使用非DFS时31.2GB/41.6GB(74.96%)。我到底应该怎么做才能释放磁盘空间?是否可以从沙箱hdpSSH客户端进行操作?我在Virtualbox上运行HPD。我已经从沙箱hdpSSH客户端执行了命令:hdfsdfs-du-h/但这显然是HDFS数据使用。12.2M/app-logs1.5G/apps0/ats860.9K/demo724.4M/hdp0/livy2-recovery0/mapred0/mr-history479.6M/ranger176.6K/spark2-histo