草庐IT

ubuntu - 无法连接到 http ://localhost:50030/- Hadoop 2. 6.0 Ubuntu 14.04 LTS

我在我的Ubuntu14.04LTS机器上安装了Hadoop2.6.0。我能够成功连接到http://localhost:50070/。我正在尝试连接到http://locahost:50030/我的mapred-site.xml中有以下内容mapred.job.trackerlocalhost:9001但我仍然收到无法连接的错误。我运行了jps命令并得到了以下输出:12272Jps10059SecondaryNameNode6675org.eclipse.equinox.launcher_1.3.100.v20150511-1540.jar10233ResourceManager98

java - Hive 0.14 启动时的非法参数异常

我在使用ACID配置的ApacheHive0.94中遇到异常。我正在将ApacheHadoop2.6与OracleJava8一起使用。有人可以通过指出根本案例和任何可能的修复来帮助我吗:Exceptioninthread"main"java.lang.RuntimeException:java.lang.IllegalArgumentException:java.net.URISyntaxException:RelativepathinabsoluteURI:${system:java.io.tmpdir%7D/$%7Bhive.session.id%7D_resourcesatorg

hadoop - ubuntu 14.04/64b 安装cloudera manager

我正在我的系统(14.04/64b)中安装ClouderaManager。在最后一步安装时,在完成安装之前我在验证中遇到了一些错误,如下所示,上面页面的错误是,错误1个别主机正确解析了自己的主机名。主机localhost应具有名称localhost但将(InetAddress.getLocalHost().getHostName())本身解析为arul-pc。错误2检查/etc/hosts时发现以下错误...主机名localhost不是地址127.0.0.1的第一个匹配项在本地主机上的/etc/hosts中。相反,arul-pc是第一个匹配项。这FQDN必须是相应IP的/etc/hos

hadoop - nutch1.14去重失败

我在CentOSLinux版本7.3.1611上集成了nutch1.14和solr-6.6.0我在/usr/的种子列表中给出了大约10个urllocal/apache-nutch-1.13/urls/seed.txt我跟着tutorial[root@localhostapache-nutch-1.14]#bin/nutchdeduphttp://ip:8983/solr/DeduplicationJob:startingat2018-01-0915:07:52DeduplicationJob:java.io.IOException:NoFileSystemforscheme:httpa

ubuntu - Datanode 进程未在 Ubuntu 14.04 的 Hadoop 2.5.2 中运行

我已经使用本指南在Ubuntu14.04上安装了Hadoop2.5.2单节点http://www.vasanthivuppuluri.com/hadoop/installing-hadoop-2-5-1-on-64-bit-ubuntu-14-01/当我输入start-all.sh然后jps输出不显示数据节点进程。hduser@jerrygoyal-Lenovo-B490:~$jps18043NodeManager18327Jps17913ResourceManager17763SecondaryNameNode17018NameNode我也试过Datanodeprocessnotru

azure - 即使使用 hive.merge,Tez : one file per insert, 上的 Hive 0.14。 active

我需要每隔15分钟将数据插入到存储为ORC的不同表中并聚合值。那些INSERT使用动态分区。每个INSERT都会在分区中创建一个新文件,这会减慢我的聚合查询速度。我在网上搜索,发现了一些关于这个案例的主题,比如thisone.所以我在hive-site.xml中添加了这些设置:hive.merge.mapfiles=true;hive.merge.mapredfiles=true;hive.merge.tezfiles=truehive.merge.smallfiles.avgsize=256000000;但即使使用这些设置,每次插入都会在每个分区上创建一个新文件,并且文件不会合并。有

linux - 在 Ubuntu 14.04 上手动安装 Hadoop 多节点集群

我是Hadoop的新手。对于我的大学项目,我们有4个虚拟机。我需要在此配置多模式Hadoop集群(1主3从)并在其上运行我的webapp。我会在我的项目中使用HBase。通常使用CentOS来安装和部署HDP,而我得到的是ubuntu。我无法使用Apacheambari插件进行安装,因为它在Ubuntu中不受支持。我需要手动部署它们,因此我尝试寻找教程。我查找了在ubuntu上安装HDP多节点集群的教程并找到了这个[http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluste

hadoop - 配置单元 0.14.0.2.2.4.10-1 : Multi Insert - Empty partition

我正在尝试使用以下查询进行多次插入。Fromkiran.employee_partepinsertoverwritetablekiran.employee_ext_partpartition(pdept='gbm',pspm='ajay')selectep.id,ep.name,ep.dept,ep.skill,ep.sal,ep.mgr,ep.spm,ep.commentwhereep.pdept='gbm'andep.pspm='ajay'insertoverwritetablekiran.employee_ext_partpartition(pdept='rw',pspm='pr

hadoop - 删除或更新操作在配置单元 0.14 上不起作用

任何人都知道为什么删除/更新操作在配置单元0.14中不起作用(它应该从0.14版本开始工作)即使我确实按照步骤/格式创建表并得到:FAILED:SemanticException[Error10294]:Attempttodoupdateordeleteusingtransactionmanagerthatdoesnotsupporttheseoperations.运行删除操作。请帮我解决这个问题。CREATETABLESTUDENT(STD_IDINT,STD_NAMESTRING,AGEINT,ADDRESSSTRING)CLUSTEREDBY(ADDRESS)into3bucke

hadoop - hive 0.14更新和删除查询配置错误

在apachehive0.14中,我们可以通过支持ACID配置来更新和删除查询:hive.configuration:hive.support.concurrency–truehive.enforce.bucketing–truehive.exec.dynamic.partition.mode–nonstricthive.txn.manager–org.apache.hadoop.hive.ql.lockmgr.DbTxnManagerhive.compactor.initiator.on–true(forexactlyoneinstanceoftheThriftmetastorese