我正在尝试创建一个概念证明，表明一家公司可以将他们的数据从他们的oracle12c数据库迁移到hadoop系统..为此，我在AWS上启动了一个OracleLinux7实例。我打算在上面安装Oracle12c。之后我必须创建虚拟表并将它们发送到Hadoop。这能做到吗？从我最初的研究中，我可以看到Sqoop和OracleGoldenGate可以做到这一点。如果它上线，我将不得不将数十亿条记录从oracle12c传输到HDFS。非常感谢任何帮助或建议.. 最佳答案 您必须使用sqoop将oracle数据转换为hive。您可以阅读此了解更
我是Hadoop的初学者，想在Hadoop上做最后一年的项目。但第一个问题是安装。我阅读了有关cloudera的信息，但它只是令人困惑。我想在ubuntu12.10中为多节点安装hadoop。请任何人都可以帮助我!另外，如果您可以将我链接到一些不错的hadoop教程，那将是最好的。 最佳答案 我已经在我的Ubuntu12.10上安装了Hadoop1和2，没有任何问题，下面是我的操作方法，希望对您有所帮助:http://tuliodomingos.blogspot.com.es/2013/04/installing-apache-ha
我刚刚设置了一个新的Ubuntu12.04VM(Virtualbox)并想在其上测试Hadoop。我正在遵循本指南:http://hadoop.apache.org/docs/r0.20.2/quickstart.html我想我在java安装和JAVA_HOME路径上做错了......现在bin/hadoop总是只返回“commandnotfound”我必须在哪里提取hadoop文件夹？我需要先设置SSH吗？SSHD呢？安装正确java版本的命令是什么？我必须在hadoop-env.sh文件中输入什么？谢谢! 最佳答案 我使用了这个
我正在编写一个小型Java应用程序来连接到HBase节点。ZooKeeper连接成功，但是后来，我系统性的报如下错误(当然我已经更改了我的IP地址):org.apache.hadoop.hbase.MasterNotRunningException12.34.56.78:60000有谁知道发生了什么以及如何解决这个问题？谢谢! 最佳答案 好的，解决了这个问题。在某人自杀之前...->问题是由中央maven存储库(当前为0.90.xx)中可用的HBase.jar版本与Cloudera的CDH3安装包(0.89.xx)使用的版本不匹配引
我写了一个hadoop程序，在单机上运行，效果很好。但是当我将它迁移到一个集群(一个名称节点，12个数据节点)时遇到了以下问题(作业没有启动并在map启动后立即完成)命令在终端上运行:hadoopjarVOConeSearch.jarinputoutput142.82-3.321(这里input是hdfs中的一个目录用于输入，output是程序写入的hdfs目录，执行前hdfs中没有输出目录，142.82,-3.32,1是三个额外的参数)集群信息当我运行程序时，输入目录包含167537个文件11/06/1109:33:49INFOsecurity.Groups:Groupmappi
通过Ambari安装HDP2.0的步骤是什么？我已尝试使用Hortonworks文档中描述的步骤。但是，安装不成功。 最佳答案 Ambari支持RHEL(centos)6和7；SLES11sp3;Ubuntu12和Ubuntu14；Debian7. 关于hadoop-在Ubuntu12.04中安装HDPAmbari，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/20632822/
我必须使用hadoopmapreduce代码解析x12文件。有人可以建议我怎么做吗？解析后的输出应该可以被其他一些hadoop工具使用，比如hive谢谢，罗克托 最佳答案 我们需要更多信息，但在较高级别:根据您的语言获取或创建X12解析器。https://code.google.com/p/x12-parser/http://www.smooks.org/mediawiki/index.php?title=Main_Page确定您的mapreduce作业将输出什么:每个X12文档的XML树一堆片段???编写一个获取X12文档的作业(
我正在尝试使用Hive0.12配置MySQL，这就是我所做的-我安装了MySQL-mysqlVer14.14Distrib5.5.35，用于使用readline6.2的debian-linux-gnu(x86_64)mysql-connector-java-5.1.30并将jar文件复制到$HIVE_HOME/lib已安装HIVE0.12这是hive-site.xml条目javax.jdo.option.ConnectionURLjdbc:mysql://localhost:3306/metastore_db?createDatabaseIfNotExist=truemetadatai
我正在尝试在hadoop中运行mapreduce程序。基本上它接受一个文本文件作为输入，其中每一行都是一个json文本。我使用简单的json在我的映射器中解析这些数据，而reducer做一些其他的事情。我在hadoop/lib文件夹中包含了简单的jsonjar文件。这是下面的代码packageorg.myorg;importjava.io.IOException;importjava.util.Iterator;importjava.util.*;importorg.json.simple.JSONArray;importorg.json.simple.JSONObject;impor
如果我们有12个分区键而我们只有8个Reducer，将创建多少个op部分文件？创建的零件文件数量是否为12，即使4个reducer可以用于2个键。IE。1个reducer是否会发出2个部分文件，因为它使用2个键(对于4个Reducer)或者两个键的数据(给1个Reducer)将合并到一个部分文件中，因此只生成8个部分文件？ 最佳答案 如果4个reducer为2个键工作，则创建的部分文件的数量将为8。一个reduce任务将只生成一个部分文件，即使它需要多个键。一个reduce任务分区可能包含多个键，并且它们是排序的。减少Reducer
