草庐IT

java - Cloudera 中的 Hive 可以在没有数据库(如 Mysql、Oracle)的情况下工作吗

我安装了Cloudera并想使用Hive,但它不起作用。你能解释一下我是否需要为正常工作配置单元安装相同的数据库(Oracle或MySQL),还是没有必要? 最佳答案 默认情况下,Derby数据库一次只能支持一个Activity用户。因此出于学习目的,您不需要MySQL/Oracle。如果您需要探索更多选项,请阅读~~>ConfiguringtheHiveMetastoreClouderarecommendsusingthismodeforexperimentalpurposesonly.Thisisthedefaultmetast

oracle - Sqoop Oracle Import 不创建表

我想使用Sqoop将数据从Oracle数据库导入到Hive。我希望Sqoop将表创建到目标Hive数据库中。我把OracleJDBC(ojdbc6.jar)放到了Sqooplib目录下。我尝试了这两种方法,但都不起作用。sqoopimport\--connectjdbc:oracle:thin:@${DB_HOST}:${DB_PORT}:${DB_NAME}\--username${DB_USER}\--password${DB_PWD}\--table${INPUT_TABLE}\--hcatalog-home/usr/hdp/current/hive-webhcat\--hcat

Oracle Linux 7 (AWS) 上的 Oracle 12c 到 Hadoop 节点

我正在尝试创建一个概念证明,表明一家公司可以将他们的数据从他们的oracle12c数据库迁移到hadoop系统..为此,我在AWS上启动了一个OracleLinux7实例。我打算在上面安装Oracle12c。之后我必须创建虚拟表并将它们发送到Hadoop。这能做到吗?从我最初的研究中,我可以看到Sqoop和OracleGoldenGate可以做到这一点。如果它上线,我将不得不将数十亿条记录从oracle12c传输到HDFS。非常感谢任何帮助或建议.. 最佳答案 您必须使用sqoop将oracle数据转换为hive。您可以阅读此了解更

oracle - 无法从 Sqoop 调用 Oracle 存储过程

我想从Sqoop调用Oracle存储过程,但出现错误。我必须调用存储过程的函数,并且需要传递参数。$:sqoopimport--connectjdbc:oracle:thin:@localhost:1512/db--usernameuserA--passwordpassword--callOracle_Schema.pkg_table_maintenance.sf_drop_index('TBL_A_%','Group_id')-bash:syntaxerrornearunexpectedtoken`('$:sqoopimport--connectjdbc:oracle:thin:@l

hadoop - 在 CentOS 7 中安装 Cloudera 管理器时没有可用的软件包 oracle-j2sdk1.7

我正在运行cloudera安装命令./cloudera-manager-installer.bin接受oracle许可证后,我收到以下错误oracle-j2sdk1.7installationfailed.See/var/log/cloudera-manager-installer/1.install-oracle-j2sdk1.7.logfordetails.ClickOKtorevertthisinstallation.当我登录文件1.install-oracle-j2sdk1.7.log时通过使用cd/var/log/cloudera-manager-installer/进入文件

oracle - Sqoop 导出序列文件到 Oracle

我一直试图找到一些关于我们如何使用Sqoop将序列文件导出到Oracle的文档。这可能吗?目前我的文件(在HDFS中)是基于文本的格式,我正在使用Sqoop将这些文件导出到一些Oracle的表中,并且它工作正常。现在我想将文件格式从文本更改为序列文件或其他格式(稍后是Avro)。那么,如果我想使用Sqoop将不同格式的文件从HDFS导出到Oracle,我需要做什么?任何信息将不胜感激。提前致谢。 最佳答案 很遗憾,Sqoop目前不支持序列文件的导出。 关于oracle-Sqoop导出序列

hadoop - 如何将XML类型的oracle数据迁移到Hadoop HDFS

我在Oracle中有大量数据在一张表中,一列类型是包含主要数据的XML类型。我需要将这些数据移动到HDFS。在HadoopHDFC中迁移这些数据的最佳方式应该是什么。任何示例代码或说明将不胜感激。 最佳答案 您想将数据作为平面(或csv)文件移动到HDFS还是将表导入到HIVE数据库之一。如果是HIVE导入,您可以使用Sqoop。Sqoop用于将数据从RDBMS数据库导入到HIVEDB。 关于hadoop-如何将XML类型的oracle数据迁移到HadoopHDFS,我们在StackOv

oracle - Nifi 中的 ExecuteSQL 处理器以 avro 格式返回数据

刚开始使用ApacheNifi。我正在尝试从oracle获取数据并将其放在HDFS中,然后在其之上构建一个外部配置单元表。问题是ExecuteSQL处理器以avro格式返回数据。无论如何,我能以可读的格式获取这些数据吗? 最佳答案 apachenifi还有一个“ConvertAvroToJSON”处理器。这可能会帮助您将其转换为可读格式。我们还真的需要让我们的内容查看器能够很好地呈现avro数据,这也会有所帮助。谢谢乔 关于oracle-Nifi中的ExecuteSQL处理器以avro格

oracle - 将表中的特定分区导入 hadoop

我正在使用sqoop将数据导入hadoop。我正在使用以下命令将表导入hadoop。sqoopimport\--connectjdbc:oracle:thin:@172.16.XXX.XXX:15XX:TABS\--usernameuser\--passwordpass\--tableTABS.ADM_LOG0009\--target-dir/hadoop/hptabs/recharge现在我有另一个名为IVM_IMAGE的表,它是一个分区表。我只想将3个分区从Oracle导入到hadoop。请帮助我为此编写命令。Oracle表名:TABS.IVM_IMAGE分区:LESS201611

oracle - 调整 sqoop 导出性能

我正在使用AWSEMR上的sqoop将20亿条记录从配置单元导出到Oracle数据库。我已经尝试了--batch和--num-mappers参数,它们已经帮助提高了性能。调整-Dsqoop.export.statements.per.transaction和-Dsqoop.export.records.per.statement有帮助吗?期待有关提高导出吞吐量的其他调整参数的建议。 最佳答案 您是否尝试包含--direct选项?我已经看到这会提高Oracle导入的性能,具体取决于您的oracle版本。