草庐IT

sqoop-sha

全部标签

hadoop - 使用 Sqoop 将大型机数据提取到 Hadoop 中

我发现Sqoop1.4.6可以连接到大型机,它可以从大型机PDS中提取数据并放入HDFS/Hive/Hbase或Accumulo。我想知道它是支持压缩十进制数据类型还是只支持简单数据类型?谁能帮助我了解Sqoop1.4.6支持的所有大型机文件格式。提前致谢引用资料https://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html 最佳答案 您好,根据我的分析,不支持压缩十进制,事实上,如果文件具有压缩十进制数据,其余数据也会一团糟。请引用http://rbheemana.github.io

hadoop - 用于从 Netezza 到 HDFS 的数据传输的 Sqoop 作业

我编写了一个sqoop作业,用于将数据从Netezza中的表导入到HDFS。该作业已成功创建,并且在执行时也会启动MapReduce作业。作业一直运行到ma​​p100%reduce0%并卡住。作业永远不会完成,数据根本不会传输。没有观察到错误或异常。对于同一数据库的其他表,我几乎没有类似的工作。那些正确执行并传输数据。这种行为的可能原因是什么。以下是选项文件中给出的sqoop作业的配置。--直接-连接jdbc:netezza://url/database_name-用户名ABCD-密码xyz-table表名--拆分primary_key_column--目标目录hdfs_path-m

mysql - Sqoop 使用 Java API 导入到 Hbase 表

我一直在尝试使用Sqoop将数据从MySQL数据库导入到Hbase,但一直遇到错误。请问你能帮我吗?(我使用的是Sqoop1)我的代码如下:importcom.cloudera.sqoop.SqoopOptions;importcom.cloudera.sqoop.tool.ImportTool;importcom.cloudera.sqoop.SqoopOptions.IncrementalMode;importcom.cloudera.sqoop.tool.SqoopTool;importorg.apache.hadoop.conf.Configuration;importorg.

hadoop - Sqoop import-all-table to hive 在特定数据库中失败

我正在执行下面的sqoop命令sqoopimport-all-tables-m1\--connect"jdbc:mysql://nn01.itversity.com:3306/retail_db"\--username=retail_dba\--password=itversity\--hive-import\--hive-home/apps/hive/warehouse\--hive-overwrite\--hive-databasegrv_sqoop_import\--create-hive-table\--compress\--compression-codecorg.apach

hadoop - sqoop 从 hdfs 导出到 mysql 失败,需要帮助来转义字符

我在hdfs中有一个文件并将其导出到sqoop表。请在下面找到日志详细信息:Causedby:java.lang.RuntimeException:Can'tparseinputdata:'characters'attags.__loadFromFields(tags.java:335)attags.parse(tags.java:268)atorg.apache.sqoop.mapreduce.TextExportMapper.map(TextExportMapper.java:89)...10moresqoop导出命令sqoopexport\--connect"**********

hadoop - 执行 sqoop eval 命令时出错

我正在从主目录执行sqoop命令。这个sqoop命令正在连接sybaseSqooplist-tables命令运行良好。我能够看到表格列表sqooplist-tables\--connectjdbc:sybase:Tds:omegagold82unsQ:7000/ServiceName=preprod\--usernameomega123\--passwordomega1234878\--drivercom.sybase.jdbc4.jdbc.SybDriver\但是当我执行下面的sqoopeval命令时它会抛出下面的错误sqoopeval\--connectjdbc:sybase:Td

hadoop - sqoop 导出通过 oozie 失败

我正在尝试通过sqoop从hdfs将数据导出到mysql。我能够通过shell运行sqoop,并且运行良好。但是当我通过oozie调用时。它出现以下错误并失败。我还包括jar。没有描述性日志sqoop脚本:export--connectjdbc:mysql://localhost/bigdata--usernameroot--passwordcloudera--verbose--tableAGGREGATED_METRICS--input-fields-terminated-by'\0001'--export-dir/bigdata/aggregated_metrics错误:Launc

解决Authentication plugin ‘caching_sha2_password‘ cannot be loaded问题

报错原因用图形化用户界面连接的MySQL8.0时,报错:Authenticationplugin‘caching_sha2_password’cannotbeloadedMySQL8.0之前的版本中加密规则是mysql_native_password,而在MySQL8.0之后,加密规则是caching_sha2_password。解决方法1、升级Navicat驱动(博主用的是破译版,此方法不大可行)2、MySQL用户登录密码加密规则还原成mysql_native_password步骤1、登录Mysqlmysql-uroot-p2、修改账户密码加密规则并更新用户密码//修改加密规则ALTERUS

mysql - 为什么 sqoop 在从配置单元导出到 mysql 期间在数字列的 NumberFormatException 上失败

我有简单的配置单元查询INSERTOVERWRITEDIRECTORY'/tmp/test'SELECTflight,SUM(CASEWHENev=2THEN1ELSE0END)ASreqfromdata_tablegroupbyflight;输出看起来不错(在编辑器中用^A分隔)两个数字列。我已经创建了mysql表createtablehive_table(flint,evsint);最后想用sqoop把hdfs的数据导出到mysqlsqoopexport--connectjdbc:mysql://mysqlhost/dwh--usernameuser--passwordpasswo

sql-server - Oozie Sqoop 作业

我正在尝试将sqoop作业作为oozie操作运行。我将MySQL作为jobtracker节点上的元存储。我在某处读到ooziesqoop无法通过导入创建配置单元表。所以我试图将数据转储到hdfs中。现在还是这样吗?我检查了共享库。我正在尝试从MSSQL数据库中获取Sqoop。当我运行不需要来自shell的元存储的sqoop命令时,它可以工作。sqoopimport--connect'jdbc:sqlserver://host;username=sqoopimport;password=password;database=db1'--tablet1--target-dir/user/ro