草庐IT

Sqoop-Export

全部标签

hadoop - 如何找到 sqoop 支持的连接管理器?

我需要一些帮助...我正在开发一个sqoop指南来教新员工如何使用sqoop。有一个名为--connection-manager的标志,我必须知道我应该列出什么jar文件,以返回我的配置支持的所有连接管理器类。谢谢 最佳答案 如果你看源代码,特别是https://github.com/apache/sqoop/blob/trunk/src/java/org/apache/sqoop/manager/SupportedManagers.java#L26,你会看到:publicenumSupportedManagers{MYSQL(Jd

hadoop - Sqoop 停留在进度的 5%

我正在使用Sqoop将数据从Oracle导入到HDFS。当Job启动时,它会停留在5%的进度上大约1小时,并且输出以下信息:INFOmapreduce.Job:TaskId:attempt_1535519556038_0015_m_000037_0,Status:FAILEDContainerlaunchfailedforcontainer_1535519556038_0015_01_000043:org.apache.hadoop.yarn.exceptions.YarnException:Unauthorizedrequesttostartcontainer.Thistokenis

mysql - Apache Sqoop 连接错误

尝试使用sqoop从mysql数据库中列出数据库时出现以下错误。我正在使用ClouderaVMCDH4,如果它没有默认预安装MySql。我按照cloudera教程安装了MySql。现在我试图从MySQl中列出数据库,但它失败了。是否存在任何jdbc连接问题?[cloudera@localhost~]$sqooplist-databases--connect"jdbc:mysql://localhost.localdomain"--userroot--passwordaaaaaaaaWarning:/usr/lib/sqoop/../accumulodoesnotexist!Accumu

hadoop - 使用 sqoop 将数据从 Hive 导出到 rdbms 时如何处理主键

这是我的场景,我在配置单元仓库中有一个数据,我想将此数据导出到mysql中名为“测试”数据库的“示例”表中。如果一列是sample.test中的主键,并且hive中的数据(我们正在导出)在该键下有重复值,那么作业显然会失败,那么我该如何处理这种情况?提前致谢 最佳答案 如果你希望你的mysql表只包含重复项中的最后一行,你可以使用以下内容:sqoopexport--connectjdbc:mysql:///test-tablesample--usernameroot-P--export-dir/user/hive/warehouse

hadoop - SQOOP导入失败,找不到文件异常

我是hadoop架构系统的新手,使用网络搜索安装组件。为此,我安装了Hadoop、sqoop、hive。这是我安装的目录结构(我的本地ubuntu机器和任何虚拟机,我的每个安装都在单独的目录中):-/usr/local/hadoop/usr/local/sqoop/usr/local/hive通过查看错误,我尝试解决它,因此我将sqoop(本地计算机/usr/local/sqoop)文件夹复制到hdfs目录(hdfs://localhost:54310/usr/local/sqoop)。这解决了我的问题。我想从这里了解一些事情:-在将我的sqoop复制到hdfs之前,我的安装是否正确?

mysql - 使用Sqoop将MySQL导入Hive时如何指定字段分隔符?

我尝试使用Sqoopv1.4将MySQL表导入Hivesqoopimport--connectjdbc:mysqll//localhost:3306/mysqldb\--usernameuser--passwordpwd--tablemysqltbl\--hive-import--hive-overwrite\--hive-tablehivedb.hivetbl-m1\--null-string'\\N'\--null-non-string'\\N'\mysqltbl中有100行,其中一个字段text包含\t和\n,导致Sqoop错误地解析数据,即hivetbl中有超过100行并且字段

hadoop - Sqoop 导入没有分割

我正在尝试导入一个以复合键为主键的Teradata表。因此设置--nummapper1并在没有--split-by参数的情况下运行它。但是,我遇到了以下问题。请帮忙。Error:java.io.IOException:SQLExceptioninnextKeyValueatorg.apache.sqoop.mapreduce.db.DBRecordReader.nextKeyValue(DBRecordReader.java:277)atorg.apache.hadoop.mapred.MapTask$NewTrackingRecordReader.nextKeyValue(MapTa

hadoop - Sqoop 导出插入重复条目

我想了解sqoop导出的工作原理。我在mysql中有一个表站点,其中包含两列id和url,并且包含两行1,www.yahoo.com2,www.gmail.com表没有主键当我通过执行以下命令将条目从HDFS导出到mysql站点表时,它会插入重复的条目我在HDFS中有以下条目1,www.one.com2,www.2.com3,www.3.com4,www.4.comsqoopexport--tablesite--connectjdbc:mysql://localhost/loudacre--用户名训练--密码训练--export-dir/site/--update-modeallowi

hadoop - sqoop导入数据到hive

我正在尝试使用sqoop2将数据导入到配置单元表。我正在使用--hive-import但它不起作用代码:sqoopimport--connectjdbc:sqlserver://192.168.x.xxx:11xx--usernameuser--passworduser--tablexxxx.NOTIFICATION--hive-import错误:ERRORmanager.SqlManager:Errorexecutingstatement:com.microsoft.sqlserver.jdbc.SQLServerException:Invalidobjectname'XXXX.NO

mysql - export sqoop 命令出错

我在sqoop中使用导出命令,在从hdfs导出到MySQL时遇到此错误命令是:sqoopexport--connectjdbc:mysql://localhost/property--usernameroot--passwordroot--tablexyz--m1--export-dirabc.csv错误是:16/08/3023:11:33WARNtool.BaseSqoopTool:Settingyourpasswordonthecommand-lineisinsecure.Considerusing-Pinstead.16/08/3023:11:34INFOmanager.MySQ