草庐IT

Sqoop-Export

全部标签

mysql - sqoop导入错误

我正在使用sqoop1.4.6。执行以下sqoop导入命令时出现错误:sqoopimport--connectjdbc:mysql://localhost/movielens--drivercom.mysql.jdbc.Driver--tablemovies-m1ERRORmanager.SqlManager:Errorexecutingstatement:java.sql.SQLException:Accessdeniedforuser''@'localhost'(usingpassword:NO)java.sql.SQLException:Accessdeniedforuser''

oracle - 是否可以使用 sqoop 导入表并添加额外的时间戳列?

是否可以使用sqoop命令“导入表”将表从oracle数据库导入到Hadoop集群并添加一个带有当前时间戳的额外列(用于故障排除目的)?到目前为止,我有以下命令:sqoopimport-Dorg.apache.sqoop.splitter.allow_text_splitter=true--connectjdbc:oracle:thin:@//MY_ORACLE_SERVER--usernameUSERNAME--passwordPASSWORD--target-dir/MyDIR--fields-terminated-by'\b'--tableSOURCE_TABLE--hive-t

hadoop - Sqoop:--as-parquetfile 不工作

我想将sqoop文件作为parquet文件直接保存到hdfs。我正在尝试执行以下命令。但面对ERRORsqoop.Sqoop:GotexceptionrunningSqoop:java.lang.NullPointerExceptionsqoop版本-1.4.7sqoopimport--options-file/home/user/optionsfile.txt--query"select*fromtablewhere\$CONDITIONS"--target-dir'hdfs:///user/x/sqoop1'--as-parquetfile-m1;当我在没有--as-parquet

sql-server - 从 SQL Server 导入时,sqoop 是否获取任何锁?

我正在使用sqoop从SQLServer导入到HDFS。我想知道是否在我从中导入的表上获得了任何锁,如果是,是否有一种方法可以执行与WITH(NOLOCK)等效的操作? 最佳答案 是的,根据SQOOP-724。这里,还包括一个示例http://mail-archives.apache.org/mod_mbox/sqoop-user/201302.mbox/%3CCAL=o-uTG3Pwrtd+brF9q+b6zEZUSnJ9Z35BYRrsvNr1gi1pxXA@mail.gmail.com%3E

hadoop - SQOOP 从 Teradata 导入 : Create table Ok but without data

我使用sqoop通过我的TD数据库拨号。当我尝试这个时,一切正常(我的表是在默认配置单元数据库中创建的)sqoopimport\-libjars$LIB_JARS\-Dteradata.db.input.job.type=hive\-Dteradata.db.input.target.table=hive_table\-Dteradata.db.input.target.table.schema="c1bigint"\-m1\--connectjdbc:teradata://PRD/Database=database\--connection-managerorg.apache.sqo

hadoop - 如何修改 Hue 的 Sqoop 应用程序的规范导入示例,使其可重新运行?

我已经尝试了hue的sqoop应用程序的规范导入示例-看起来像这样:http://blog.cloudera.com/blog/2013/11/sqooping-data-with-hue/然而,这个例子是不可重复的——在第二次和以后的运行尝试中,它会给出一条错误消息(sqoop不会覆盖现有目录的内容——所以一旦在原始导入期间创建了目录,它就拒绝运行).我如何修改此示例,使导入过程可调度/可重新运行? 最佳答案 此示例使用Sqoop2,OozieWorkflows还不支持Sqoop2Action,只支持Sqoop1。解释了一些解决方

hadoop - 我如何使用 sqoop 从 HDFS 导入并在导入时合并表的两列?

我可以在导入或导出时合并两列或多列吗?假设我在DBMSID、FIRST_NAME、LAST_NAME中有3列,我想将其加载为ID、NAME只有两列。那我该怎么做呢? 最佳答案 试试下面的选项sqoopimport--connect--username--password--query"selectID,CONCAT(FIRST_NAME,LAST_NAME)fromtable"--target-dir因为你没有提到你的数据库和表名,所以我用通用形式写了。 关于hadoop-我如何使用sq

java - 从 sql server 导入数据的 Sqoop 作业忽略模式

如何将模式名称传递给sqoop作业,将数据从SQLServer导入到hdfs?sqoopjob--createjob_name--import--connect"jdbc:sqlserver://server:port;database=datatabase_name;username=user;password=password"--tablesource_table--as-avrodatafile--target-dirdata/target_folder----schemaschema_name当我使用执行作业时sqoopjob-execjob_name生成的查询缺少架构名称。

mysql - Sqoop - 如果使用 order by 和 limit 1,则导入最大值查询失败

我有一个简单的Sqoop查询,我用它来导入表ID的最大值并将其存储在HDFS中。存储在HDFS中是客户要求的,所以出于多种原因我要这样做。为了得到我用过的最大值sqoopimport\--connectjdbc:mysql://abc.com/sqoopemp\--usernameroot\--passwordroot\--e'selectmax(id)fromempWHERE$CONDITIONS'\--target-dirsqooplastmax\--m1\--drivercom.mysql.jdbc.Driver上面的查询给了我所需的答案,但出于性能原因,我正在考虑使用以下内容s

hadoop - strace'ing sqoop 命令时资源暂时不可用 futex

我有一个sqoop命令,它使用hcatalog参数将数据从Oracle导入到hiveorc表中。sqoopimport-Doraoop.disabled=true-Dmapred.child.java.opts="\-Djava.security.egd=file:/dev/../dev/urandom"--connect'jdbc:oracle:thin:@(DESCRIPTION=(ADDRESS=(PROTOCOL=TCP)(HOST=dbs-dev-v.com)(PORT=1533))(CONNECT_DATA=(SERVICE_NAME=SDADCOM)(Server=Ded