草庐IT

Sqoop-Export

全部标签

hadoop - 使用sqoop导入数据到hbase

当我想使用sqoop将数据导入到hive时,我可以指定--hive-homesqoop将调用安装在执行脚本的机器上的指定配置单元副本。但是hbase呢?sqoop如何知道我要将数据导入到哪个hbase实例/数据库? 最佳答案 Maybethedocumentationhelps?Byspecifying--hbase-table,youinstructSqooptoimporttoatableinHBaseratherthanadirectoryinHDFS我看到的每个示例都只显示该选项以及列族等等,所以我假设它取决于可能属于sqo

sqoop 守护程序日志的正则表达式

我正在尝试为Sqoop日志创建正则表达式。日志如下:>Warning:/usr/lib/sqoop/../accumulodoesnotexist!Accumuloimportswillfail.Pleaseset$ACCUMULO_HOMEtotherootofyourAccumuloinstallation.SLF4J:ClasspathcontainsmultipleSLF4Jbindings.SLF4J:Foundbindingin[jar:file:/usr/lib/hadoop/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/Sta

hadoop - Sqoop 导入后 Hive 表中的空格而不是 NULL

我创建了将数据从MSSQL导入Hive的sqoop进程,但我遇到了“char”类型字段的问题。Sqoop导入代码:sqoopimport\--create-hcatalog-table\--connect"connection_parameters"\--usernameUSER\--drivernet.sourceforge.jtds.jdbc.Driver\--null-string''\--null-non-string''\--class-nameTABLE_X\--hcatalog-tableTABLE_X_TEST\--hcatalog-databasedefault\--

hadoop - 使用控制字符作为分隔符的 Sqoop 导入

我想使用控制字符(\u0001)从SQLServer中提取一个表,因为我的表包含几乎所有可用的分隔符,我不能使用剩余的分隔符,因为它可能会在将来到达数据中。所以我想使用控制字符来摄取它。以下是我的sqoop命令的结构,sqoopimport--drivernet.sourceforge.jtds.jdbc.Driver--connect"my_connection_string"--usernameabc-P--query'select*fromxyz'--fields-terminated-by$'\u0001'--target-dirPath_In_HDFS--as-textfil

mysql - 通过sqoop将hive hadoop中的数据存入mysql?

我将我的数据存储到配置单元表中。我想使用sqoop将配置单元表选择的数据传输到mysql表。请指导我如何做到这一点? 最佳答案 查看sqoop指南here 关于mysql-通过sqoop将hivehadoop中的数据存入mysql?,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.com/questions/10631957/

apache - Sqoop:找不到命令

我目前使用的是Ubuntu12.04和Hadoop1.0.3。我最近手动下载了sqoop并在/etc/environment中给出了路径。但是我的终端显示“sqoop:找不到命令”。有人有什么想法吗? 最佳答案 执行echo$PATH以查看Linux在其中搜索已执行二进制文件的目录。您应该会在此路径中看到sqoop安装文件夹的bin子目录。例如,如果您已安装到/usr/local/sqoop,则您的路径应包含/usr/local/sqoop/bin。如果您没有看到此设置,请在配置了$PATH的任何地方更改它,例如如果您使用的是bas

hadoop - fedora 15 上的 sqoop 安装错误

我正在尝试在我的机器上安装sqoop,我从here下载了tar文件并尝试通过查看here安装所以当我尝试下面的命令时,我得到如下错误[root@065local]#(cd/usr/local/&&sudotar\-zxvf__)错误gzip:stdin:unexpectedendoffiletar:Childreturnedstatus1tar:Errorisnotrecoverable:exitingnow上面的命令有什么问题吗?谁能告诉我安装sqoop的最简单方法?实际上我有一个1GBxml文件需要处理并保存到MYSQL数据库中,我使用hadoop和python来执行此操作,但需要

hadoop - Sqoop 将零小数导入为 0E-22

当我使用hadoop和sqoop从我的MSSQL数据库中导入一个表并且该表具有十进制列时,任何为零的列(例如0.000000000000..)都将保存为“0E-22”。这非常痛苦,因为在我的Map或Reduce中将值转换为小数时会抛出异常。因此,我要么必须将该列导出为varchar,要么在尝试对其进行转换之前进行检查。两者都不理想。有没有人遇到过这个问题并解决了这个问题?谢谢 最佳答案 我建议尽快发布Sqoop1.4.3,我们修复了SQOOP-830这也可能对您有所帮助。 关于hadoo

Java程序使用sqoop导入数据

我创建了一个Web应用程序(JSP)以将数据从mysql数据库提取到HDFS。在我的Java代码中,我使用了sqoopimport命令来实现我的要求。程序成功执行,但提取的数据写入普通unix文件系统而不是hdfs。谁能告诉我如何在sqoop导入命令中提供hdfs文件系统路径?packagecom.archival.da;importjava.sql.*;publicclassDataImportSetup{staticintstatus=0;publicstaticintimportsetup(Stringpolicy_id){Connectioncon=GetCon.getCon(

hadoop - Sqoop 从 couchbase 导入到 hadoop

在Ubuntu上,使用couchbase2.5.1、clouderacdh4、couchbase的hadoop插件和oraclejdk6。一切安装都很好(表面上),我可以独立使用hadoop和couchbase没有问题,但是当我尝试使用插件如下sqoopimport--connecthttp://127.0.0.1:8091/--tableDUMP我得到以下错误Pleaseset$ACCUMULO_HOMEtotherootofyourAccumuloinstallation.14/04/1111:44:08INFOsqoop.Sqoop:RunningSqoopversion:1.4