草庐IT

Sqoop-Export

全部标签

hadoop - 仅在 "-Dorg.apache.sqoop.splitter.allow_text_splitter=true"属性作为参数传递的情况下才允许为文本索引列生成拆分

我已经命令将sql从sqlserver导入hive,如下所示sqoopimport--connect'jdbc:sqlserver://10.0.2.11:1433;database=SP2010'--usernamepbddms-P--tabledaily_language--hive-import--hive-databasetest_hive--hive-tabledaily_language--hive-overwrite--hive-drop-import-delims--null-string'\\N'--null-non-string'\\N'但是结果19/02/2209

hadoop - 哪个版本的sqoop兼容hadoop 3.0

当运行sqoopversion时,得到这个错误:hadoopusr@houssein:~$sqoopversionWarning:/usr/lib/sqoop/../hbasedoesnotexist!HBaseimportswillfail.Pleaseset$HBASE_HOMEtotherootofyourHBaseinstallation.Warning:/usr/lib/sqoop/../hcatalogdoesnotexist!HCatalogjobswillfail.Pleaseset$HCAT_HOMEtotherootofyourHCataloginstallatio

hadoop - Sqoop 导入错误 : UnsupportedClassVersionError CDH 5. 16

我在rhel7系统上运行CDH5.16。我使用软件包安装了CDH。当我尝试从位于远程服务器的MySQL服务器运行Sqoop导入作业时,出现以下错误:Warning:/usr/lib/sqoop/../accumulodoesnotexist!Accumuloimportswillfail.Pleaseset$ACCUMULO_HOMEtotherootofyourAccumuloinstallation.19/06/0318:39:43INFOsqoop.Sqoop:RunningSqoopversion:1.4.6-cdh5.16.119/06/0318:39:43WARNtool.

hadoop - 使用 Sqoop 导出到 Postgresql ltree

要将我的数据从HDFS导出到Postgres,我使用的是Sqoop(1.3.0-cdh3u4)。主要问题是我有一列ltree类型。ERRORorm.ClassWriter:CannotresolveSQLtype1111ERRORorm.ClassWriter:NoJavatypeforSQLtype1111forcolumnpath即使使用--map-column-java强制字符串解析,Sqoop也无法导出。java.io.IOException:org.postgresql.util.PSQLException:ERROR:column"path"isoftypeltreebut

hadoop - 使用 Sqoop 将数据附加到 hive 表

我正在尝试将数据附加到配置单元中现有的表。首先使用以下命令将表从MS-SQLServer导入配置单元。Sqoop命令:sqoopimport--connect"jdbc:sqlserver://XXX.XX.XX.XX;databaseName=mydatabase"--table"my_table"--where"Batch_Id>100"--usernamemyuser--passwordmypassword--hive-import现在我想将数据附加到配置单元中“Batch_Idsqoopimport--connect"jdbc:sqlserver://XXX.XX.XX.XX;

hadoop - Sqoop - 是否可以在 HDFS 中导入平面文件

我知道可以通过sqoop将RDBM的数据导入HDFS,但我想知道是否也可以导入平面文件。例如,是否可以从远程Linux文件系统导入文件?感谢您的帮助。 最佳答案 要将平面文件放入HDFS,不需要Sqoop,我看不出有任何理由为此使用Sqoop。只需尝试以下命令。Here是相同的文档。hadoopfs-put 关于hadoop-Sqoop-是否可以在HDFS中导入平面文件,我们在StackOverflow上找到一个类似的问题: https://stackover

hadoop - 执行 sqoop 作业时覆盖多个 sqoop 属性

我发现在运行时覆盖sqoop作业属性时,我只能覆盖一个属性。例子1:如果我提交sqoopjob--exectest123----query"select*fromtestwhereupdate_batch_idbetween4and10and\$CONDITIONS"----last-value3它只覆盖查询属性例子2:如果我提交sqoopjob--exectest123----last-value3----query"select*fromtestwhereupdate_batch_idbetween4and10and\$CONDITIONS"它仅覆盖查询属性的最后一个值属性。是否可

linux - 乌兹 : Sqoop dynamic target directory

我正在执行Oozie工作流中的sqoop作业。我可以在sqoop命令中创建具有静态名称的目标目录,如下所示。${jobTracker}${nameNode}job--execEMPLOYEE--meta-connectjdbc:hsqldb:hsql://:/sqoop----target-dir/user/test/Employee/20150126我需要创建带有日期的动态目标目录。我试过跟随,但没有用。${jobTracker}${nameNode}job--execEMPLOYEE--meta-connectjdbc:hsqldb:hsql://:/sqoop----target

sql - 更新 Sqoop 导出中的值

我正在使用Sqoopexport命令定期将数据从HDFS导出到sql数据库。这是我的专栏和示例数据Datesourcecount01-Feb-2015xxxx100我怀疑的是如果我在HDFS中有如下数据01-Feb-2015xxxx250我现在使用简单的导出命令。因此,在我的下一个导出操作数据库更新为Datesourcecount01-Feb-2015xxxx10001-Feb-2015xxxx250sqoop中是否有任何选项可以实现以下结果01-Feb-2015xxxx350 最佳答案 如果你指定update-key,Sqoop就

hadoop - map 减少作业在 sqoop 导入期间卡住

在运行这个sqoop导入命令时sqoopimport--connectjdbc:mysql://localhost/training--usernametraining--passwordtraining--tablecityByCountry在clouderaVM4.1.1上mapreduce作业卡在终端打印的最后一行mapreduce.Job:运行作业:job_1450451392672_000115/12/1710:41:55INFOmapreduce.Job:跟踪作业的url:http://localhost.localdomain:8088/proxy/application