草庐IT

sql-server - 使用 sqoop 将表从 Windows SQL Server 2012 导入到 hadoop

我尝试使用以下代码将表从RDBMS(Windows-SQLServer2012)导入HDFS。但我收到一个错误。我可以成功连接它。sqoopimport--connect"jdbc:sqlserver://192.1x8.xx.1:14xx;database=AdventureWorks2012;username=hadox;password=hadxx"--tableProduction.Product--hive-import我知道错误是由表名中的点(.)引起的。我从链接sqooptoimportdatatohive获得了该信息.我不明白该链接中的任何详细信息。有人可以帮忙吗?提前

mysql - sqoop import 为正确的 sql 查询提供了错误的结果

我在MySQL中使用如下查询。我得到了我想要的结果。selectTABLE_NAME,count(column_name)asno_of_columnsfrominformation_schema.columnswhereTABLE_SCHEMA='testing'andTABLE_NAMENOTREGEXP'temp|bkup|RemoveMe|test'groupbyTABLE_NAME当我在sqoop导入语句中使用相同的查询时,结果不同。sqoop导入语句如下。sqoopimport--connectjdbc:mysql://xxxxxx:3306/information_sch

hadoop - Sqoop 中的并发

我已阅读文档,其中建议在edgenode上安装sqoop,原因有很多,并且每个映射器都建立了与源数据库的连接。我的问题是所有4个连接都是从edgenode建立的还是sqoop-clientinedgenode只是创建某种驱动程序来监视数据节点连接到数据库时的摄取,获取数据(部分)并在本地拆分它然后放入HDFS. 最佳答案 Sqoop是Mapreduce的包装器,用于执行导入导出操作。Mappers将在您的集群中运行,而sqoop客户端将运行边缘节点。每个映射器都会打开一个到您的数据库的连接。您的映射器使用哪些行由客户端在提交作业时决

oracle - 无法从 Sqoop 调用 Oracle 存储过程

我想从Sqoop调用Oracle存储过程,但出现错误。我必须调用存储过程的函数,并且需要传递参数。$:sqoopimport--connectjdbc:oracle:thin:@localhost:1512/db--usernameuserA--passwordpassword--callOracle_Schema.pkg_table_maintenance.sf_drop_index('TBL_A_%','Group_id')-bash:syntaxerrornearunexpectedtoken`('$:sqoopimport--connectjdbc:oracle:thin:@l

sql - SQOOP - 导入失败 : Can not create a Path from a null string

我正在使用SQOOP增量更新将表从SQL服务器加载到HBase表。但是SQL表中的空值不会导入到HBase中。我知道Hbase不支持空值,并且包含空值的字段不会出现在Hbase中。但我担心的是,当某个特定列对大多数记录具有空值时,即使该字段中存在某些记录的值,也会被跳过。以下是SQL表结构CREATETABLE[dbo].[user_test]([user_id][nvarchar](20)NOTNULL,[user_name][nvarchar](100)NULL,[password][varchar](128)NULL,[created_date][datetime2](7)NUL

mysql - Sqoop 导入命令出错

我正在尝试使用Sqoop将MySQL中存在的数据库中的表导入到HDFS。该表具有字段col1、col2、col3、col4和col5。其中有很多NULL值。具有NULL值的行数为4265550,没有NULL值的行数为1421851。我想在将表导入HDFS时阻止NULL值。以下是我的代码,sqoopimport--connect"jdbc:mysql://quickstart.cloudera:3306/database"--usernameroot--passwordcloudera--query'SELECT*FROMtable_exportWHERE((col1ISNOTNULL)

hadoop - Bucketed Hive ORC 表的 sqoop 导入失败

我已经使用下面的DDL在Hive中创建了ORCBucketed表:createtableEmployee(EmpIDSTRING,EmpNameSTRING)clusteredby(EmpID)into10bucketsstoredasorcTBLPROPERTIES('transactional'='true');然后运行​​Sqoop导入:sqoopimport--verbose\--connect'RDBMS_JDBC_URL'\--driverJDBC_DRIVER\--tableEmployee\--null-string'\\N'\--null-non-string'\\N

hadoop - 无法在 ubuntu 机器上卸载通过 CDH5 安装的 sqoop

我从ClouderaManager中卸载了sqoop,但我仍然可以通过终端看到sqoop版本:chaithu@localhost:~$sqoopversionWarning:/opt/cloudera/parcels/CDH-5.13.1-1.cdh5.13.1.p0.2/bin/../lib/sqoop/../accumulodoesnotexist!Accumuloimportswillfail.Pleaseset$ACCUMULO_HOMEtotherootofyourAccumuloinstallation.17/12/2418:49:28INFOsqoop.Sqoop:Run

postgresql - Sqoop - 在保存的作业中使用模式

当我在shell上运行这个命令时工作正常:sqoopimport--incrementalappend--check-columnid_civilstatus--last-value-1--connectjdbc:postgresql://somehost/somedb--usernamesomeuser--password-filefile:///passfile.txt--tablesometable--direct-m3--target-dir/jobs/somedir----schemasomeschema但是当我尝试将其保存为作业时:sqoopjob--createmyjob

hadoop - 无法在 oozie 中运行 "sqoop job --exec"

需要一些建议我正在尝试在oozie中运行sqoop作业,但它突然被杀死并且oozie-error.log中有这个警告2018-01-2117:30:12,473WARNSqoopActionExecutor:523-SERVER[edge01.domain.com]USER[linknet]GROUP[-]TOKEN[]APP[sqoop-wf]JOB[0000006-180121122345026-oozie-link-W]ACTION[0000006-180121122345026-oozie-link-W@sqoop-node]LauncherERROR,reason:Mainc