目录一、概述二、架构1）数据导入（RDBMS->Haoop）2）数据导出（Haoop->RDBMS）三、安装1）下载2）配置环境变量3）配置sqoop代理用户4）安装JDBC5）修改conf/sqoop.properties6）存储库初始化7）启动sqoop服务端8）启动sqoop客户端9）设置客户端的各种属性四、简单使用1）常用命令2）数据从MYSQL导入到HDFS（Import）1、创建JDBC连接2、创建HDFS连接3、创建Job任务4、执行Job3）从HDFS导出到MYSQL（Export）1、创建集群测试表和数据2、创建MYSQL接收表3、创建MYSQL连接4、创建HDFS连接5、创
Sqoop面试题答案 Sqoop在工作中的定位是会用就行 Q1：Sqoop导入hdfs的参数/opt/module/sqoop/bin/sqoopimport\--connect\#特殊的jdbc连接的字符串--username\--password\--target-dir\ #hdfs目标的目录--delete-target-dir\#导入的目标目录如果存在则删除那个目录--num-mappers\ #相当于-m,并行导入时maptask的个数--fields-terminated-by \--query"$2" 'and$CONDITIONS;'#指定满足sql和条件的数据导入 Q2:S
Sqoop面试题答案 Sqoop在工作中的定位是会用就行 Q1：Sqoop导入hdfs的参数/opt/module/sqoop/bin/sqoopimport\--connect\#特殊的jdbc连接的字符串--username\--password\--target-dir\ #hdfs目标的目录--delete-target-dir\#导入的目标目录如果存在则删除那个目录--num-mappers\ #相当于-m,并行导入时maptask的个数--fields-terminated-by \--query"$2" 'and$CONDITIONS;'#指定满足sql和条件的数据导入 Q2:S
1.摘要对于数据仓库，大数据集成类应用，通常会采用ETL工具辅助完成。ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取（extract）、交互转换（transform）、加载（load）至目的端的过程。当前的很多应用也存在大量的ELT应用模式。常见的ETL工具或类ETL的数据集成同步工具很多，以下对开源的Sqoop、dataX、Kettle、Canal、StreamSetst进行简单梳理比较。通过分析，笔者个人建议优先DataX更优。2.内容2.1Sqoop2.1.1介绍Sqoop，SQL-to-Hadoop即“SQL到Hadoop和Hadoop
1.摘要对于数据仓库，大数据集成类应用，通常会采用ETL工具辅助完成。ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取（extract）、交互转换（transform）、加载（load）至目的端的过程。当前的很多应用也存在大量的ELT应用模式。常见的ETL工具或类ETL的数据集成同步工具很多，以下对开源的Sqoop、dataX、Kettle、Canal、StreamSetst进行简单梳理比较。通过分析，笔者个人建议优先DataX更优。2.内容2.1Sqoop2.1.1介绍Sqoop，SQL-to-Hadoop即“SQL到Hadoop和Hadoop
sqoop是hadoop项目中一个插件，可以把分布式文件系统hdfs中内容导入到mysql指定表里面，也可以把mysql中内容导入到hdfs文件系统中进行后续操作。测试环境说明：hadoop版本：hadoop-0.20.2sqoop版本：sqoop-1.2.0-CDH3B4java版本：jdk1.7.0_67mysql版本：5.1.65特别说明：因为我安装的是hadoop-0.20.2版本，sqoop不支持这个版本，但是可以使用CDH3版本的hadoop，也可以通过copy相关文件，达到目的。下载链接：http://archive.cloudera.com/cdh/3/hadoop-0.20.
sqoop是hadoop项目中一个插件，可以把分布式文件系统hdfs中内容导入到mysql指定表里面，也可以把mysql中内容导入到hdfs文件系统中进行后续操作。测试环境说明：hadoop版本：hadoop-0.20.2sqoop版本：sqoop-1.2.0-CDH3B4java版本：jdk1.7.0_67mysql版本：5.1.65特别说明：因为我安装的是hadoop-0.20.2版本，sqoop不支持这个版本，但是可以使用CDH3版本的hadoop，也可以通过copy相关文件，达到目的。下载链接：http://archive.cloudera.com/cdh/3/hadoop-0.20.
