文章目录1.下载2.解压3.添加环境变量4.配置Sqoop环境变量文件5.MySQL驱动6.拷贝Hive文件7.验证8.去除警告信息9.Sqoop学习集群其它生态安装与配置：Hadoop完全分布式搭建（超详细）Hive搭建（将MySQL作为元数据库）Spark集群搭建（多种方式）Hudi0.12.0搭建——集成Hive3.1与Spark3.21.下载Sqoop安装包下载地址：Sqoop官网选择自己集群合适的版本。2.解压tar-zxvfsqoop-1.4.7.bin__hadoop-2.6.0.tar.gz-C/opt/module/改个名称：cd/opt/modulemvsqoop-1.4.
文章目录1.下载2.解压3.添加环境变量4.配置Sqoop环境变量文件5.MySQL驱动6.拷贝Hive文件7.验证8.去除警告信息9.Sqoop学习集群其它生态安装与配置：Hadoop完全分布式搭建（超详细）Hive搭建（将MySQL作为元数据库）Spark集群搭建（多种方式）Hudi0.12.0搭建——集成Hive3.1与Spark3.21.下载Sqoop安装包下载地址：Sqoop官网选择自己集群合适的版本。2.解压tar-zxvfsqoop-1.4.7.bin__hadoop-2.6.0.tar.gz-C/opt/module/改个名称：cd/opt/modulemvsqoop-1.4.
一、简介sqoop（sqltohadoop）是一款开源的工具,主要用于在Hadoop（Hive）与传统的数据库（mysql、postgresql...）间进行数据的传递，可以将一个关系型数据库（例如:MSQL,Oracle,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。1.1工作机制将导入或导出命令翻译成mapreduce程序来实现。1.2功能Sqoop的主要功能如下:导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统；导出数据：从Hadoop的文件系统中导出数据到关系数据库二、sqo
一、简介sqoop（sqltohadoop）是一款开源的工具,主要用于在Hadoop（Hive）与传统的数据库（mysql、postgresql...）间进行数据的传递，可以将一个关系型数据库（例如:MSQL,Oracle,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。1.1工作机制将导入或导出命令翻译成mapreduce程序来实现。1.2功能Sqoop的主要功能如下:导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统；导出数据：从Hadoop的文件系统中导出数据到关系数据库二、sqo
k8s部署nginx实现集群统一配置，自动更新nginx.conf配置文件总结大纲1nginx镜像选择2创建configmap保存nginx配置文件3使用inotify监控配置文件变化4Dockerfile创建5调整镜像原地址使用阿里云6创建deploy部署文件部署nginx7测试使用nginx配置文件同步&nginx自动重启直接使用https://hub.docker.com/_/nginxnginx镜像有几个问题1集群环境下需要手动的配置多个nginx.conf文件2集群环境下配置文件修改后需要kubectlexec-it到多个pod重启nginx使用k8sconfigmap统一配置集群下
k8s部署nginx实现集群统一配置，自动更新nginx.conf配置文件总结大纲1nginx镜像选择2创建configmap保存nginx配置文件3使用inotify监控配置文件变化4Dockerfile创建5调整镜像原地址使用阿里云6创建deploy部署文件部署nginx7测试使用nginx配置文件同步&nginx自动重启直接使用https://hub.docker.com/_/nginxnginx镜像有几个问题1集群环境下需要手动的配置多个nginx.conf文件2集群环境下配置文件修改后需要kubectlexec-it到多个pod重启nginx使用k8sconfigmap统一配置集群下
查找网上许多方法都没用，最后自己从包处解决importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.FileSystem;importorg.apache.hadoop.fs.Path;importorg.apache.hadoop.io.IOUtils;出现上述都无法import的情况报错显示：Theimportorg.apachecannotberesolved分析得出无法找到对应的包，而看报错先看第一个报错org.apache.hadoop.conf.Configuration这个的包是hadoop-com
查找网上许多方法都没用，最后自己从包处解决importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.FileSystem;importorg.apache.hadoop.fs.Path;importorg.apache.hadoop.io.IOUtils;出现上述都无法import的情况报错显示：Theimportorg.apachecannotberesolved分析得出无法找到对应的包，而看报错先看第一个报错org.apache.hadoop.conf.Configuration这个的包是hadoop-com
hive.metastore.warehouse.dirhive中参数hive.metastore.warehouse.dir是必须的，其值不能为空。用于默认数据库的目录在此目录中。如以下语句在${hive.metastore.warehouse.dir}目录下创建子目录tmp.db，作为数据库的目录。createdatabasetmp;创建数据库时也可以指定location，数据库目录就在指定的路径下。创建表指定location创建内部表和外部表都可以指定location，这样表的目录都在指定的位置。创建内部表–不指定location创建内部表时，如果不指定location。则在db的路径下
hive.metastore.warehouse.dirhive中参数hive.metastore.warehouse.dir是必须的，其值不能为空。用于默认数据库的目录在此目录中。如以下语句在${hive.metastore.warehouse.dir}目录下创建子目录tmp.db，作为数据库的目录。createdatabasetmp;创建数据库时也可以指定location，数据库目录就在指定的路径下。创建表指定location创建内部表和外部表都可以指定location，这样表的目录都在指定的位置。创建内部表–不指定location创建内部表时，如果不指定location。则在db的路径下
