一、概述HBase 是一个面向列式存储的分布式数据库，其设计思想来源于Google的BigTable论文。HBase底层存储基于HDFS实现，集群的管理基于ZooKeeper实现。HBase良好的分布式架构设计为海量数据的快速存储、随机访问提供了可能，基于数据副本机制和分区机制可以轻松实现在线扩容、缩容和数据容灾，是大数据领域中Key-Value数据结构存储最常用的数据库方案。官方文档：https://hbase.apache.org/book.htmlGitHub地址：https://github.com/apache/hbase关于更多hbase的介绍，也可以参考我这篇文章：列式存储的分布

一、概述HBase 是一个面向列式存储的分布式数据库，其设计思想来源于Google的BigTable论文。HBase底层存储基于HDFS实现，集群的管理基于ZooKeeper实现。HBase良好的分布式架构设计为海量数据的快速存储、随机访问提供了可能，基于数据副本机制和分区机制可以轻松实现在线扩容、缩容和数据容灾，是大数据领域中Key-Value数据结构存储最常用的数据库方案。官方文档：https://hbase.apache.org/book.htmlGitHub地址：https://github.com/apache/hbase关于更多hbase的介绍，也可以参考我这篇文章：列式存储的分布

本文简单介绍HBase的数据导入工具ImportTSV。通过一次将hive大表导入HBase的实战案例，梳理期间遇到的问题，调研更优的导入方式。本文着重关注：如何借助ImportTSV工具将数据（文件：tsv、csv、hive表)导入HBase，有哪些坑需要考虑？HBase如何建表，如何创建预分区？Hive数据导入HBase是否有其他方式，更有的方式？1ImportTSV介绍ImportTsv是HBase提供的一个命令行工具，将存储在HDFS上的数据文件，通过指定的分隔符解析后，导入到HBase表中。（TSV：Tab-separatedvalues）这样的方式导入数据与正常写入流程不同的是，跳

本文简单介绍HBase的数据导入工具ImportTSV。通过一次将hive大表导入HBase的实战案例，梳理期间遇到的问题，调研更优的导入方式。本文着重关注：如何借助ImportTSV工具将数据（文件：tsv、csv、hive表)导入HBase，有哪些坑需要考虑？HBase如何建表，如何创建预分区？Hive数据导入HBase是否有其他方式，更有的方式？1ImportTSV介绍ImportTsv是HBase提供的一个命令行工具，将存储在HDFS上的数据文件，通过指定的分隔符解析后，导入到HBase表中。（TSV：Tab-separatedvalues）这样的方式导入数据与正常写入流程不同的是，跳

（一）微调/迁移学习数据标注是一个很贵的事情，我们希望在经过大量的数据训练以后。我们的模型具备了一定的学习能力，在以后只需要给一点点的提示就能够学会一个新的事物。就是迁移学习的概念，名字不一样而已。（1）网络架构一个神经网络可以分为两块特征收取将原始像素变为能够线性分割的特征线性分类器来做分类那么微调是怎么做的呢？有一个神经网络net，它的训练来自于A数据集，而我的项目是B数据集。我希望能够net经过微小的调整之后，也能够用在B数据集上。也就是特征提取的那一部分仍起作用，只是说分类层需要重新训练。训练：是一个目标数据集上的正常任务，但是用更强的正则化：使用更小的学习率使用更少的数据迭代如果源数

（一）微调/迁移学习数据标注是一个很贵的事情，我们希望在经过大量的数据训练以后。我们的模型具备了一定的学习能力，在以后只需要给一点点的提示就能够学会一个新的事物。就是迁移学习的概念，名字不一样而已。（1）网络架构一个神经网络可以分为两块特征收取将原始像素变为能够线性分割的特征线性分类器来做分类那么微调是怎么做的呢？有一个神经网络net，它的训练来自于A数据集，而我的项目是B数据集。我希望能够net经过微小的调整之后，也能够用在B数据集上。也就是特征提取的那一部分仍起作用，只是说分类层需要重新训练。训练：是一个目标数据集上的正常任务，但是用更强的正则化：使用更小的学习率使用更少的数据迭代如果源数

Hadoop本质上是：分布式文件系统(HDFS)+分布式计算框架(Mapreduce)+调度系统Yarn搭建起来的分布式大数据处理框架。Hive：是一个基于Hadoop的数据仓库，适用于一些高延迟性的应用（离线开发），可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能。Hive可以认为是MapReduce的一个包装，把好写的HQL转换为的MapReduce程序，本身不存储和计算数据，它完全依赖于HDFS和MapReduce，Hive中的表是纯逻辑表。hive需要用到hdfs存储文件，需要用到MapReduce计算框架。HBase：是一个Hadoop的数据库，一个分布式、可扩展

Hadoop本质上是：分布式文件系统(HDFS)+分布式计算框架(Mapreduce)+调度系统Yarn搭建起来的分布式大数据处理框架。Hive：是一个基于Hadoop的数据仓库，适用于一些高延迟性的应用（离线开发），可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能。Hive可以认为是MapReduce的一个包装，把好写的HQL转换为的MapReduce程序，本身不存储和计算数据，它完全依赖于HDFS和MapReduce，Hive中的表是纯逻辑表。hive需要用到hdfs存储文件，需要用到MapReduce计算框架。HBase：是一个Hadoop的数据库，一个分布式、可扩展

作者简介：陈海峰，移动云数据库ApacheHBase开发人员，对ApacheHBase、RBF、ApacheSpark有浓厚兴趣。背景ApacheHBase是ApacheHadoop生态体系中的大规模、可扩展、分布式的数据存储服务。同时它还是NoSQL数据库。它的设计初衷是为包含了数百万列的数十亿行记录提供随机的、强一致性的实时查询。默认情况下，HBase的数据会保存在HDFS上，HBase为HDFS做了很多优化来保证稳定性与性能。但是维护HDFS本身一点也不轻松，要不断进行监控、运维、调优、扩容、灾难恢复等一系列事情，而且在公有云上搭建HDFS的费用也是相当高的。为了节省费用、降低维护成本，

作者简介：陈海峰，移动云数据库ApacheHBase开发人员，对ApacheHBase、RBF、ApacheSpark有浓厚兴趣。背景ApacheHBase是ApacheHadoop生态体系中的大规模、可扩展、分布式的数据存储服务。同时它还是NoSQL数据库。它的设计初衷是为包含了数百万列的数十亿行记录提供随机的、强一致性的实时查询。默认情况下，HBase的数据会保存在HDFS上，HBase为HDFS做了很多优化来保证稳定性与性能。但是维护HDFS本身一点也不轻松，要不断进行监控、运维、调优、扩容、灾难恢复等一系列事情，而且在公有云上搭建HDFS的费用也是相当高的。为了节省费用、降低维护成本，