Hadoop：是一个分布式计算的开源框架HDFS：是Hadoop的三大核心组件之一Hive：用户处理存储在HDFS中的数据，hive的意义就是把好写的hive的sql转换为复杂难写的map-reduce程序Hbase：是一款基于HDFS的数据库，是一种NoSQL数据库，主要适用于海量明细数据（十亿、百亿）的随机实时查询，如日志明细、交易清单、轨迹行为等Hive与HBase的区别与联系1、区别Hive：Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能。Hive本身不存储和计算数据，它完全依赖于HDFS和MapReduce，Hive
前言有个现实的需求，数据量可能在100亿条左右。现有的数据库是SQLServer，随着采集的数据不断的填充，查询的效率越来越慢（现有的SQLServer查询已经需要数十秒钟的时间），看看有没有优化的方案。考虑过SQLServer加索引、分区表、分库分表等方案，但数据量增长太快，还是很快就会遇到瓶颈，因此需要更优化的技术。在众多的NOSQL和大数据技术之下，针对此场景，主要考虑了两种方案：MongoDB：json文档型数据库，可以通过集群拓展。但更适合列比较复杂的场景快速查询。Hadoop：大数据领域的瑞士军刀，周边有很多相配套的工具可以使用，后期拓展性较强。因为此需求只是简单的根据编码找到对应
1.背景介绍Flink是一种流处理框架，可以处理大规模数据流，实现实时计算和数据分析。HBase是一个分布式、可扩展的列式存储系统，基于Google的Bigtable设计。Flink和HBase之间的集成可以实现流处理和存储的高效结合，提高数据处理能力。本文将介绍Flink的HBase连接器与查询器，涉及其背景、核心概念、算法原理、代码实例和未来发展趋势。1.1Flink的HBase连接器与查询器的背景Flink的HBase连接器与查询器是Flink与HBase之间的一种紧密耦合的集成，可以实现流处理和存储的高效结合。Flink可以将流处理结果直接存储到HBase中，实现实时数据处理和存储。同
Docker的介绍、安装与常用命令一、介绍1.相关资源2.安装环境3.基本组成二、Docker安装1.检查系统环境2安装gcc3卸载旧版本docker4安装软件包5设置镜像仓库6更新yum索引7安装（ce版）8启动Docker9阿里云镜像加速10Docker卸载三、常用命令1帮助命令2镜像命令2.1dockerimages2.2dockerrmi镜像名称3容器命令3.1创建并启动容器3.2查看运行的容器3.3退出容器命令3.4启动容器3.5重启容器3.6停止容器3.7删除容器4其他命令4.1守护模式容器4.2查看运行日志4.3查看容器进程4.4查看容器细节4.5进入正在运行的容器4.6文件复制
文章目录常用命令业务流程nginx的基础配置：server_name：匹配规则正/反向代理正向代理反向代理内网反向代理负载均衡轮询weight（权重）downbackup保持会话的负载均衡（不常用）**ip_hash****least_conn****url_hash****fair**动静分离URLRewrite网关防盗链高可用不安全的协议、证书配置对称加密不安全：非对称加密：HTTPS（CA机构）nginx证书引入常用命令进入安装目录的sbin文件夹下：./nginx或systemctlstartnginx.service启动./nginx-sstop或systemctlstopnginx
目录一、主机规划二、环境准备1.启动NTP时钟同步2.修改hosts文件3.配置所有主机间ssh免密4.修改用户可打开文件数与进程数（可选）三、安装JDK四、安装部署 Zookeeper集群1.解压、配置环境变量2.创建配置文件3.创建新的空ZooKeeper数据目录和事务日志目录4.添加myid配置5.设置Zookeeper使用的JVM堆内存6.启动ZooKeeper7.查看ZooKeeper状态8.简单测试ZooKeeper命令五、安装配置HadoopHA集群1.解压、配置环境变量（node1执行）2.HDFS高可用配置（1）创建存储目录（2）修改核心模块配置（3）修改hdfs文件系统模块
目录docker命令dockerpsdockerpulldockerimagesdockerrundockerstartdockerrestartdockerinfodockerlogsdockerrmdockerrmidockerexecdockerstatsdockersavedockerloaddockerexportdockerimportdockerinspectdockercpdockervolumedockernetworkdockerbuliddockerexecdocker命令dockerpsdockerps命令用于列出当前正在运行的Docker容器。它的语法如下：docke
管理表格从表中查询数据从多个表查询修改数据sql变量类型管理表格创建一个包含三列的新表CREATETABLEproducts(idINT,nameVARCHAR(255)NOTNULL,priceINTDEFAULT0,PRIMARYKEY(id)//自增);从数据库中删除表DROPTABLEproduct;向表中添加新列ALTERTABLEproductADDcolumn_nameVARCHAR(255)DEFAULT'';从表中删除列cALTERTABLEproductDROPCOLUMNcolumn_name添加约束ALTERTABLEproductADDconstraintcheck_
夯实基础，通过这篇文章带着大家简单回顾一下Redis中的8种常用数据类型：5种基础数据类型：String（字符串）、List（列表）、Set（集合）、Hash（散列）、Zset（有序集合）。3种特殊数据类型：HyperLogLog（基数统计）、Bitmap（位图）、Geospatial(地理位置)。Redis5种基本数据类型Redis共有5种基本数据类型：String（字符串）、List（列表）、Set（集合）、Hash（散列）、Zset（有序集合）。这5种数据类型是直接提供给用户使用的，是数据的保存形式，其底层实现主要依赖这8种数据结构：简单动态字符串（SDS）、LinkedList（双向链
在线Linux命令查询工具jobs显示Linux中的任务列表及任务状态补充说明jobs命令用于显示Linux中的任务列表及任务状态，包括后台运行的任务。该命令可以显示任务号及其对应的进程号。其中，任务号是以普通用户的角度进行的，而进程号则是从系统管理员的角度来看的。一个任务可以对应于一个或者多个进程号。在Linux系统中执行某些操作时候，有时需要将当前任务暂停调至后台，或有时须将后台暂停的任务重启开启并调至前台，这一序列的操作将会使用到jobs、bg、和fg三个命令以及两个快捷键来完成。语法jobs(选项)(参数)选项-l：显示进程号；-p：仅任务对应的显示进程号；-n：显示任务状态的变化；-
