一、目的经过6个月的奋斗，项目的离线数仓部分终于可以上线了，因此整理一下离线数仓的整个流程，既是大家提供一个案例经验，也是对自己近半年的工作进行一个总结。二、项目背景项目行业属于交通行业，因此数据具有很多交通行业的特征，比如转向比数据就是统计车辆左转、右转、直行、掉头的车流量等等。三、业务需求（一）预估数据规模（二）指标查询频率指标的实时查询由Flink实时数仓计算，离线数仓这边提供指标的T+1的历史数据查询四、数仓技术架构（一）简而言之，数仓模块的数据源是Kafka，终点是ClickHouse数据库第一步，用kettle采集Kafka的数据写入到HDFS中；第二步，在Hive中建数仓，ODS
视频课程地址：https://www.bilibili.com/video/BV1WY4y197g7课程资料链接：https://pan.baidu.com/s/15KpnWeKpvExpKmOC8xjmtQ?pwd=5ay8Hadoop入门学习笔记（汇总）目录三、使用HDFS文件系统3.1.使用命令操作HDFS文件系统3.1.1.HDFS文件系统基本信息3.1.2.HDFS文件系统的2套命令体系3.1.3.创建文件夹3.1.4.查看指定目录下的内容3.1.5.上传文件到HDFS指定目录下3.1.6.查看HDFS中文件的内容3.1.7.从HDFS下载文件到本地3.1.8.复制HDFS文件（在H
文章目录**1audit简介2auditctl的使用2audit配置和规则3工作原理4audit接口调用*4.1获取和修改配置4.2获取和修改规则4.3获取审计日志5audit存在的问题*5.1内核版本5.2审计日志过多造成的缓存队列和磁盘问题5.2容器环境下同一个命令的日志存在差异6参考文档1audit简介audit是Linux内核提供的一种审计机制，由于audit是内核提供的，因此，在使用audit的过程中就包含内核空间和用户空间部分：rules：审计规则，其中配置了审计系统需要审计的操作auditctl：用户态程序，用于审计规则配置和配置变更kaudit：内核空间程序，根据配置好的审计规
目录一、高可用（HA）的背景知识1.1 单点故障1.2 如何解决单点故障 1.2.1主备集群 1.2.2 Active、Standby1.2.3 高可用1.2.4 集群可用性评判标准（x 个 9）1.3 HA 系统设计核心问题 1.3.1脑裂问题 1.3.2数据状态同步问题二、NAMENODE 单点故障问题 2.1概述 2.2解决 三、HDFSHA 解决方案--QJM3.1QJM—主备切换、脑裂问题解决3.1.1 ZKFailoverController（zkfc）3.1.2 Fencing（隔离）机制 3.2 主备数据状态同步问题解决 四、HDFSHA 集群搭建 4.1 HA 集群规划 4
文章目录1Kafka1.1Kerberos安全模式的认证与环境准备1.2创建一个测试主题1.3消费主题的接收测试2Flink1.1Kerberos安全模式的认证与环境准备1.2Flink任务的开发3HDFS与Hive3.1Shell脚本的编写思路3.2脚本测试方法4DolphinScheduler该需求为实时接收对手Topic，并进行消费落盘至Hive。在具体的实施中，基于华为MRS3.2.0安全模式带kerberos认证的Kafka2.4、Flink1.15、Hadoop3.3.1、Hive3.1，调度平台为开源dolphinscheduler。本需求的完成全部参考华为官方MRS3.2.0开
1.场景分析现有需求需要将elasticsearch的备份至hdfs存储，根据以上需求，使用logstash按照天级别进行数据的同步2.重难点数据采集存在时间漂移问题，数据保存时使用的是采集时间而不是数据生成时间采用webhdfs无法对文件大小进行设置解决@timestamp时区问题3.问题解决3.1安装webhdfs插件./bin/logstash-plugininstalllogstash-output-webhdfs3.2logstash配置input{elasticsearch{hosts=>"xxxx:9200"index=>"xxxx"#自定义查询query=>'{"query":
小伙伴们大家好,今天给大家介绍一下HDFS部分的相关知识:1.HDFS原理--架构hdfs由三部分组成:分别是 namenode,SecondaryNameNode,datanode namenode:主节点. 1.管理整个HDFS集群. 2.维护和管理元数据. SecondaryNameNode:辅助节点. 辅助namenode维护和管理元数据的. datanode:从节点. 1.存储具体的数据. 2.负责源文件的读写操作. 3.定时和namenode发送心跳包.2.HDFS的分块存储机制1.分块存储是为了方便统一管理的,默认的块大小为:128MB.
1.HadoopHadoop是大数据开发的重要框架，是一个由Apache基金会所开发的分布式系统基础架构，其核心是HDFS和MapReduce，HDFS为海量的数据提供了存储，MapReduce为海量的数据提供了计算，在Hadoop2.x时代，增加了Yarn，Yarn只负责资源的调度。目前hadoop包括hdfs、mapreduce、yarn、核心组件。hdfs用于存储，mapreduce用于计算,yarn用于资源管理。2HDFSHDFS是什么？HadoopDistributedFileSystem：分步式文件系统源自于Google的GFS论文，发表于2003年10月，HDFS是GFS克隆版H
（1）实验原理使用JavaAPI操作HDFS的实验原理如下：配置Hadoop环境：首先需要配置Hadoop的环境，包括设置Hadoop的安装路径、配置core-site.xml和hdfs-site.xml等文件，以便Java程序能够连接到HDFS。引入Hadoop依赖：在Java项目中，需要引入Hadoop的相关依赖，包括hadoop-common、hadoop-hdfs等依赖，以便能够使用Hadoop提供的API。创建Configuration对象：使用org.apache.hadoop.conf.Configuration类创建一个Configuration对象，该对象包含了Hadoop的
HDFS的API操作1HDFS核心类简介Configuration类：处理HDFS配置的核心类。FileSystem类：处理HDFS文件相关操作的核心类,包括对文件夹或文件的创建，删除，查看状态，复制，从本地挪动到HDFS文件系统中等。Path类：处理HDFS文件路径。IOUtils类：处理HDFS文件读写的工具类。2HDFS文件处理类FileSystem的核心方法介绍：1.FileSystemget(URIuri,Configurationconf)根据HDFS的URI和配置，创建FileSystem实例2.publicbooleanmkdirs(Pathf)throwsIOExceptio
