草庐IT

$FallbackHome机制

全部标签

GC:垃圾回收机制,不用手动回收释放#yyds干货盘点#

GC:垃圾回收机制,不用手动回收释放什么是垃圾?对象被判定为垃圾的标准没有被其他对象引用怎么判断垃圾?判定对象是否为垃圾的算法引用计数算法通过判断对象的引用数量来决定对象是否可以被回收每个对象实例都有一个引用计数器,被引用则+1,完成引用则-1任何引用计数为0的对象实例可以被当作垃圾收集优点:执行效率高,程序执行受影响较小缺点︰无法检测出循环引用的情况,导致内存泄露packagecom.interview.javabasic.jvm.gc;publicclassMyObject{publicMyObjectchildNode;}/////////////////////////////////

GC:垃圾回收机制,不用手动回收释放#yyds干货盘点#

GC:垃圾回收机制,不用手动回收释放什么是垃圾?对象被判定为垃圾的标准没有被其他对象引用怎么判断垃圾?判定对象是否为垃圾的算法引用计数算法通过判断对象的引用数量来决定对象是否可以被回收每个对象实例都有一个引用计数器,被引用则+1,完成引用则-1任何引用计数为0的对象实例可以被当作垃圾收集优点:执行效率高,程序执行受影响较小缺点︰无法检测出循环引用的情况,导致内存泄露packagecom.interview.javabasic.jvm.gc;publicclassMyObject{publicMyObjectchildNode;}/////////////////////////////////

hadoop源码解析---INodeReference机制

本文主要介绍了hadoop源码中hdfs的INodeReference机制。在hdfs2.6版本中,引入了许多新的功能,一些原有的源代码设计也有一定的改造。一个重要的更新就是引入了快照功能。但是当HDFS文件或者目录处于某个快照中,并且这个文件或者目录被重命名或者移动到其他路径时,该文件或者目录就会存在多条访问路径。INodeReference就是为了解决这个问题产生的。问题描述/a是hdfs中的一个普通目录,s0为/a的一个快照,在/a目录下有一个文件test。根据快照的定义,我们可以通过/a/test以及/a/snapshot/s0/test访问test文件。但是当用户将/a/test文件

hadoop源码解析---INodeReference机制

本文主要介绍了hadoop源码中hdfs的INodeReference机制。在hdfs2.6版本中,引入了许多新的功能,一些原有的源代码设计也有一定的改造。一个重要的更新就是引入了快照功能。但是当HDFS文件或者目录处于某个快照中,并且这个文件或者目录被重命名或者移动到其他路径时,该文件或者目录就会存在多条访问路径。INodeReference就是为了解决这个问题产生的。问题描述/a是hdfs中的一个普通目录,s0为/a的一个快照,在/a目录下有一个文件test。根据快照的定义,我们可以通过/a/test以及/a/snapshot/s0/test访问test文件。但是当用户将/a/test文件

0003 - NameNode工作机制解析

大数据梦工厂(0003-NameNode工作机制解析)1-基本描述NameNode是HDFS的核心服务,它管理和维护着整个HDFS分布式文件系统,主要有以下作用:负责接收客户端的操作请求;负责管理文件系统命名空间(NameSpace)、集群配置信息及存储块的复制等;负责文件目录树的维护以及文件对应Block列表的维护;负责管理Block与DataNode之间的关系。NameNode中包含FsImage和Edits两个文件。存储在NameNode节点的本地磁盘上,也就是NameNode的元数据信息。FsImage:命名空间镜像文件。记录数据块到文件的映射、目录或文件的结构、属性等信息。Edits

0003 - NameNode工作机制解析

大数据梦工厂(0003-NameNode工作机制解析)1-基本描述NameNode是HDFS的核心服务,它管理和维护着整个HDFS分布式文件系统,主要有以下作用:负责接收客户端的操作请求;负责管理文件系统命名空间(NameSpace)、集群配置信息及存储块的复制等;负责文件目录树的维护以及文件对应Block列表的维护;负责管理Block与DataNode之间的关系。NameNode中包含FsImage和Edits两个文件。存储在NameNode节点的本地磁盘上,也就是NameNode的元数据信息。FsImage:命名空间镜像文件。记录数据块到文件的映射、目录或文件的结构、属性等信息。Edits

实时计算框架:Flink集群搭建与运行机制

一、Flink概述1、基础简介Flink是一个框架和分布式处理引擎,用于对无界和有界数据流进行有状态计算。Flink被设计在所有常见的集群环境中运行,以内存执行速度和任意规模来执行计算。主要特性包括:批流一体化、精密的状态管理、事件时间支持以及精确一次的状态一致性保障等。Flink不仅可以运行在包括YARN、Mesos、Kubernetes在内的多种资源管理框架上,还支持在裸机集群上独立部署。在启用高可用选项的情况下,它不存在单点失效问题。这里要说明两个概念:边界:无边界和有边界数据流,可以理解为数据的聚合策略或者条件;状态:即执行顺序上是否存在依赖关系,即下次执行是否依赖上次结果;2、应用场

实时计算框架:Flink集群搭建与运行机制

一、Flink概述1、基础简介Flink是一个框架和分布式处理引擎,用于对无界和有界数据流进行有状态计算。Flink被设计在所有常见的集群环境中运行,以内存执行速度和任意规模来执行计算。主要特性包括:批流一体化、精密的状态管理、事件时间支持以及精确一次的状态一致性保障等。Flink不仅可以运行在包括YARN、Mesos、Kubernetes在内的多种资源管理框架上,还支持在裸机集群上独立部署。在启用高可用选项的情况下,它不存在单点失效问题。这里要说明两个概念:边界:无边界和有边界数据流,可以理解为数据的聚合策略或者条件;状态:即执行顺序上是否存在依赖关系,即下次执行是否依赖上次结果;2、应用场