0、汇总========1.14.0========1.有界流支持Checkpoint；2.批执行模式支持DataStream和Table/SQL混合应用；3.新增HybridSource功能；4.新增缓冲区去膨胀功能；5.新增细粒度资源管理功能；6.新增DataStream的Pulsar连接器；========1.15.0========1.支持增量的Savepoint；2.保证作业级别的指标在Reactive模式下可以正常工作；3.为自适应调度器添加了异常历史记录；4.引入自适应批调度器，支持根据每个节点需要处理的数据量的大小自动决定批处理作业中各节点的并行度；5.支持跨源节点的Water
文章目录1.Git概述1.1何为版本控制1.2为什么需要版本控制1.3版本控制工具1.4Git简史1.5Git工作机制1.6Git和代码托管中心2.Git安装3.Git常用命令3.1设置用户签名3.1.1说明3.1.2语法3.1.3案例实操3.2初始化本地库3.2.1基本语法3.2.2案例实操3.2.3结果查看3.3查看本地库状态3.3.1基本语法3.3.2案例实操3.3.2.1首次查看本地库状态3.3.2.2新增文件（hello.txt）3.3.2.3再次查看本地库状态3.4添加暂存区3.4.1将工作区的文件添加到暂存区3.4.2查看状态3.5提交本地库3.5.1将暂存区的文件提交到本地库3
文章目录基础命令MYSQL注释方式连接数据库退出数据库连接查询MYSQL版本查看所有数据库使用数据库查看所选择数据库的所有表查看表的具体信息创建数据库查看创建数据库的语句修改用户密码数据表管理创建数据表查看创建数据表的语句查看表的结构修改表名删除表数据表字段管理给指定表增加字段修改指定表的字段删除指定表的字段给表添加外键创建表的时候增加外键给已有表添加外键外键使用建议数据插入语句INSERT数据插入一次性插入多条数据案例数据更新语句UPDATE没有指定匹配条件的话，会所有表的所有记录根据条件来修改记录一次性修改多个字段的值稍微高级一点的使用where条件判空and和or的使用数据删除DELET
文章目录Git分支操作的基础用法上述Git分支操作命令Git分支操作的基础用法查看分支：gitbranch：列出所有本地分支。gitbranch-r：列出所有远程分支。gitbranch-a：同时列出本地和远程所有分支。创建分支：gitbranch[branch-name]：创建一个新分支，但停留在当前分支。gitcheckout-b[branch-name]：创建一个新分支并立即切换到该分支。gitswitch-c[branch-name]：如果分支不存在，创建并切换到新分支。这是gitcheckout-b的现代替代品。切换分支：gitcheckout[branch-name]：切换到指定的
文章目录说明脚本汇总服务器脚本创建存放归类日志文件创建归类文件中的日期命名文件创建定时任务每台服务器脚本中的脚本脚本说明与验证验证【查看与解压tar文件说明】创建定时任务汇总服务器调用脚本一键执行【手动执行】脚本准备执行脚本验证说明现在甲方有一个需求：要求每月备份系统日志问题：1、有37台服务器需要备份且汇总到一
前言：大数据的出现带来了许多新的术语，但这些术语往往比较难以理解。因此，通过本文整理了大数据开发工程师经常会接触到的名词和概念，了解这些专有名词对于数据研发和数据分析时的人员协作及研发都有很高的作用。一、数据中台相关数据中台数据中台是一套可持续“让企业的数据用起来”的机制，是一种战略选择和组织形式，是依据企业特有的业务模式和组织架构，通过有形的产品和实施方法论支撑，构建的一套持续不断把数据变成资产并服务于业务的机制。数据中台需要具备：数据汇聚整合、数据提纯加工、数据服务可视化、数据价值变现四个核心能力，让企业员工、客户、伙伴能够方便地应用数据。 数据汇聚数据中台需要对数据进行整合和完善，提供适
Electron嵌入的页面中注入的是preload.js通过在标签中给prelaod赋值，这里提到了file://前缀，以及静态目录static怎么获取 实际代码，其中__static就是我们存放静态文件的地方，这个static是electron源代码根目录下的文件，最终打完包后会放在dist/electron/根目录下 而__static是在index.html中进行赋值的 这里看，因为渲染进程会直接启动index.html这个文件，同时渲染进程又能调用node.js库，因此这里拿到的__static就是安装目录下的static，因为这个static在asar压缩包里，所以这里就必须使用fi
一、常用docker命令1.查询镜像dockersearch这里以mysql为例↓2.获取镜像选好要用1中哪个name的镜像后，就可以拉取了dockerpull镜像名3.查看本地镜像dockerimagels4.创建、运行容器dockerrun镜像名这会创建一个错误的容器，会在你的进程中（dockerps-a查看），因为有些配置没配置，现在把这个错误的删掉正确的创建运行mysql镜像（以mysql为例）的方法是dockerrun-it--namemysqlx-p3306:3306-eMYSQL_ROOT_PASSWORD=123-dmysql dockerrun 命令是Docker的核心命令之
文章目录前言需要回答的首要问题DataNode端基于Netty的WebHDFSService的实现基于重定向的文件写入流程写入一个大文件时WebHDFS和HadoopNative的块分布差异基于重定向的数据读取流程尝试读取一个小文件尝试读取一个大文件读写过程中的ChunkTransfer-Encoding支持写文件使用ChunkTransfer-Encoding读文件使用ChunkTransfer-EncodingResponseHeader中为什么没有Transfer-Encoding:chunked测试WebHDFS是否支持chunkTransfer-Encoding时的一个错误导致的错误
文章目录API文档环境配置API操作准备工作创建文件夹文件上传文件下载文件删除文件的更名和移动获取文件详细信息API文档HDFSAPI官方文档：https://hadoop.apache.org/docs/r3.3.1/api/index.html环境配置将Hadoop的Jar包解压到非中文路径（例如D:\hadoop\hadoop-2.7.2）配置HADOOP_HOME环境变量配置Path环境变量API操作准备工作创建一个[Maven]工程HdfsClientDemo引入hadoop-client依赖dependencies>dependency>grupId>org.apache.hado
