1.HadoopHadoop是大数据开发的重要框架，是一个由Apache基金会所开发的分布式系统基础架构，其核心是HDFS和MapReduce，HDFS为海量的数据提供了存储，MapReduce为海量的数据提供了计算，在Hadoop2.x时代，增加了Yarn，Yarn只负责资源的调度。目前hadoop包括hdfs、mapreduce、yarn、核心组件。hdfs用于存储，mapreduce用于计算,yarn用于资源管理。2HDFSHDFS是什么？HadoopDistributedFileSystem：分步式文件系统源自于Google的GFS论文，发表于2003年10月，HDFS是GFS克隆版H
Git仓库数据结构Git仓库由一个个的commit组成某些commit上会有一些branch指向它们，这些branch的本质是引用有一个特殊的引用叫做HEAD，它始终指向当前的位置，这个位置可以是commit，也可以是branchstagingarea暂存区和addstaging原意：舞台表演前的筹划准备（例如汇集道具和演员）。Git中的意思：把改动内容汇集起来以待提交。stagingarea：待提交的修改内容暂时存放的地方。主要用于和已经改动但不打算提交的内容区分开来。add指令：把指定的内容放进暂存区。Workspace：工作区Stage：暂存区Repository：仓库区（本地仓库）Re
目录3.1设置用户签名3.2初始化本地库3.3查看本地库状态3.4添加暂存区3.5提交本地库3.6历史版本3.7修改文件3.8版本穿梭小结命令作用gitconfig--globaluser.name用户名设置用户签名gitconfig--globaluser.email邮箱设置用户签名gitinit初始化本地库gitstatus查看本地库状态gitadd文件名添加到暂存区gitcommit-m“日志信息”文件名提交到本地库gitreflog、gitlog查看历史版本gitreset–hard版本号版本穿梭3.1设置用户签名基本语法gitconfig--globaluser.name用户名git
常用命令详解-dockerps前言dockerpsoptions说明使用示例前言本篇来学习dockerps命令dockerps作用：列出容器options说明option作用-a,--all显示全部容器（默认只显示运行中的容器）-f,--filterfilter根据提供的filter过滤输出-n,--lastint列出最近创建的n个容器（默认-1，代表全部）-l,--latest显示最近创建的容器（包括所有状态的容器）-s,--size显示总的文件大小–no-trunc显示完整的镜像ID-q,--quiet静默模式，只显示容器ID使用示例不带参数，默认显示运行中的容器dockerps字段含义C
目录项目场景：数据迁移方案hbase和hadoop相关命令方案介绍DistCp分布式拷贝方案实施迁移过程中遇到的一些问题1.我在原集群先拷贝协处理器到目标新节点过程中出现了如下的情况，hdfs的map任务一直处于卡住状态，通过页面前两行看到hadoop集群没有资源，有3个节点处于不健康的状态2.因为准备的目标新节点磁盘远小于原集群，所以需要先将原集群数据进行合并major合并（大合并）大合并自动执行：默认7天来一次hbase.hregion.majorcompaction 默认7天3. HDFS问题，OperationcategoryREADisnotsupportedinstatestand
cd切换目录：> cd ../ #切换到父级目录> cd /tmp # 切换到/tmp目录> cd ~ # 切换到当前用户的家目录ls命令查看文件与目录的命令，list的缩写：> ls -l #列出长数据串，包含文件的属性与权限数据等> ls -a #列出隐藏文件> ls -d # 列出目录本身,而不是列出目录的文件数据> ls -lh # 将文件容量以较易读的方式（GB，kB等）列出来> ls -lR #连同子目录的内容一起列出（递归列出），等于该目录下的所有文件都会显示出来grep命令文本查找：>grep -a #将binary文件以text文件的方式查找数据>grep -
前言Git是一个分布式版本控制工具，主要用于管理开发过程中的源代码文件（Java类、xml文件、html页面等）。Git在管理文件过程中会记录日志，方便回退到历史版本；Git存在分支的概念，一个项目可以有多个分支（版本），可以任意切换；Git支持多人协作，即一个团队共同开发一个项目，每个团队成员负责一部分代码，通过Git就可以管理和协调；Git通过仓库管理文件，在Git中存在远程仓库，如果本地文件丢失还可以从远程仓库获取。通过Git仓库来存储和管理这些文件，Git仓库分为两种：本地仓库：开发人员自己电脑上的Git仓库远程仓库：远程服务器上的Git仓库Git下载与安装下载地址：https://g
文章目录工具准备虚拟环境pip常用命令ipykernel库安装Python迁移项目时有第三方库的做法：pip安装升级相关命令用pip下载指定版本的包：Python相关包的介绍1.numpy参考资料：工具准备安装VisualStudioCode安装PythonVScode中安装插件：Python、Jupyter虚拟环境为了不影响原始安装包，一般新建虚拟环境编写Python代码。新建一个空的文件夹并用VSCode打开该文件夹，如E:/python项目打开终端Ctrl+Shift+`创建虚拟环境：python-mvenv.venv激活启动虚拟环境.venv/Scripts/activate
目录在这里我用的是idea操作的一、配置1.首先确保HBase集群已经开启2.配置hosts文件 3、创建maven项目，在pom.xml文件中添加如下依赖项4.配置log4j.properties文件二、连接增删改查1.连接测试类 2.创建表3.添加数据4.查询指定行键数据5.查询指定行键范围6.查询表的行数7.查询表中数据 8.查询已存在表9.删除指定行数据10.删除表在这里我用的是idea操作的一、配置1.首先确保HBase集群已经开启[root@hadoop~]#jps2761HQuorumPeer2137ResourceManager7114Jps2858HMaster1691Na
Docker常用命令1帮助启动类命令2镜像命令2.1查看本地镜像2.2检索镜像（从镜像库）2.3拉取镜像2.4查看镜像、容器、数据卷的空间2.5“重命名”镜像2.6构建镜像2.6.1提交为镜像2.7删除镜像2.8保存\载入镜像2.8.1保存镜像2.8.2载入镜像2.9查看镜像内部详情3容器相关命令3.1创建容器和启动3.1.1创建容器并启动（最常用）3.1.2只创建容器不启动3.2列出本机的容器3.3退出容器3.4启动已经停止的容器3.5重启容器3.6停止容器3.7强制停止容器3.8删除容器3.9容器日志3.11查看容器内部细节3.12重新计入容器3.13拷贝容器内的文件到主机3.14导出导入
