文章目录工具准备虚拟环境pip常用命令ipykernel库安装Python迁移项目时有第三方库的做法：pip安装升级相关命令用pip下载指定版本的包：Python相关包的介绍1.numpy参考资料：工具准备安装VisualStudioCode安装PythonVScode中安装插件：Python、Jupyter虚拟环境为了不影响原始安装包，一般新建虚拟环境编写Python代码。新建一个空的文件夹并用VSCode打开该文件夹，如E:/python项目打开终端Ctrl+Shift+`创建虚拟环境：python-mvenv.venv激活启动虚拟环境.venv/Scripts/activate
Docker常用命令1帮助启动类命令2镜像命令2.1查看本地镜像2.2检索镜像（从镜像库）2.3拉取镜像2.4查看镜像、容器、数据卷的空间2.5“重命名”镜像2.6构建镜像2.6.1提交为镜像2.7删除镜像2.8保存\载入镜像2.8.1保存镜像2.8.2载入镜像2.9查看镜像内部详情3容器相关命令3.1创建容器和启动3.1.1创建容器并启动（最常用）3.1.2只创建容器不启动3.2列出本机的容器3.3退出容器3.4启动已经停止的容器3.5重启容器3.6停止容器3.7强制停止容器3.8删除容器3.9容器日志3.11查看容器内部细节3.12重新计入容器3.13拷贝容器内的文件到主机3.14导出导入
HDFS的API操作1HDFS核心类简介Configuration类：处理HDFS配置的核心类。FileSystem类：处理HDFS文件相关操作的核心类,包括对文件夹或文件的创建，删除，查看状态，复制，从本地挪动到HDFS文件系统中等。Path类：处理HDFS文件路径。IOUtils类：处理HDFS文件读写的工具类。2HDFS文件处理类FileSystem的核心方法介绍：1.FileSystemget(URIuri,Configurationconf)根据HDFS的URI和配置，创建FileSystem实例2.publicbooleanmkdirs(Pathf)throwsIOExceptio
文章目录前言一、Git概述及安装1、Git概述2、Git下载及安装二、Git常用命令1、使用前配置（gitconfig--globalxx）2、初始化本地库（gitinit）3、查看本地库状态（gitstatus）4、本地文件添加到暂存区（gitaddxx）5、提交本地库，形成历史版本（gitcommit-mxx）6、修改文件7、历史版本及版本穿梭（gitreset--hardxx）前言之前在公司管理项目都是使用的SVN，SVN是集中式版本控制工具。集中化的版本控制系统都有一个单一的集中管理的服务器，保存所有文件的修订版本，而协同工作的人们都通过客户端连到这台服务器，取出最新的文件或者提交更新
文章目录1.Git概述1.1何为版本控制1.2为什么需要版本控制1.3版本控制工具1.4Git简史1.5Git工作机制1.6Git和代码托管中心2.Git安装3.Git常用命令3.1设置用户签名3.1.1说明3.1.2语法3.1.3案例实操3.2初始化本地库3.2.1基本语法3.2.2案例实操3.2.3结果查看3.3查看本地库状态3.3.1基本语法3.3.2案例实操3.3.2.1首次查看本地库状态3.3.2.2新增文件（hello.txt）3.3.2.3再次查看本地库状态3.4添加暂存区3.4.1将工作区的文件添加到暂存区3.4.2查看状态3.5提交本地库3.5.1将暂存区的文件提交到本地库3
文章目录基础命令MYSQL注释方式连接数据库退出数据库连接查询MYSQL版本查看所有数据库使用数据库查看所选择数据库的所有表查看表的具体信息创建数据库查看创建数据库的语句修改用户密码数据表管理创建数据表查看创建数据表的语句查看表的结构修改表名删除表数据表字段管理给指定表增加字段修改指定表的字段删除指定表的字段给表添加外键创建表的时候增加外键给已有表添加外键外键使用建议数据插入语句INSERT数据插入一次性插入多条数据案例数据更新语句UPDATE没有指定匹配条件的话，会所有表的所有记录根据条件来修改记录一次性修改多个字段的值稍微高级一点的使用where条件判空and和or的使用数据删除DELET
一、常用docker命令1.查询镜像dockersearch这里以mysql为例↓2.获取镜像选好要用1中哪个name的镜像后，就可以拉取了dockerpull镜像名3.查看本地镜像dockerimagels4.创建、运行容器dockerrun镜像名这会创建一个错误的容器，会在你的进程中（dockerps-a查看），因为有些配置没配置，现在把这个错误的删掉正确的创建运行mysql镜像（以mysql为例）的方法是dockerrun-it--namemysqlx-p3306:3306-eMYSQL_ROOT_PASSWORD=123-dmysql dockerrun 命令是Docker的核心命令之
文章目录前言需要回答的首要问题DataNode端基于Netty的WebHDFSService的实现基于重定向的文件写入流程写入一个大文件时WebHDFS和HadoopNative的块分布差异基于重定向的数据读取流程尝试读取一个小文件尝试读取一个大文件读写过程中的ChunkTransfer-Encoding支持写文件使用ChunkTransfer-Encoding读文件使用ChunkTransfer-EncodingResponseHeader中为什么没有Transfer-Encoding:chunked测试WebHDFS是否支持chunkTransfer-Encoding时的一个错误导致的错误
文章目录API文档环境配置API操作准备工作创建文件夹文件上传文件下载文件删除文件的更名和移动获取文件详细信息API文档HDFSAPI官方文档：https://hadoop.apache.org/docs/r3.3.1/api/index.html环境配置将Hadoop的Jar包解压到非中文路径（例如D:\hadoop\hadoop-2.7.2）配置HADOOP_HOME环境变量配置Path环境变量API操作准备工作创建一个[Maven]工程HdfsClientDemo引入hadoop-client依赖dependencies>dependency>grupId>org.apache.hado
一、背景kerberos认证是比较底层的认证，掌握好了用起来比较简单。kettle完成kerberos认证后会存储认证信息在jvm中，之后直接连接hive就可以了无需提供额外的用户信息。sparkthriftserver本质就是通过hivejdbc协议连接并运行sparksql任务。二、思路kettle中可以使用js调用java类的方法。编写一个jar放到kettle的lib目录下并。在启动kettle后会自动加载此jar中的类。编写一个javascript转换完成kerbero即可。二、kerberos认证模块开发准备使用scala语言完成此项目。hadoop集群版本:cdh-6.2.0ke
