引言：通过Java本地把windows里的文件资源上传到centOs环境下的hdfs文件系统里，中间遇到了很多问题，不过最终还是把文件上传到了hdfs里了环境：centos-7.0,hadoop.2.8.5.gz,jdk1.8,eclipse1、下载hadoop.2.8.5.tar.gz和jdk1.8的linux版本安装包，上传到linux的根目录下并配置环境变量，useraddhadoop一个用户，这点就不再详细说了，自己百度一下，随便把hadoop.tar.gz解压到一目录里，比如/opt/hadoop/hadoop.2.8.5,配置好以后可以看到版本。2、我们进入到/opt/hadoop
查看文件系统的文件，执行：hdfsdfs-ls/文件路径2.创建目录，执行：hdfs-dfs-mkdir/文件名3.删除目录，执行：hdfs-rm-r/文件名
DFSClient和DN在一个节点——localreads，远程阅读Remotereads。处理方式是一样的DN读数据通过RPC(TCP协议）把数据给DFSClient。DN在中间会做中转，处理简单但是性能收影响（Localread的情况下，会希望绕过DN直接读取Data，这就是短路短路本地读取DFSClient自行打开文件读取数据，需要配置白名单定义可读取数据的User——安全漏洞，不建议使用两个进程socket方式通讯，普通数据甚至是文件描述符传递给B，B读取文件内容（{即使B没有权限）3.A为DN，B为DFSClient，读取文件安全性稍微好点负载平衡器Balancer让block放信息
一、HDFS常用命令1.创建创建指定路径文件夹hdfsdfs-mkdir/user/zhaojuanjuan/syuchen_files2.查看查看指定目录下的文件hdfsdfs-ls/path查看指定文件夹总大小hdfsdfs-du-s-h/path查看指定目录下每一个文件夹的大小hdfsdfs-du-h/path直接查看gz文件内容hadoopfs-cat/xxxx/xxx.gz|gzip-d查看gz文件内容前几行hadoopfs-cat/xxxx/xxx.gz|gzip-d|head-103.移动与删除移动文件hdfsdfs-mv源文件路径目标路径删除hdfs文件夹hdfsdfs-rm-
#需要有superuser权限才能执行hadoopdfsadmin-report#Remaining是剩余的容量也可以通过浏览器访问50070端口查看
一、分区的定义分区表实际上就是对应一个HDFS文件系统上的独立的文件夹，Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成小的数据集。在查询时通过where子句中的表达式选择查询所需要的指定的分区，这样的查询效率会提高很多，所以我们需要把常常用在where语句中的字段指定为表的分区字段。而分区又分为静态分区、动态分区两种。二、静态分区、动态分区对比静态分区与动态分区的主要区别在于静态分区是手动指定，是编译时进行分区。支持load和insert两种插入方式。适合于分区数少、分区名可以明确的数据而动态分区是通过数据来进行判断，是在SQL执行时进行分区。只支持inset这一种插入方式。需
Elasticsearch系列文章1、介绍lucene的功能以及建立索引、搜索单词、搜索词语和搜索句子四个示例实现2、Elasticsearch7.6.1基本介绍、2种部署方式及验证、head插件安装、分词器安装及验证3、Elasticsearch7.6.1信息搜索示例（索引操作、数据操作-添加、删除、导入等、数据搜索及分页）4、Elasticsearch7.6.1Javaapi操作ES（CRUD、两种分页方式、高亮显示）和ElasticsearchSQL详细示例5、Elasticsearch7.6.1filebeat介绍及收集kafka日志到es示例6、Elasticsearch7.6.1、
2.5HDFS环境搭建下载jdk和hadoop放到~/software目录下然后解压到~/app目录下tar-zxvf压缩包名字-C~/app/配置环境变量vi~/.bash_profileexportJAVA_HOME=/home/hadoop/app/jdk1.8.0_91exportPATH=$JAVA_HOME/bin:$PATHexportHADOOP_HOME=/home/hadoop/app/hadoop......exportPATH=$HADOOP_HOME/bin:$PATH#保存退出后source~/.bash_profile进入到解压后的hadoop目录修改配置文件配置
问题：最近出现的一次HDFS报错问题，查看一个文件是报错Couldn'tpreviewthefile.造成原因配置文件hdfs-site.xml配置有误windows下的C:\Windows\System32\drivers\etc\hosts与linux下的etc/hosts下的hadoop映射地址不一致解决方法在hdfs-site.xml配置如下依赖dfs.webhdfs.enabledtrue修改windows下的C:\Windows\System32\drivers\etc\hosts文件与linux下的etc/hosts下的hadoop映射地址保持一致我的是C:\Windows\Sy
以下是基于HadoopAPI和Java实现更改HDFS文件权限的示例代码：//第一种方法importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.FileSystem;importorg.apache.hadoop.fs.Path;importorg.apache.hadoop.fs.permission.FsAction;importorg.apache.hadoop.fs.permission.FsPermission;importjava.io.IOException;publicclassChangeHd
