引言：通过Java本地把windows里的文件资源上传到centOs环境下的hdfs文件系统里，中间遇到了很多问题，不过最终还是把文件上传到了hdfs里了环境：centos-7.0,hadoop.2.8.5.gz,jdk1.8,eclipse1、下载hadoop.2.8.5.tar.gz和jdk1.8的linux版本安装包，上传到linux的根目录下并配置环境变量，useraddhadoop一个用户，这点就不再详细说了，自己百度一下，随便把hadoop.tar.gz解压到一目录里，比如/opt/hadoop/hadoop.2.8.5,配置好以后可以看到版本。2、我们进入到/opt/hadoop
引言：通过Java本地把windows里的文件资源上传到centOs环境下的hdfs文件系统里，中间遇到了很多问题，不过最终还是把文件上传到了hdfs里了环境：centos-7.0,hadoop.2.8.5.gz,jdk1.8,eclipse1、下载hadoop.2.8.5.tar.gz和jdk1.8的linux版本安装包，上传到linux的根目录下并配置环境变量，useraddhadoop一个用户，这点就不再详细说了，自己百度一下，随便把hadoop.tar.gz解压到一目录里，比如/opt/hadoop/hadoop.2.8.5,配置好以后可以看到版本。2、我们进入到/opt/hadoop
目录接上文：Zabbix的详细安装部署_zabbix安装部署linux_linux_yanbb的博客-CSDN博客文章目录zabbix-agent安装1.安装zabbix-agent2.修改配置文件 3.创建主机群组4.创建主机 5.创建应用集 6.创建监控项a.创建1个不带参数的监控项：b.创建1个带参数的监控项7.删除监控项zabbix-agent安装当我们把监控端配置启动以后，我们需要来设置一下我们的被监控端，我们在被监控的主机安装好zabbix-agent，设置好他的所属的监控端server，并把他添加到server端，就能将其纳入我们的监控系统中去了。1.安装zabbix-
查看文件系统的文件，执行：hdfsdfs-ls/文件路径2.创建目录，执行：hdfs-dfs-mkdir/文件名3.删除目录，执行：hdfs-rm-r/文件名
DFSClient和DN在一个节点——localreads，远程阅读Remotereads。处理方式是一样的DN读数据通过RPC(TCP协议）把数据给DFSClient。DN在中间会做中转，处理简单但是性能收影响（Localread的情况下，会希望绕过DN直接读取Data，这就是短路短路本地读取DFSClient自行打开文件读取数据，需要配置白名单定义可读取数据的User——安全漏洞，不建议使用两个进程socket方式通讯，普通数据甚至是文件描述符传递给B，B读取文件内容（{即使B没有权限）3.A为DN，B为DFSClient，读取文件安全性稍微好点负载平衡器Balancer让block放信息
一、HDFS常用命令1.创建创建指定路径文件夹hdfsdfs-mkdir/user/zhaojuanjuan/syuchen_files2.查看查看指定目录下的文件hdfsdfs-ls/path查看指定文件夹总大小hdfsdfs-du-s-h/path查看指定目录下每一个文件夹的大小hdfsdfs-du-h/path直接查看gz文件内容hadoopfs-cat/xxxx/xxx.gz|gzip-d查看gz文件内容前几行hadoopfs-cat/xxxx/xxx.gz|gzip-d|head-103.移动与删除移动文件hdfsdfs-mv源文件路径目标路径删除hdfs文件夹hdfsdfs-rm-
#需要有superuser权限才能执行hadoopdfsadmin-report#Remaining是剩余的容量也可以通过浏览器访问50070端口查看
一、分区的定义分区表实际上就是对应一个HDFS文件系统上的独立的文件夹，Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成小的数据集。在查询时通过where子句中的表达式选择查询所需要的指定的分区，这样的查询效率会提高很多，所以我们需要把常常用在where语句中的字段指定为表的分区字段。而分区又分为静态分区、动态分区两种。二、静态分区、动态分区对比静态分区与动态分区的主要区别在于静态分区是手动指定，是编译时进行分区。支持load和insert两种插入方式。适合于分区数少、分区名可以明确的数据而动态分区是通过数据来进行判断，是在SQL执行时进行分区。只支持inset这一种插入方式。需
Elasticsearch系列文章1、介绍lucene的功能以及建立索引、搜索单词、搜索词语和搜索句子四个示例实现2、Elasticsearch7.6.1基本介绍、2种部署方式及验证、head插件安装、分词器安装及验证3、Elasticsearch7.6.1信息搜索示例（索引操作、数据操作-添加、删除、导入等、数据搜索及分页）4、Elasticsearch7.6.1Javaapi操作ES（CRUD、两种分页方式、高亮显示）和ElasticsearchSQL详细示例5、Elasticsearch7.6.1filebeat介绍及收集kafka日志到es示例6、Elasticsearch7.6.1、
elasticssearch版本8.4.3根据官网的提示https://www.elastic.co/guide/en/fleet/8.4/fleet-troubleshooting.html#agent-enrollment-certs出现这种问题需要增加参数--insecureTofixthisproblem,passthe --insecure flagalongwiththe enroll or install command. ./elastic-agentinstall --fleet-server-es=https://192.168.0.180:9200 --fleet-ser
