HDFS架构剖析HDFS，HadoopDistributeFileSystem（Hadoop分布式文件系统）的简称，它是Hadoop核心组件之一，是大数据生态圈最底层的分布式存储服务。将计算靠近数据，而不是将数据移动到离计算更近的地方，使得应用的计算更有效率。HDFS遵循主从架构（master/slave）。通常包括一个主节点和多个从节点。主节点为NameNode，从节点为DataNode。在内部，文件分块存储，每个块根据复制因子存储在不同的从节点（DataNode）计算机上形成备份。Client文件切分：文件上传HDFS的时候，Client将文件切分成一个一个的Block，然后进行存储与Na
在定位公司问题的时候，需要了解一下skywalking的相关知识，而agent就提上了日程。官网文档Agent技术是Jdk在1.5版本之后，所提供的一个在jvm启动前后对部分java类代理加强的机制。由于是直接修改字节码，并不会对业务代码有注入，所以可以很好的应用于监控或者热部署等场景。正常所提到的Agent一般都是部署成jar包的样子，比如agent-1.0-SNAPSHOT.jar。在这个jar包中，要添加一个MANIFEST.MF文件，在文件中指定jar包的代理类，比如下面代码中的Premain-Class。在对应的代理类，要实现一个permain方法或者agentmain方法，这样jv
我在登录的时候遇见一个错误java.lang.Stringcannotbecasttocom.rock.bpo.agent.base.LoginUser遇见错误肯定要debug一下的哈，然后发现正常登录的时候token传的是BPO:AGENT:LOGIN:USER开头的字符串在无法请求登录的时候token传的并不是这个玩意开头的这种问题应该是浏览器缓存问题原因可能是多个系统的header里面都有一个Authorization来存放token，然后我们又在多个系统当中来回切换解决这个问题可以清缓存，重启电脑，当然这两种方法治标不治本另一种方法是给header里面存放token的属性换一个值统一前
参考资料 1. HDFS中的常用压缩算法及区别_大数据_王知无_InfoQ写作社区2. orc格式和parquet格式对比-阿里云开发者社区3.Hadoop压缩格式gzip/snappy/lzo/bzip2比较与总结|海牛部落高品质的大数据技术社区4. Hive中的文件存储格式TEXTFILE、SEQUENCEFILE、RCFILE、ORCFILE、Parquet和AVRO使用与区别详解_textorcpquestsequentfile_皮哥四月红的博客-CSDN博客5.Hadoop压缩格式gzip/snappy/lzo/bzip2比较与总结|海牛部落高品质的大数据技术社区本文主要介绍下HDF
DFS命令使用概览查看帮助使用说明lsdfducountsetfaclgetfaclgetmergecpcopyFromLocal和putcopyToLocal和-getappendToFile概览hadoop分布式文件系统客户端命令行操作全局变量说明path>…hdfs中一个或多个路径，如果未指定，默认为/user/currentUser>localsrc>…本地文件系统的的一个或多个路径dst>hdfs中目标路径查看帮助命令：hdfsdfs-help[cmd...]参数： cmd...需要查询的一个或多个命令使用说明Usage:hadoopfs[genericoptions] [-appe
一、清理目录1、执行sudo-uhdfshadoopfs-du-h/查询hdfs中各目录的占用的空间，进入占用最多的目录中（/tmp目录等）2、找到目录/tmp/repay_prpjpolicypayment占用了大量空间3、执行hdfsdfs-rm-r/tmp/repay_prpjpolicypayment删除此目录下的文件夹4、删除的文件会被保存到/user/hdfs/.Trash，清空回收站即可二、清空回收站1.由于HDFS有回收站，删除文件会先放到回收站里边，如果着急释放空间，需要清理HDFS回收站2、在删除HDFS文件时，可以使用命令：hdfsdfs-rm-skipTrash/tmp
LangChain是大型语言模型(LLM)的应用框架,LangChain可以直接与OpenAI的text-davinci-003、gpt-3.5-turbo模型以及HuggingFace的各种开源语言模如Google的flan-t5等模型集成。通过使用LangChain可以开发出更为强大和高效的LLM的各种应用。今天我们就来实现一个神奇的功能,如何你是一个不会编程的小白，那么只要你借助LangChain和ChatGPT,你也能成为一个优秀的数据分析师和预测专家。我们要实现的功能是,让LangChain集成Openai的语言模型如"text-davinci-003",然后创建一个代理(agen
上一章，使用单机配置并运行了一个简单的maven项目，并发布到了一个服务器上启动。这一章将要配置一个slaveagent，并将上一章的job放到agent上执行。我们agent使用的是ssh的方式前置步骤准备两台虚拟机：192.168.233.32（使用用户名+密码方式登录ssh）192.168.233.34（使用私钥方式登录ssh）两台虚拟机都安装并配置好Git、Java、Maven两台虚拟机都创建好一个用户组jenkins、用户jenkins、用户对应的home目录/data/jenkins，并赋予home目录权限sudochown-Rjenkins:jenksins/data/jenki
一、概述HDFS是Hadoop的分布式文件系统（HadoopDistributedFileSystem），实现大规模数据可靠的分布式读写。HDFS针对的使用场景是数据读写具有“一次写，多次读”的特征，而数据“写”操作是顺序写，也就是在文件创建时的写入或者在现有文件之后的添加操作。HDFS保证一个文件在一个时刻只被一个调用者执行写操作，而可以被多个调用者执行读操作。二、HDFS结构HDFS包含主、备NameNode和多个DataNode，如下图所示。HDFS是一个Master/Slave的架构，在Master上运行NameNode，而在每一个Slave上运行DataNode，ZKFC需要和Nam
1、如果连接被拒绝，则输入：source~/.bash_profile:2、进入到sbin目录下输入：start-dfs.sh，重启一下。之后再输入hdfsdfs-ls/，没有出现拒绝连接即可。3、若需要创建目录，则输入：hdfsdfs-mkdir/(文件名字）进入浏览器，即可查看到创建的目录：如图所示：4、创建的多个目录，在虚拟机上查看：hdfsdfs-ls/在浏览器上查看：5、查看数目：hadoopfs-du-h/6、若想要删除其目录，则输入：Hadoopfs-rm-r/date01/date01017、批量删除：hadoopfs-rm-r/dat*8、浏览器查看结果：完毕！😊
