在大数据的学习过程中，我们经常会听到“分布式”这三个字，那个所谓的“分布式”到底是什么意思？我们看到一些古装电视剧电影，在古代，生产力比较低下，没有现在的各种便捷的交通工具。人们需要运输一些货物的时候，最常见的方式就是套马车，用马来拉动车。如果需要拉的货物比较多，一匹马拉不动呢？人们的做法并不是训练一匹更加强壮的马，而是会使用多匹马同时来拉动这辆马车。这就是分布式的思想！那么在程序世界中，单台服务器的能力是有限的，虽然我们可以堆配置来构建一台性能非常强悍的服务器，但是上限还是容易达到的，且成本会非常的高。为了解决这样的问题，我们就可以使用多台服务器协同工作，共同来完成指定的任务，组成一个服务器
namenode的主要责任是文件元信息与数据块映射的管理。相应的，namenode的启动流程需要关注与客户端、datanode通信的工作线程，文件元信息的管理机制，数据块的管理机制等。其中，RpcServer主要负责与客户端、datanode通信，FSDirectory主要负责管理文件元信息。流程如下：1.执行命令启动hdfs集群start-dfs.sh该命令会启动Hdfs的NameNode以及DataNode，启动NameNode主要是通过org.apache.hadoop.hdfs.server.namenode.NameNode类。2.NameNode启动主流程publicclassNa
IDEA连接Linux上的Hadoop并对HDFS进行操作文章目录IDEA连接Linux上的Hadoop并对HDFS进行操作Windows软件准备和Linux上**版本相同**的**Hadoop**与Linux**版本相同的Java**Windows的hadoop驱动文件`hadoop.dll`和`winutils.exe`配置`Linux使用Hadoop的用户名`的环境变量`HADOOP_USER_NAME`IDEA中的操作安装`bigdatatools`插件出现hdfs连接不上的情况第一种错误-`HADOOP_HOME`Error第二种错误-`connectionError`Error使用
2.分布式文件系统HDFS1.引入HDFS【面试点】2.HDFS概述1.HDFS设计思路2.HDFS架构3.HDFS优缺点3.HDFS操作HDFS读写基准测试1.HDFSShell操作【重点】2.HDFSAPI操作1.访问数据1.获取FileSystem2.文件的遍历3.创建文件夹4.文件的上传5.文件的下载2.合并小文件
云计算中的大数据处理：尝试HDFS和MapReduce的应用文章目录云计算中的大数据处理：尝试HDFS和MapReduce的应用一、前言二、第一题1、命令方式2、javaAPI方式三、第二题1、创建CSV文件并将其上传到HDFS2、编写利用MapReduce框架的java代码3、打包java项目4、在Hadoop集群上提交jar文件来运行MapReduce作业一、前言在实验开始之前我们需要在虚拟机里面启动HDFS，进入到Hadoop安装目录里面的sbin目录里面执行start-all.sh命令即可启动成功，然后使用jps查看全部节点是否已经启动了，在昨天的做题的时候我在最开始上传文件到hdfs
文章目录0，Cloudera管理页面相关debug端口1，Hadoop端口未授权访问访问hadoopweb页面2，检测Jetty版本漏洞临时修复办法：直接修改jetty版本号0，Cloudera管理页面相关debug端口CDH管理页面相关端口：ClouderaManagementService配置-->相关debug端口：8087，8084，8091，8086）1，Hadoop端口未授权访问解决方案：https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/HttpAuthentication.htmlclo
一、写数据流程：客户端（Client通过java虚拟机）向NameNode请求上传文件（内部过程：客户端通过对DistributedFileSystem对象调用create()函数来创建文件），参数：路径/a.txt，块规格，副本数。NameNode检查目标文件是否已存在，父目录是否存在。做出响应返回是否可以上传。过程：1、namenode执行各种不同的检查以确保这个文件不存在，并且客户端有创建该文件的权限。2、检查通过后，namenode就会为创建新文件记录一条记录并向客户端返回一个FSDataOutputStream对象；否则，文件创建失败并向客户端抛出一个IOException异常。客户
1、客户端环境准备（1）将Hadoop-2.9.2安装包解压到非中文路径（例如：E:\hadoop-2.9.2）（2） 配置HADOOP_HOME环境变量（3） 配置Path环境变量。（4） 创建一个Maven工程ClientDemo（5）导入相应的依赖坐标+日志配置文件4.0.0com.lagou.hdfsclient_demo1.0-SNAPSHOTjunitjunitRELEASEorg.apache.logging.log4jlog4j-core2.8.2org.apache.hadoophadoop-common2.9.2org.apache.hadoophadoop-client2
1、客户端环境准备（1）将Hadoop-2.9.2安装包解压到非中文路径（例如：E:\hadoop-2.9.2）（2） 配置HADOOP_HOME环境变量（3） 配置Path环境变量。（4） 创建一个Maven工程ClientDemo（5）导入相应的依赖坐标+日志配置文件4.0.0com.lagou.hdfsclient_demo1.0-SNAPSHOTjunitjunitRELEASEorg.apache.logging.log4jlog4j-core2.8.2org.apache.hadoophadoop-common2.9.2org.apache.hadoophadoop-client2
大数据学习笔记01学习林子雨大数据教材的一些笔记HDFS常用操作启动Hadoop，在HDFS中创建用户目录“/user/hadoop”；$cd/usr/local/hadoop$./sbin/start-dfs.sh$jps在Linux系统的本地文件系统的“/usr/local/spark/mycode”目录下新建一个文本文件Word.txt$cd/usr/local/spark$mkdirmycode$touchWord.txt||$vimWord.txt将HDFS中Word.txt文件在终端显示$pwd查看所在路径$./bin/hdfsdfs-cat./Word.txt在HDFS中的“/u
