一、Spark概述.Spark于2009年诞生于美国加州大学伯克利分校的AMP实验室，它是一个可应用于大规模数据处理的统一分析引擎。Spark不仅计算速度快，而且内置了丰富的API，使得我们能够更加容易编写程序。Spark在2013年加入Apache孵化器项目，之后获得迅猛的发展，并于2014年正式成为Apache软件基金会的顶级项目。Spark生态系统已经发展成为一个可应用于大规模数据处理的统一分析引擎，它是基于内存计算的大数据并行计算框架，适用于各种各样的分布式平台的系统。在Spark生态圈中包含了SparkSQL、SparkStreaming、GraphX、MLlib等组件。 图1-1
文章目录1.HDFSShell概述1.1操作命令管理命令其他命令1.HDFSShell概述HDFSShell是由一系列类似LinuxShell的命令组成的。命令大致可分为操作命令、管理命令、其他命令三类1.1操作命令操作命令是以“hdfsdfs”开头的命令。通过这些命令，用户可以完成HDFS文件的复制、删除和查找等操作，Shell命令的一般格式如下。hdfsdfs[通用选项]其中，hdfs是Hadoop系统在Linux系统中的主命令；dfs是子命令，表示执行文件系统操作；通用选项由HDFS文件操作命令和操作参数组成。(1)创建文件夹命令：hdfsdfs-mkdir[-p]-p]：表示如果父目录
问题：在虚拟机启动hadoop集群后，在window浏览器无法访问http://master:50070、http://master:8088等集群监控界面。问题排查：首先在windows里ping一下是否能通：若不能ping通，试一下pingIP地址，这里master的IP地址为192.168.128.130.若IP地址能ping通，则试一下在浏览器中将master换成IP地址访问一下：如果能利用IP访问，那么可以在Windows里面C:\Windows\System32\drivers\etc路径用管理员权限之后，编辑hosts文件，加入虚拟机各节点的hostname和IP地址。（竖着写，
记录笔记，尝试在centOS下安装Hadoop伪分布式（之前是在Ubuntu下安装的），查漏补缺。步骤第一步：先把在window系统中下载好的关于Hadoop、jdk压缩包用Xftp传输到centos名称自定义，主机我写的是IP地址，需要去centOS的终端输入ifconfig,划黄线的是IP地址 用户名如果在安装centos中没有创建的话，默认是root，密码是登陆密码。点击连接，弹出下面这个对话框，我选的是一次性接受（自行选择）。 成功会亮起小绿点，然后直接把从此电脑中的目标压缩包拖拽到新建会话那边你想放的地方，能记住地址就行。这个地址建议简洁，之后的安装会出现多次。 第二步：设置cen
Hadoop集群安装和搭建（从零开始超级超级详细的过程）（上）目录Hadoop集群安装和搭建（从零开始超级超级详细的过程）（上）前言一、Hadoop项目结构二、Hadoop安装方式三、VMware虚拟网络设置+Windows10的IP地址配置+CentOS7静态IP设置(1)VMware虚拟网络设置(2)Window10的IP地址配置(3)CentOS（hadoop100）静态IP设置(5)设置名字解析四、XSHELL7远程访问工具+XFTP7文件传输(1)分别下好XSHELL7和XFTP71）先安装Xshell2）打不开Xshell7的解决方法3）新建XShell文件4）安装Xftp五、基础
定义 向量有范数，矩阵也有范数，定义和向量范数类似，不过多了一条要求。它的定义如下：正定性positivity,∥A∥≥0\parallelA\parallel\ge0∥A∥≥0，只有A=0A=0A=0时才取等号；非负齐次性homogeneity或scaling,∥kA∥=∣k∣∥A∥\parallelkA\parallel=|k|\parallelA\parallel∥kA∥=∣k∣∥A∥劣可加性subadditivity或三角不等式triangleinequality，∥A+B∥≤∥A∥+∥B∥\parallelA+B\parallel\le\parallelA\parallel+\p
目录Hadoop集群搭建环境准备安装虚拟机Linux系统网络配置虚拟机克隆SSH服务配置Hadoop集群搭建安装JDK安装HadoopHadoop集群配置Hadoop集群测试格式化文件系统启动和查看Hadoop进程查看Web界面简单使用Hadoop集群Hadoop集群搭建环境准备虚拟机：OracleVMVirtualBox操作系统：Centos8Hadoop版本：3.3.4JDK版本：1.8免密登录（SSH协议）：MobaXterm安装虚拟机打开OracleVMVirtualBox并新建虚拟机内存选择选择现在创建虚拟硬盘设置虚拟硬盘文件类型建议动态分配设置虚拟硬盘大小注意：创建完先不要打开，先
第七章路由协议本章旨在将详细介绍路由控制以及实现路由控制功能的相关协议7.1路由控制的定义在互联网这片汪洋大海中，数据就好似一叶扁舟，没有灯塔的指引，是难以寻得目的地的。这种进行正确方向引导的转发数据的处理，就叫做路由控制或路由。路由器根据路由控制表转发数据包，具体则是依赖于数据包中目标主机的IP地址与路由器控制表比较得出下一个应该接收的路由器。所以，路由控制表的正确性，就相当重要了。那么，是谁，又是怎样制作和管理路由控制表的呢？实际上，路由控制表分为静态和动态两种类型。静态路由指事先设置好路由器和主机中的路由信息且固定住的一种方法。动态路由则是指让路由协议在运行过程中自动设置路由控制信息的一
1.概述上一篇安装了Hadoop单机，所以今天打算先用Hadoop的mapreduce自带的Grep实例实践一下，顺带测试Hadoop是否成功安装。（不是水博客，有在努力填坑）实践开始之前，我们需要了解一下Grep实例，Grep（缩写来自GloballysearchaRegularExpressionandPrint）是一种强大的文本搜索工具，它能使用特定模式匹配（包括正则表达式）搜索文本。在今天的实例当中我们将创建一个input文件夹，并利用这个工具从该文件夹中匹配到符合正则式“dfs[a-z.]+”的xml文件，自动创建output文件夹并将结果在该文件夹中输出。那么让我们开始吧！2.Gr
我正在尝试安装spark2.3.0，更具体地说，它是spark-2.3.0-bin-hadoppo2.7'D:\spark\bin'已经添加到环境变量PATH中。同时，安装了JDK-10。未安装Hadoop。但是谷歌说spark可以在没有hadoop的情况下工作。这是错误信息C:\Users\a>spark-shellExceptioninthread"main"java.lang.ExceptionInInitializerErroratorg.apache.hadoop.util.StringUtils.(StringUtils.java:80)atorg.apache.hadoo
