文章目录Hadoop安装Hive安装HiveOnSpark与SparkOnHive区别HiveOnSparkSparkOnHive部署HiveOnSpark查询Hive对应的Spark版本号下载Spark解压Spark配置环境变量指定Hadoop路径在Hive配置Spark参数上传Jar包并更换引擎测试HiveOnSparkYarn资源分配设置解决依赖冲突问题重编译源码前言：本篇文章在已经安装Hadoop3.3.4与Hive3.1.3版本的基础上进行，与笔者版本不一致也没有关系，按照步骤来就行了。如果你不想使用低版本的Spark(例如：Spark2.x系列)，请直接跳转到本文目录【重编译源码】
什么是HDFS？HDFS的全称是hadoopdistributedfilesystem，即hadoop的分布式文件系统。见名知意，它就是用来进行文件存储的。毕竟它是大数据的一个组件，用来存储这种海量的数据。它是基于03年10月份，谷歌发表的GFS这篇论文做的开源实现。目前是hadoop的一个核心子项目，用来解决海量数据存储的问题。hadoop的三个子项目，一个是HDFS，一个是YARN，一个是MapReduce。目前在开源大数据技术体系中，它的地位是无可替代的。第一它诞生年限比较早，这么长时间的发展，它是非常成熟非常可靠的。再一个它的生态圈也非常广泛，社区这一块也非常活跃。在分布式文件系统选型
1.3C语言之for语句概述一、使用for语句实现打印华氏温度与摄氏温度转换二、for语句概述三、练习一、使用for语句实现打印华氏温度与摄氏温度转换#include/*当华氏温度为0,20,40,...300时，打印出华氏温度与摄氏温度对照表 C=(5/9)(̧F-32)其中C表示摄氏温度，F表示华氏温度*/main(){ intf; for(f=0;f300;f=f+20) printf("%6d\t%14.1f\n",f,(5.0/9.0)*(f-32));}二、for语句概述for语句是一种循环语句，与while语句相同for后面的括号中有三部分：第一部分f=0;是初始化部分，仅在进
DBC文件的创建第一章DBC概述第二章新建CAN数据库文件第三章AttributeName属性用法第四章Intel和Motorola解析第五章DBC文件解析第六章SignalMultiplexing用法DBC概述目录DBC文件的创建DBC的概述一、开发环境二、环境配置1.百度网盘2.CANdb++Admin版本安装教程①双击弹出安装向导②修改安装目录[可选]③选择英语环境④安装完成⑤双击打开报错⑥CANdb++界面总结DBC的概述DBC（DatabaseCAN）文件是由德国Vector公司发布的，用来描述CAN网络上所有ECU节点之间CAN通讯信息的数据的一种文件，包含了CAN总线中协议数据及
3Transportlayer运输层⭐⭐⭐⭐⭐⭐Github主页👉https://github.com/A-BigTree项目链接👉https://github.com/A-BigTree/college_assignment⭐⭐⭐⭐⭐⭐文章目录3Transportlayer运输层3.1概述和运输层服务3.1.1运输层和网络层的关系3.1.2因特网运输层概述3.2多路复用与多路分解UDP的socket表示TCP的socket表示3.3无连接运输：UDP3.3.1UDP报文段结构3.3.2UDP检验和3.4可靠数据传输原理3.4.1构造可靠数据传输协议经完全可靠信道的可靠数据传输：rdt1.0经
监督学习感知机概念：感知机模型的基本形式是：\(f(x)=sign(w\cdotx+b)\)其中，\(x\)是输入样本的特征向量，\(w\)是权值向量，\(b\)是偏置量，\(w\cdotx\)表示向量\(w\)和\(x\)的点积。\(sign\)函数表示符号函数，当输入大于0时输出1，否则输出-1。要求模型必须线性可分K近邻基本思想：是对于一个新的输入样本，在训练数据集中找出与之最邻近的k个样本，并将其预测结果作为该样本的输出。步骤计算测试样本与训练样本集中每个样本的距离；选取距离最近的k个训练样本；对于分类问题，采用投票法，即将k个样本中出现最多的类别作为预测结果；对于回归问题，采用平均值
C(Chapter)C-01.数据库概述1.为什么要用数据库持久化(persistence)：把数据保存到可掉电式存储设备(硬盘)中以供之后使用。大多数情况下，特别是企业应用，数据持久化是将内存中的数据保存到硬盘上加以"固化"，而持久化的实现过程大多使用各种关系数据库来完成。持久化的主要作用是将内存中的数据存到关系型数据库中，当然也可以存储在磁盘文件，XML数据文件中。2.数据库与数据库管理系统2.1数据库的相关概念DB：数据库(Database)。存储数据的仓库，其本质是一个文件系统。保存了一系列有组织的数据。DBMS：数据库管理系统(DatabaseManagementSystem)。是一
JavaScript（简称“JS”）是一种具有函数优先的轻量级，解释型或即时编译型的编程语言。虽然它是作为开发Web页面的脚本语言而出名，但是它也被用到了很多非浏览器环境中，JavaScript基于原型编程、多范式的动态脚本语言，并且支持面向对象、命令式、声明式、函数式编程范式。 JavaScript在1995年由Netscape公司的BrendanEich，在网景导航者浏览器上首次设计实现而成。因为Netscape与Sun合作，Netscape管理层希望它外观看起来像Java，因此取名为JavaScript。JavaScript的标准是ECMAScript。截至2012年，所有浏览器都完整的
数据库概述SQL特点1.具有综合统一性（不同的数据库支持的SQL稍有不同、但都支持标准sql）2.语言简洁，用户易接受3.非过程化语言（无需关注内部原理细节）4.可与其他语言结合（JAVA、Python等）语法特点1.大小写不敏感2.可以以单行或多行书写，只以分号结尾3.注释：单行注释--[空格]、#select*fromemp;--这边是注释select*fromemp;#这边是注释,使用#无需加空格多行注释createdatabasedb1;/*多行注释多行注释-*/数据库系统1.数据库数据库（database）是以一个以某种组织方式存储在磁盘上的数据的集合2.数据库应用数据库应用系统是指
Scikit-learn是一个基于Python的开源机器学习库，它提供了大量的机器学习算法和工具，方便用户进行数据挖掘、分析和预测。Scikit-learn是基于另外两个知名的库Scipy和Numpy的，关于Scipy和Numpy等库，之前的系列文章中有介绍：Scipy基础系列Numpy基础系列1.概要自从AlphaGo再度带起机器学习和AI的热潮以来，我们听到最多的机器学习框架是TensorFlow，PyTorch以及Keras等等。Scikit-learn与它们相比，知名度要低不少，这是因为Scikit-learn库关注的是传统的机器学习领域中经典的，被广泛应用和验证的算法。它完全不涉及T
