目录一、SparkOnHive原理 （1）为什么要让SparkOnHive？二、MySQL安装配置（root用户） （1）安装MySQL （2）启动MySQL设置开机启动 （3）修改MySQL密码三、Hive安装配置 （1）修改Hadoop的core-site.xml （2）创建hive-site.xml （3）修改配置文件hive-env.sh （4）上传mysql连接驱动 （5）初始化元数据（Hadoop集群启动后） （6）创建logs目录，启动元数据服务 （7）启动Hiveshell四、SparkOnHive配置
欢迎关注公众号：天天说编程你的关注是我最大的动力！容器可以理解为一个进程，镜像是把环境，组件等都配置好，运行成容器的，容器里面运行服务，也可以说是一个进程。镜像是模板，镜像是实例。一个镜像可以创建多个实例。也就是多个容器，容器之间相互独立。背景创建副本集，1主2从，主负责增删改，当然查也可以，从负责只读。远程的linux系统，在远程的linux系统上使用docker搭建mongoDB的三节点副本集。注意:mongoDB版本：mongo6.0之前的版本，执行的时候使用mongo这个命令启动客户端，mongo的6.0版本之后使用mongosh命令启动客户端。1.拉取mongodb镜像，注意版本。重
Crontab介绍：Linuxcrontab是用来crontab命令常见于Unix和类Unix的操作系统之中，用于设置周期性被执行的指令。该命令从标准输入设备读取指令，并将其存放于“crontab”文件中，以供之后读取和执行。该词来源于希腊语chronos(χρ?νο?)，原意是时间。通常，crontab储存的指令被守护进程激活，crond常常在后台运行，每一分钟检查是否有预定的作业需要执行。这类作业一般称为cronjobs。当安装完成操作系统之后，默认便会启动此任务调度命令。crond命令每分锺会定期检查是否有要执行的工作，如果有要执行的工作便会自动执行该工作。注意：新创建的cron任务，不
文章目录第1关：Standalone分布式集群搭建任务描述相关知识课程视频Spark分布式安装模式示例集群信息配置免密登录准备Spark安装包配置环境变量修改spark-env.sh配置文件修改slaves文件分发安装包启动spark验证安装编程要求测试说明答案代码报错问题基本过程第1关：Standalone分布式集群搭建任务描述掌握Standalone分布式集群搭建。相关知识我们已经掌握了Spark单机版安装，那么分布式集群怎么搭建呢？接下来我们学习Standalone分布式集群搭建。课程视频如果你需要在本地配置Spark完全分布式环境，可以通过查看课程视频来学习。课程视频《克隆虚拟机与配置
Spark是字节跳动内部使用广泛的计算引擎，已广泛应用于各种大规模数据处理、机器学习和大数据场景。目前中国区域内每天的任务数已经超过150万，每天的Shuffle读写数据量超过500PB。同时某些单个任务的Shuffle数据能够达到数百TB级别。与此同时作业量与Shuffle的数据量还在增长，相比去年，今年的天任务数增加了50万，总体数据量的增长超过了200PB，达到了50%的增长。Shuffle是用户作业中会经常触发的功能，各种ReduceByKey、groupByKey、Join、sortByKey和Repartition的操作都会使用到Shuffle。所以在大规模的Spark集群内，Sp
仓库地址https://mvnrepository.com/artifact/org.apache.spark/spark-core总结spark3.0以后，不再支持scala2.11spark3.0以后，只能用scala2.12以上
这张图解释了ApacheSparkDataFrame写入API的流程。它始于对写入数据的API调用，支持的格式包括CSV、JSON或Parquet。流程根据选择的保存模式（追加、覆盖、忽略或报错）而分岔。每种模式执行必要的检查和操作，例如分区和数据写入处理。流程以数据的最终写入或错误结束，取决于这些检查和操作的结果。ApacheSpark是一个开源的分布式计算系统，提供了强大的平台用于处理大规模数据。写入API是Spark数据处理能力的基本组成部分，允许用户将数据从他们的Spark应用程序写入或输出到不同的数据源。理解Spark写入API数据源Spark支持将数据写入各种数据源，包括但不限于：
文章目录1、简介2、下载和安装2.1平台支持2.2MongoDBCommunityServer2.3MongoDBShell2.4MongoDBCompass2.5pymongo库3、概念3.1数据库3.2文档(Document)3.3集合（Collection）3.4元数据3.5数据类型4、Python代码测试4.1连接数据库4.2指定数据库和集合4.3插入数据4.4删除数据4.5修改数据4.6查询数据结语1、简介MongoDB是一个文档数据库，旨在简化应用程序开发和扩展。官网地址：https://www.mongodb.com/MongoDB是一个基于分布式文件存储的数据库。由C++语言编
Spark初级编程实践实验环境：Windows10OracleVMVirtualBox虚拟机：cnetos7Hadoop3.3实验内容与完成情况：1.安装hadoop和spark因为Hadoop版本为3.3所以在官网选择支持3.3的spark安装包解压安装包到指定文件夹配置spark-env.sh启动成功2.Spark读取文件系统的数据（1）在spark-shell中读取Linux系统本地文件“/home/hadoop/test.txt”，然后统计出文件的行数；（2）在spark-shell中读取HDFS系统文件“/user/hadoop/test.txt”（如果该文件不存在，请先创建），然后
目录1、spark的有几种部署模式，每种模式特点？（☆☆☆☆☆）2、Spark为什么比MapReduce块？（☆☆☆☆☆）3、简单说一下hadoop和spark的shuffle相同和差异？（☆☆☆☆☆）4、Spark工作机制（☆☆☆☆☆）5、Spark的优化怎么做？（☆☆☆☆☆）6、数据本地性是在哪个环节确定的？（☆☆☆☆☆）7、RDD的弹性表现在哪几点？（☆☆☆☆☆）8、RDD有哪些缺陷？（☆☆☆☆☆）9、Spark的Shuffle过程（☆☆☆☆☆）10、Spark的数据本地性有哪几种？（☆☆☆☆☆）11、Spark为什么要持久化，一般什么场景下要进行persist操作？（☆☆☆）12、介绍
