前面我们搭建了hadoop集群，spark集群，也利用容器构建了spark的编程环境。但是一般来说，就并行计算程序的开发，一刚开始一般是在单机上的，比如hadoop的singlenode。但是老师弄个容器或虚拟机用vscode远程访问式开发，终究还是有些不爽。还好，hadoop和spark都是支持windows的。不妨，我们弄个windows下的开发环境。 然而，windows下开发环境的构建，需要一个转换程序winutils.exe，这个需要根据下载的hadoop的版本对应编译。而且，编译好的exe文件在网上并不好找，一些大虾们编译完了，往往挂在csdn上还要收点费……。所以，
写在前面数据集：HousePrices-AdvancedRegressionTechniques|Kaggle参考：零基础入门Spark(geekbang.org)个人GitHub地址：Kaggle-SparkML个人博客网站：62bit的秘密基地具体实现特征工程1.读取数据valrootPath:String=_valfilePath:String=s"$rootPath/train.csv"//读取文件，创建DataFramevalspark=SparkSession.builder().appName("sparkdf").master("local[*]").getOrCreate()
本人强烈建议在linux环境下学习spark！！！IntroductionApacheSpark是一个快速且通用的分布式计算引擎，可以在大规模数据集上进行高效的数据处理，包括数据转换、数据清洗、机器学习等。在本文中，我们将讨论如何在Windows上配置Spark开发环境，以及如何进行开发和测试等。安装Java和Spark为了在Windows上使用Spark开发环境，你需要先安装Java和Spark，并配置环境变量。你可以从Oracle官网下载最新版本的JavaDevelopmentKit（JDK），然后安装它。在安装完成后，你需要将Java的安装目录添加到系统环境变量中，以便Spark可以找到
文章目录一、概述二、资源参数调优1参数调优①num-executors②executor-memory③executor-core④driver-memory⑤Spark.default.parallelism⑥Spark.storage.memoryFraction⑦Spark.Shuffle.memoryFraction三代码重构调优1优化RDD①避免创建重复的RDD②尽可能复用一个RDD③对多次使用的RDD进行持久化如何选择一种最合适的持久化策略?2优化算子①尽量避免使用Shuffle算子②使用高性能算子3广播大变量4优化数据①使用Kryo优化序列化性能②优化数据结构结尾：一、概述嗨，各
文章目录前言一、Spark是什么二、Spark用来做什么三、Spark的优势是什么四、为什么用Spark五、Spark解决了什么问题总结前言随着大数据技术的发展，一些更加优秀的组件被提了出来，比如现在最常用的Spark组件，基于RDD原理在大数据处理中占据了越来越重要的作用。在此我们探索了Spark的原理，以及其在大数据开发中的重要作用。一、Spark是什么Spark是一个用来实现快速，通用的集群计算平台Spark适用于各种各样原先需要多种不同的分布式平台的场景，包括批处理，迭代算法，交互式查询，流处理。通过在一个统一的框架下支持这些不同的计算，spark使我们可以简单而低耗地把各种处理流程整
文章目录SparkLoad导入HDFS数据一、准备HDFS数据二、创建Doris表三、创建SparkLoad导入任务
scala和spark版本对应关系：https://blog.csdn.net/qq_34319644/article/details/115555522这里采用jdk1.8+spark3.0+scala2.12先配置scala2.12：官网：https://www.scala-lang.org/download/2.12.17.htmltar-zxfscala-2.12.17.tgzvim.bashrcexportSCALA_HOME=/home/xingmo/sdk/scalaexportPATH=$PATH:$SCALA_HOME/binsource.bashrcIDEA安装scala插
Spark基本架构及运行原理Spark运行架构包括集群资源管理器（ClusterManager）、运行作业任务的工作节点（WorkerNode）、每个应用的任务控制节点（Driver）和每个工作节点上负责具体任务的执行进程（Executor）。其中，集群资源管理器可以是Spark自带的资源管理器，也可以是YARN或Mesos等资源管理框架。与HadoopMapReduce计算框架相比，Spark所采用的Executor有两个优点：一是利用多线程来执行具体的任务（HadoopMapReduce采用的是进程模型），减少任务的启动开销；二是Executor中有一个BlockManager存储模块，会
Spark基本架构及运行原理Spark运行架构包括集群资源管理器（ClusterManager）、运行作业任务的工作节点（WorkerNode）、每个应用的任务控制节点（Driver）和每个工作节点上负责具体任务的执行进程（Executor）。其中，集群资源管理器可以是Spark自带的资源管理器，也可以是YARN或Mesos等资源管理框架。与HadoopMapReduce计算框架相比，Spark所采用的Executor有两个优点：一是利用多线程来执行具体的任务（HadoopMapReduce采用的是进程模型），减少任务的启动开销；二是Executor中有一个BlockManager存储模块，会
文章目录1.Spark并行度2.Spark设置并行度3.集群中如何规划设置并行度1.Spark并行度Spark的并行计算指的是在同一时间内，有多少个task在同时运行。并行度：并行能力的设置，比如设置并行度6，其实就是要6个task并行再跑，在有了6个task并行的前提下，rdd的分区就被规划成6个分区了。2.Spark设置并行度在代码中和配置文件中以及提交程序的客户端参数`中设置全局并行度配置参数：spark.default.parallelism优先级从高到低：代码中客户端提交参数配置文件默认（默认1，但是不会全部都以1来跑，多数时候基于读取文件的分片数据来作为默认并行度）实现：配置文件设
