每天天都在努力学习的我们前言 本篇博客讲解的内容依旧是使用Spark进行相关的数据分析，按理来说数据分析完之后应该搞一搞可视化的，由于目前时间紧张，顾不得学习可视化了，先来看一下此次的内容把。 在Kaggle数据平台下载了数据集albunms.csv，里面包含了的主要字段如下，先来看一下。使用Spark读取csv spark读取csv的方式有两种，一种是使用rdd进行读取csv,然后创建RDD对象。另一种是使用sparkSQL进行读取，创建DataFrame对象。本篇博客使用SparkSQL进行读取文件，RDD和DataFrame处理数据。
RDD是Spark的核心概念，它是一个只读的、可分区的分布式数据集，这个数据集的全部或部分可以缓存在内存中，可在多次计算间重用。Spark用Scala语言实现了RDD的API，程序员可以通过调用API实现对RDD的各种操作，从而实现各种复杂的应用。一、RDD创建Spark采用textFile()方法来从文件系统中加载数据创建RDD，该方法把文件的URI作为参数，这个URI可以是本地文件系统的地址、分布式文件系统HDFS的地址，或者是AmazonS3的地址等。1.从文件系统中加载数据创建RDD（1）从本地文件系统中加载数据//spark-shell交互式环境中，执行scala>vallines=
基于Spark的电影推荐系统实现一、业务场景二、数据集说明三、操作步骤阶段一、启动HDFS、Spark集群服务和zeppelin服务器阶段二、准备案例中用到的数据集阶段三、对数据集进行探索和分析未经许可，禁止以任何形式转载，若要引用，请标注链接地址全文共计7821字，阅读大概需要3分钟一、业务场景受某视频网站委托，需开发一套基于Spark的大数据机器学习系统，应用协同过滤算法对网站客户进行电影推荐。二、数据集说明本案例所使用的数据集说明如下： 评分数据集：/data/dataset/ml/movielens/ratings.csv 电影数据集：/data/dataset/ml/moviel
作者 | 阳沁珂Spark是一个开源的数据处理框架，能快速处理大量数据的转换。其高性能来自Spark的分布式框架，通常一个任务会被平均分配，跨机器集群工作。但Spark本身并不管理这些计算机，他需要一个集群的管理器来管理集群。Spark定义了需要执行的任务，而管理器决定了任务将如何被分配被执行，由此可见其重要性。这个管理器需要负责任务的接收、资源的调度和分配、任务的启动、TaskTrack监控等。传统上，我们会选择HadoopYARN来作为资源调度管理器，并且使用spark-submit提交任务。但随着云计算的推广与容器的流行，因其需要依赖于HDFS的本地环境，YARN的部署方式显得捉襟见肘。
Spark从入门到精通环境搭建准备工作创建安装目录mkdir/opt/softcd/opt/soft下载scalawgethttps://downloads.lightbend.com/scala/2.13.10/scala-2.13.10.tgz-P/opt/soft解压scalatar-zxvfscala-2.13.10.tgz修改scala目录名称mvscala-2.13.10scala-2下载sparkwgethttps://dlcdn.apache.org/spark/spark-3.4.0/spark-3.4.0-bin-hadoop3-scala2.13.tgz-P/opt/so
Spark基于SparkCore开发了多种组件。开发人员可以基于这些组件，轻松完成多种不同场景的计算任务。 1.SparkCore介绍SparkCore是Spark的核心，各类核心组件都依赖于SparkCore。如下图所示，SparkCore核心组件包括基础设施、存储系统、调度系统、计算引擎四个部分。1）Spark基础设施Spark基础设施为其他组件提供最基础的服务，是Spark中最底层、最常用的一类组件。SparkConf：用于定义Spark应用程序的配置信息。SparkContext：是Spark中的应用入口，实现了网络通信、分布式、消息机制、存储、计算、运维监控、文件系统等各类常用功能，
SparkUISparkUI设计思路：1.简洁明了：SparkUI应该是一个简洁明了的界面，避免过多的信息和操作，让用户能够快速地找到自己想要的信息。2.可定制：SparkUI应该允许用户根据自己的需求进行定制，比如添加自定义的指标、筛选特定的任务等等。3.可视化：SparkUI应该通过图表、图形等方式呈现数据和信息，让用户更加直观地了解Spark集群的运行情况。4.实时性：SparkUI应该实时更新Spark集群的运行状态，让用户能够及时了解集群的状况。SparkUI的作用：1.监控Spark集群的运行情况：通过SparkUI，用户可以查看集群的任务运行情况、资源使用情况等，从而实时监控集群
1，首先是环境一定要统一，我首先说一下我的环境Hive3.1.2（并且是对于spark3.00来说是编译好的），spark的2个压缩包分别为spark-3.0.0-bin-hadoop3.2.tgz，spark-3.0.0-bin-without-hadoop.tgz上面的2个spark一定要确定版本，如果hive编译的spark的3.1.1版本一定要用spark3.1.1的2个压缩包2.上面环境弄好后就是解压spark的第一个压缩包，然后配置环境变量，注意只要配置环境变量就好，其它的配置可以不用去弄，我把以前的spark的环境变量注释了，采用新的 3，如果上面的做好了，就可以解压缩另一个sp
1，首先是环境一定要统一，我首先说一下我的环境Hive3.1.2（并且是对于spark3.00来说是编译好的），spark的2个压缩包分别为spark-3.0.0-bin-hadoop3.2.tgz，spark-3.0.0-bin-without-hadoop.tgz上面的2个spark一定要确定版本，如果hive编译的spark的3.1.1版本一定要用spark3.1.1的2个压缩包2.上面环境弄好后就是解压spark的第一个压缩包，然后配置环境变量，注意只要配置环境变量就好，其它的配置可以不用去弄，我把以前的spark的环境变量注释了，采用新的 3，如果上面的做好了，就可以解压缩另一个sp
一、Hive引擎包括：默认MR、tez、spark在低版本的hive中，只有两种计算引擎mr,tez在高版本的hive中，有三种计算引擎mr,spark,tez二、HiveonSpark和SparkonHive的区别HiveonSpark：Hive既存储元数据又负责SQL的解析，语法是HQL语法，执行引擎变成了Spark，Spark负责采用RDD执行。SparkonHive:Hive只存储元数据，Spark负责SQL解析，语法是SparkSQL语法，Spark负责采用RDD执行。注意:目前官网的Hive3.1.2和Spark3.0.0默认是不兼容的。因为Hive3.1.2支持的Spark版本是
