一、背景首先需要掌握SparkDAG、stage、task的相关概念Spark的job、stage和task的机制论述-知乎task数量和rdd分区数相关runningtask数=executors*cores(如果runningtask没有达到乘积最大，一般是队列资源不足)二、任务慢的原因分析找到运行时间比较长的stage再进去看里面的task可以看到某个task读取的数据量明显比其他task较大。如果是sql任务进入到SQL页面看到对应的执行卡在哪里，然后分析，如下图是hashid、actor_name，可以看到是groupby数据有倾斜。groupby数据倾斜问题，可以参考hivegro
1.输出为Python对象 collect算子：将RDD各个分区内的数据，统一收集到Driver中，形成一个List对象reduce算子：对RDD数据集按照传入的逻辑进行聚合take算子：取RDD的前N个元素，组合成list返回给你count算子：计算RDD有多少条数据，返回值是一个数字#collect算子：将RDD各个分区内的数据，统一收集到Driver中，形成一个List对象#语法：rdd.collect()#返回一个listfrompysparkimportSparkConf,SparkContextimportosos.environ['PYSPARK_PYTHON']="D:/Pro
一、简介1.1MongodbMongoDb是一个基于分布式文件存储的数据库，官方地址https://www.mongodb.com/1.2数据库数据库(DataBase)是按照数据结构来组织、存储和管理数据的应用程序。作用：数据库的主要作用就是管理数据，对数据进行增(c)、删(d)、改(u)、查(r)。核心概念：数据库（database）数据库是一个数据仓库，数据库服务下可以创建很多数据库，数据库中可以存放很多集合。集合（collection）集合类似于JS中的数组，在集合中可以存放很多文档。文档（document）文档是数据库中的最小单位，类似于JS中的对象。一般情况下：一个项目使用一个数据
开启hadoop集群的时候遇到了这个问题我的问题比较好解决，一眼就能看出来，是因为slave和配置文件中的不对应。然后我就去查了查还有没有其他形式的，比如不是因为配置文件里面写错名字这种低级错误还是有这种情况的，大概有以下几种情况和解决方案一定要配置免密登陆在这之前要修改/etc/hosts文件中的映射vim/etc/hosts#配置主机名字对应的ip和主机名字 免密登陆的配置步骤ssh-keygen-tdsa-P''-f~/.ssh/id_dsa #可以只在master上执行，如果其他节点也想实现免密登陆，按照这个步骤操作就可以ssh-copy-id-i/root/.ssh/id_dsa.
本专栏案例代码和数据集链接：https://download.csdn.net/download/shangjg03/884778271.版本说明Spark 针对 Kafka 的不同版本，提供了两套整合方案：`spark-streaming-kafka-0-8` 和 `spark-streaming-kafka-0-10`，其主要区别如下：本文使用的 Kafka 版本为 `kafka_2.12-2.2.0`，故采用第二种方式进行整合。2.项目依赖项目采用 Maven 进行构建，主要依赖如下： 2.12 org.apache.spark spar
1、背景描述菜鸟笔者在运行下面代码时发生了报错：frompysparkimportSparkContextsc=SparkContext("local","apple1012")rdd=sc.parallelize([[1,2],3,[7,5,6]])rdd1=rdd.flatMap(lambdax:x)print(rdd1.collect())报错描述如下：2、报错原因 显然这是传入的数据类型发生了错误：因为我们试图对整数对象执行下标操作，而这是不允许的。原来flatMap底层通过取下标来展开元素如果rdd集合里面有非可迭代对象（如int元素）则会报错TypeError:'int'obje
使用Docker部署MongoDB集群Mongodb集群搭建mongodb集群搭建的方式有三种：主从备份（Master-Slave）模式，或者叫主从复制模式。副本集（ReplicaSet）模式。分片（Sharding）模式。其中，第一种方式基本没什么意义，官方也不推荐这种方式搭建。另外两种分别就是副本集和分片的方式。今天介绍副本集的方式搭建mongodb高可用集群简介以及概述首先我们先来了解一下Mongo集群的概念，Mongo集群有3个主要组件ConfigServer：在集群中扮演存储整个集群的配置信息，负责配置存储，如果需要高可用的ConfigServer那么需要3个节点。Shard：分片，
背景用户需求:需要将mongodb的数据同步到hive表，共2亿+条数据，总数据量约30G查阅一些博客后，大致同步方法有以下几种手动+离线对于比较小的数据，可以先通过mongoexport将数据导出到本地json文件，再将json直接上传到hdfs，创建hive表关联到这个文件即可这种方式非常简单直接，但需要两次读取到写入的过程，而且如果mongodb中的数据很大，需要先导到本地的方式将会导致本地磁盘占用升高，不是很适合参考:Mongoexport同步数据到Hive工具+离线通过datax/seatunnel之类的数据同步服务，数据在内存中完成同步datax-mongodbreaderdata
引入MongoDB：在面对高并发，高效率存储和访问，高扩展性和高可用性等的需求下，我们之前所学习过的关系型数据库(MySql,sqlserver…)显得有点力不从心，而这些需求在我们的生活中也是随处可见的，例如在社交中，使用它存储用户信息，以及用户发表的朋友圈信息，通过地理位置索引实现附近的人，地点等功能。在游戏中，使用它存储游戏用户信息，用户的装备，积分等直接以内嵌文档的形式存储，方便查询，高效率存储和访问。还有我们熟悉的物流，使用它存储订单信息，订单状态在运送过程中会不断的更新，以内嵌数组的形式来存储，一次查询就能将订单所有的变更读取出来等等。这些场景中，数据操作都有共同的特点，数据量大，
面试题来源：《大数据面试题V4.0》大数据面试题V3.0，523道题，679页，46w字可回答：1）spark和maprecude的对比；2）mapreduce与spark优劣好处问过的一些公司：阿里云(2022.10)，银联(2022.10)，携程(2022.09)，vivo(2022.09)，滴滴(2022.09)(2020.09)，网易云音乐(2022.09)，快手(2022.08)，字节(2022.08)x2(2022.05)(2020.09)(2020.06)(2019.11)x4，快手(2022.08)，星环科技(2022.07)，海康威视(2022.06)，字节日常实习(2022
