作者：SRE运维博客博客地址：https://www.cnsre.cn/文章地址：https://www.cnsre.cn/posts/220110850573/相关话题：https://www.cnsre.cn/tags/eks/学习目标在EKS中部署AmazonEFSCSI驱动程序到验证EFS并验证它是否正常工作创建基于EFS的静态、动态存储前提条件EKS集群AWSCLI如果你没有安装请查看安装、更新和卸载AWSCLI。在安装AWSCLI后，还要对其进行配置。kubectl如果没有安装请查看安装kubectl。创建IAM策略创建IAM策略并将其分配给IAM角色。该策略将允许AmazonEF

作者：SRE运维博客博客地址：https://www.cnsre.cn/文章地址：https://www.cnsre.cn/posts/211217431135/相关话题：https://www.cnsre.cn/tags/aws/最近在AWS平台创建了EKS用于测试环境项目，EKS创建完以后我打算使用Ingress控制器来暴露服务，ingress前在添加一个ALB负载均衡器，这样就可以实现完全的高可用了。但是在创建好ingress却发现无法调通服务，查看aws官方文档AmazonEKS上的应用程序负载均衡发现需要使用aws-load-balancer-controller.本文档的目标：创建

大家好，我是老兵。本系列为大数据项目实战系列，每期内容将讲解​​项目背景​​​、​​技术架构​​​和核心​​代码​​部分，帮助相关小伙伴快速了解大数据项目与技术。在上期的基于SparkGraphFrame社交网络实战项目中，介绍了Spark图计算与社交关系图谱，文章反响很好。​本期将继续介绍基于Spark和Grafana的​​电商零售分析​​项目，在文末附有电商数据集下载地址，欢迎大家自行领取。话不多说，我们开始。项目环境：JAVA、IDEA项目技术：Spark、Grafana技术难度：中等1项目介绍互联网背景下的大数据、AI领域不断创新，衍生出多样化的电商平台和商品推荐模式。作为消费者，当我

大家好，我是老兵。本文是基于​​SparkGraphframes​​的​​社交关系图谱​​实战演练。我将结合自身开发和项目经验，分别讲述​​社交关系图谱​​原理、​​图计算​​原理、SparkGraphframes​​图计算编程​​、​​关联推荐​​实战等内容，帮助大家快速了解SparkGraphframes图计算的使用。有兴趣交流沟通的朋友，欢迎添加我个人微信:youlong525。1什么是社交关系图谱社交关系图谱的粗浅理解，即表达社交网络中的人与群体的关系。我是谁？我周围人是谁？我们有什么关系？1）业务通俗理解比如张三是个资深​​网络​​爱好者，也是个​​圈内​​达人。我们先来看看他的圈子

本文是历时一周整理的Spark保姆级教程。基于面试角度出发，涉及内容有Spark的相关概念、架构原理、部署、调优及实战问题。文中干货较多，希望大家耐心看完。1Spark基础篇1.1介绍一下SparkApacheSpark是一个分布式、内存级计算框架。起初为加州大学伯克利分校​​AMPLab​​​的实验性项目，后经过开源，在2014年成为​​Apache​​基金会顶级项目之一，现已更新至3.2.0版本。1.2谈一谈Spark的生态体系Spark体系包含​​SparkCore​​​、​​SparkSQL​​​、​​SparkStreaming​​​、​​SparkMLlib​​​及​​SparkG

近期，在网上看到一个来自外文网站的帖子，内容是一位业内大牛讨论#​​在分布式系统中最难解决的几个技术难题#。该话题目前已收到超过10000+的点赞认同数。​​文中提出的排行第二的难题：​​Exactly-Oncedelivery​​。在很多评论中，甚至被认为是理论上几乎不可解决的问题。对于此技术话题的理解，可谓见仁见智，而在流处理领域中的​​Exactly-Once一致性语义​​则是大数据开发者必须掌握的核心知识点。由此引出日常工作常用的计算框架思考:海量数据实时计算：Spark和Flink引擎是如何保证Exactly-Once一致性？话不多说，我将从如下几点内容对此问题进行阐释：什么是Exa

今天和大家介绍Spark的内存模型，干货多多，不要错过奥~与数据频繁落盘的​​Mapreduce​​引擎不同，Spark是基于​​内存​​的分布式计算引擎，其内置强大的内存管理机制，保证数据​​优先内存​​处理，并支持数据磁盘存储。本文将重点探讨Spark的内存管理是如何实现的，内容如下:Spark内存概述Spark内存管理机制SparkonYarn模式的内存分配1Spark内存概述首先简单的介绍一下Spark运行的基本流程。用户在​​Driver​​端提交任务，初始化运行环境(SparkContext等)Driver根据配置向​​ResoureManager​​申请资源(executors及

今天和大家聊聊Flink双流Join问题。这是一个高频面试点，也是工作中常遇到的一种真实场景。如何保证Flink双流Join​​准确性​​​和​​及时性​​​、除了​​窗口join​​还存在哪些实现方式、究竟如何回答才能完全打动面试官呢。。你将在本文中找到答案。1引子1.1数据库SQL中的JOIN我们先来看看数据库SQL中的JOIN操作。如下所示的订单查询SQL，通过将订单表的​​id​​​和订单详情表​​order_id​​关联，获取所有订单下的商品信息。selecta.idas'订单id',a.order_dateas'下单时间',a.order_amountas'订单金额',b.orde

一、JM启动过程1、从日志角度分析启动流程1）client生成jobGraph详情请参考：https://www.bilibili.com/video/BV13K4y1P7ri2）YarnRM接收到请求(和yarn交互不重点分析)3）在被分配的节点上的工作目录下启动launch_container.sh4）在perJob模式下，最终调用的是YarnJobClusterEntrypoint5）初始化相关运行环境，打印软件版本、运行环境、命令行参数、classpath等信息6）加载flink配置文件、初始化文件系统、启动各种内部服务(RpcService、HAService、BlobServer、