根据业务需求，需要对pyspark内存资源进行限制本文使用的环境为pyspark3.1.2，standalone模式不足之处还请指出pyspark进程说明首先我们需要知道对pyspark进行内存限制，是限制哪部分的内存。先看一下执行pyspark任务需要启动哪些进程pyspark与原版基于scala的spark启动的进程大体相似但略有不同。当启动一个pyspark任务时，可以看到产生了2个系列的进程，分别是负责driver和executordriver：编号说明内存d1spark的driver端，spark-submit进程，运行在jvm，启动sparkContext，构建dag等spark算

GreatSQL社区原创内容未经授权不得随意使用，转载请联系小编并注明来源。GreatSQL是MySQL的国产分支版本，使用上与MySQL一致。cgroups是Linux内核提供的可以限制进程所使用资源的机制，可以对cpu，内存等资源实现精细化的控制.什么是cgroups控制族群(cgroup)-关联一组task和一组subsystem的配置参数。一个task对应一个进程,cgroup是资源分片的最小单位。子系统(subsystem)-资源管理器，一个subsystem对应一项资源的管理，如cpu,cpuset,memory等cpu子系统，主要限制cpu使用率。cpuacct子系统，可以统计c

GreatSQL社区原创内容未经授权不得随意使用，转载请联系小编并注明来源。GreatSQL是MySQL的国产分支版本，使用上与MySQL一致。cgroups是Linux内核提供的可以限制进程所使用资源的机制，可以对cpu，内存等资源实现精细化的控制.什么是cgroups控制族群(cgroup)-关联一组task和一组subsystem的配置参数。一个task对应一个进程,cgroup是资源分片的最小单位。子系统(subsystem)-资源管理器，一个subsystem对应一项资源的管理，如cpu,cpuset,memory等cpu子系统，主要限制cpu使用率。cpuacct子系统，可以统计c