草庐IT

Crane-Scheduler 基于真实工作负载的调度插件

原生kubernetes调度器只能基于资源的resourcerequest进行调度,然而Pod的真实资源使用率,往往与其所申请资源的request/limit差异很大,导致集群负载不均的问题。crane-scheduler基于集群的真实负载数据构造了一个简单却有效的模型,作用于调度过程中的Filter与Score阶段,并提供了一种灵活的调度策略配置方式,从而有效缓解集群中资源负载不均问题,真正实现将本增效。背景将服务部署在Kubernetes集群上是当今许多企业的首选方案,其能帮助企业自动化部署、弹性伸缩以及容错处理等工作,减少了人工操作和维护工作量,提高了服务的可靠性和稳定性,有效实现了降本

【腾讯云 Finops Crane集训营】Finops Crane究竟能为我们带来什么价值和思考?深入探究Crane

目录前言一、Crane目的是什么?二、Crane有哪些功能?1.成本可视化和优化评估 2.推荐框架 3.基于预测的水平弹性器4.负载感知的调度器5.拓扑感知的调度器6.基于QOS的混部三.Crane的整体架构及特性1.Crane架构CranedFadvisorMetricAdapterCraneAgent2.Crane特性一键部署简单易用可视化控制台开箱即用的巡检能力稳定性与资源优化的双重兼四、Crane部署 访问CraneDashboard 成本展示 优化你的应用配置五、总结前言最近报名参加了腾讯大型开源项目FinopsCrane的集训营,深入了解并实践运用了关于Crane的一系列功能。云计

【腾讯云Finops Crane集训营】利用云原生成本优化项目实现降本增效泰酷辣~

Crane是一个基于FinOps的云资源分析与成本优化平台。在保证客户应用运行质量的前提下实现极致的降本。文章目录一、前言🍐二、Crane开源项目简介🍎2.1.Crane整体框架🍒2.2.Crane主要功能🍅三、Crane实验前期准备🍊3.1.系统初始化📖3.2.Docker安装📑3.3.kubectl安装📚3.4.helm安装📕3.5.kind安装📙四、单机版Crane部署流程🍑4.1.Crane系统一键化安装⚒️4.2.访问CraneDashboard💨4.3.添加集群🛠️五、集群功能演示🛠️5.1.使用智能弹性EffectiveHPA🥒5.1.1安装MetricsServer5.1.2创

腾讯开源云原生成本优化神器 - FinOps Crane

Crane是一个基于FinOps的云资源分析与成本优化平台,它的愿景是在保证客户应用运行质量的前提下实现极致的降本。Crane已经在腾讯内部自研业务实现了大规模落地,部署数百个K8s集群、管控CPU核数达百万,在降本增效方面取得了阶段性成果。以腾讯某部门集群优化为例,通过使用FinOpsCrane,该部门在保障业务稳定的情况下,资源利用率提升了3倍;腾讯另一自研业务落地Crane后,在一个月内实现了总CPU规模40万核的节省量,相当于成本节约超1000万元/月。Crane会通过下面3个方面来开启成本优化之旅:成本展示:Kubernetes资源(Deployments,StatefulSets)

Crane如何做到利用率提升3倍稳定性还不受损?

作为云平台用户,我们都希望购买的服务器物尽其用,能够达到最大利用率。然而要达到理论上的节点负载目标是很的,计算节点总是存在一些装箱碎片和低负载导致的闲置资源。下图展示了某个生产系统的CPU资源现状,从图中可以看出,浪费主要来自以下几个方面:业务需求与节点可调度资源很难完全匹配,因此在每个节点上都可能剩余一些碎片资源无法被分配出去。业务通常为了绝对稳定,会申请超出自身需求的资源,这会导致业务锁定了资源但事实上未能有效利用。资源用量存在波峰波谷,很多在线业务都是有着规律性的服务高峰和低峰的,如通常白天负载较高,资源用量较大,而夜间在线访问降低,资源用量也会跌入低谷。Crane提供了Request推

Crane如何做到利用率提升3倍稳定性还不受损?

作为云平台用户,我们都希望购买的服务器物尽其用,能够达到最大利用率。然而要达到理论上的节点负载目标是很的,计算节点总是存在一些装箱碎片和低负载导致的闲置资源。下图展示了某个生产系统的CPU资源现状,从图中可以看出,浪费主要来自以下几个方面:业务需求与节点可调度资源很难完全匹配,因此在每个节点上都可能剩余一些碎片资源无法被分配出去。业务通常为了绝对稳定,会申请超出自身需求的资源,这会导致业务锁定了资源但事实上未能有效利用。资源用量存在波峰波谷,很多在线业务都是有着规律性的服务高峰和低峰的,如通常白天负载较高,资源用量较大,而夜间在线访问降低,资源用量也会跌入低谷。Crane提供了Request推

Crane-scheduler:基于真实负载进行调度

作者邱天,腾讯云高级工程师,负责腾讯云TKE动态调度器与重调度器产品。背景原生kubernetes调度器只能基于资源的resourcerequest进行调度,然而Pod的真实资源使用率,往往与其所申请资源的request/limit差异很大,这直接导致了集群负载不均的问题:集群中的部分节点,资源的真实使用率远低于resourcerequest,却没有被调度更多的Pod,这造成了比较大的资源浪费;而集群中的另外一些节点,其资源的真实使用率事实上已经过载,却无法为调度器所感知到,这极大可能影响到业务的稳定性。这些无疑都与企业上云的最初目的相悖,为业务投入了足够的资源,却没有达到理想的效果。既然问题

Crane-scheduler:基于真实负载进行调度

作者邱天,腾讯云高级工程师,负责腾讯云TKE动态调度器与重调度器产品。背景原生kubernetes调度器只能基于资源的resourcerequest进行调度,然而Pod的真实资源使用率,往往与其所申请资源的request/limit差异很大,这直接导致了集群负载不均的问题:集群中的部分节点,资源的真实使用率远低于resourcerequest,却没有被调度更多的Pod,这造成了比较大的资源浪费;而集群中的另外一些节点,其资源的真实使用率事实上已经过载,却无法为调度器所感知到,这极大可能影响到业务的稳定性。这些无疑都与企业上云的最初目的相悖,为业务投入了足够的资源,却没有达到理想的效果。既然问题