草庐IT

wp_schedule_event

全部标签

Crane-scheduler:基于真实负载进行调度

作者邱天,腾讯云高级工程师,负责腾讯云TKE动态调度器与重调度器产品。背景原生kubernetes调度器只能基于资源的resourcerequest进行调度,然而Pod的真实资源使用率,往往与其所申请资源的request/limit差异很大,这直接导致了集群负载不均的问题:集群中的部分节点,资源的真实使用率远低于resourcerequest,却没有被调度更多的Pod,这造成了比较大的资源浪费;而集群中的另外一些节点,其资源的真实使用率事实上已经过载,却无法为调度器所感知到,这极大可能影响到业务的稳定性。这些无疑都与企业上云的最初目的相悖,为业务投入了足够的资源,却没有达到理想的效果。既然问题

Crane-scheduler:基于真实负载进行调度

作者邱天,腾讯云高级工程师,负责腾讯云TKE动态调度器与重调度器产品。背景原生kubernetes调度器只能基于资源的resourcerequest进行调度,然而Pod的真实资源使用率,往往与其所申请资源的request/limit差异很大,这直接导致了集群负载不均的问题:集群中的部分节点,资源的真实使用率远低于resourcerequest,却没有被调度更多的Pod,这造成了比较大的资源浪费;而集群中的另外一些节点,其资源的真实使用率事实上已经过载,却无法为调度器所感知到,这极大可能影响到业务的稳定性。这些无疑都与企业上云的最初目的相悖,为业务投入了足够的资源,却没有达到理想的效果。既然问题

Apache Dolphin Scheduler 3.0.1 发布,对核心及UI相关进行优化

点亮⭐️Star·照亮开源之路GitHub:https://github.com/apache/dolphinscheduler​版本发布感谢本次的ReleaseManager--@zhuangchong,是他主导了我们这个版本的发布流程,引导社区进行版本内容沟通,发版前的问题跟踪,blockingissue处理,版本质量管理等,感谢@zhuangchong为社区的付出,也期待其他Committer和PMC能够一起参与到ReleaseManager的角色中来。在3.0.0正式版本发布1个多月之后,期间社区也紧锣密鼓的进行着新版本的迭代的筹备,通过用户访谈对一线的建议、意见反馈进行收集,作为3.

Apache Dolphin Scheduler 3.0.1 发布,对核心及UI相关进行优化

点亮⭐️Star·照亮开源之路GitHub:https://github.com/apache/dolphinscheduler​版本发布感谢本次的ReleaseManager--@zhuangchong,是他主导了我们这个版本的发布流程,引导社区进行版本内容沟通,发版前的问题跟踪,blockingissue处理,版本质量管理等,感谢@zhuangchong为社区的付出,也期待其他Committer和PMC能够一起参与到ReleaseManager的角色中来。在3.0.0正式版本发布1个多月之后,期间社区也紧锣密鼓的进行着新版本的迭代的筹备,通过用户访谈对一线的建议、意见反馈进行收集,作为3.

如何扩展Spark Catalyst,抓取spark sql 语句,通过listenerBus发送sql event以及编写自定义的Spark SQL引擎

1、SparkCatalyst扩展点Sparkcatalyst的扩展点在SPARK-18127中被引入,Spark用户可以在SQL处理的各个阶段扩展自定义实现,非常强大高效,是SparkSQL的核心组件(查询优化器),它负责将SQL语句转换成物理执行计划,Catalyst的优劣决定了SQL执行的性能。CatalystOptimizer是SparkSQL的核心组件(查询优化器),它负责将SQL语句转换成物理执行计划,Catalyst的优劣决定了SQL执行的性能。查询优化器是一个SQL引擎的核心,开源常用的有ApacheCalcite(很多开源组件都通过引入Calcite来实现查询优化,如Hive

如何扩展Spark Catalyst,抓取spark sql 语句,通过listenerBus发送sql event以及编写自定义的Spark SQL引擎

1、SparkCatalyst扩展点Sparkcatalyst的扩展点在SPARK-18127中被引入,Spark用户可以在SQL处理的各个阶段扩展自定义实现,非常强大高效,是SparkSQL的核心组件(查询优化器),它负责将SQL语句转换成物理执行计划,Catalyst的优劣决定了SQL执行的性能。CatalystOptimizer是SparkSQL的核心组件(查询优化器),它负责将SQL语句转换成物理执行计划,Catalyst的优劣决定了SQL执行的性能。查询优化器是一个SQL引擎的核心,开源常用的有ApacheCalcite(很多开源组件都通过引入Calcite来实现查询优化,如Hive

2023_VNCTF_WP

概述题目来源:buuctf平台举行的vnctf。这次VNCTF还是很好玩的,特别是BabyGo(我也只看了web和misc方式的题),刚好也是在最后的30分钟出了,要不然哭死。6点之前已经有思路要覆盖user.gob文件了,但是一直覆盖不到,后面再认认真真检查了好几遍才发现path理解错了。拿到这题源码时一直在发呆,一点激情都没有。发现自己打这种比赛永远抢不了一血,一是因为知识储配不过,题刷的不够多;二是因为拿到不熟悉的题就容易发呆。幸好今天还够幸运,解出了花费很长时间的题,要不然又是自闭的一天QAQ。因为能力当前就处于“这样”的阶段,所以做出的BabyGo我给了非常详细的解题过程。Web象棋

2023_VNCTF_WP

概述题目来源:buuctf平台举行的vnctf。这次VNCTF还是很好玩的,特别是BabyGo(我也只看了web和misc方式的题),刚好也是在最后的30分钟出了,要不然哭死。6点之前已经有思路要覆盖user.gob文件了,但是一直覆盖不到,后面再认认真真检查了好几遍才发现path理解错了。拿到这题源码时一直在发呆,一点激情都没有。发现自己打这种比赛永远抢不了一血,一是因为知识储配不过,题刷的不够多;二是因为拿到不熟悉的题就容易发呆。幸好今天还够幸运,解出了花费很长时间的题,要不然又是自闭的一天QAQ。因为能力当前就处于“这样”的阶段,所以做出的BabyGo我给了非常详细的解题过程。Web象棋

大数据Hadoop之——Flink CEP(Complex Event Processing:复合事件处理)详解(kafka on window)

目录一、概述二、核心组件三、PatternAPI1)个体模式(IndividualPatterns)1、量词2、条件2)组合模式(CombiningPatterns,也叫模式序列)1、事件之间的连续策略2、循环模式中的连续性3)模式组(GroupofPattern)匹配后跳过策略四、Pattern检测五、FlinkCEP应用场景六、安装Kafka(window)1)下载kafka2)配置环境变量3)创建相关文件4)修改配置5)启动zookeeper和kafka服务6)常用操作七、FlinkCEP实战(java版)1)开发流程2)FlinkCEP快速上手1、配置Maven2、下载项目3、执行解析

大数据Hadoop之——Flink CEP(Complex Event Processing:复合事件处理)详解(kafka on window)

目录一、概述二、核心组件三、PatternAPI1)个体模式(IndividualPatterns)1、量词2、条件2)组合模式(CombiningPatterns,也叫模式序列)1、事件之间的连续策略2、循环模式中的连续性3)模式组(GroupofPattern)匹配后跳过策略四、Pattern检测五、FlinkCEP应用场景六、安装Kafka(window)1)下载kafka2)配置环境变量3)创建相关文件4)修改配置5)启动zookeeper和kafka服务6)常用操作七、FlinkCEP实战(java版)1)开发流程2)FlinkCEP快速上手1、配置Maven2、下载项目3、执行解析