草庐IT

指数分布

全部标签

分布式因果推断在美团履约平台的探索与实践

美团履约平台技术部在因果推断领域持续的探索和实践中,自研了一系列分布式的工具。本文重点介绍了分布式因果树算法的实现,并系统地阐述如何设计实现一种分布式因果树算法,以及因果效应评估方面qini_curve/qini_score的不足与应对技巧。希望能为从事因果推断相关工作的同学们提供一些启发或帮助。1.业务背景2.分布式因果森林框架2.1技术选型与框架设计2.2性能优化2.3Serving实现3.分布式因果效应评估3.1无偏性校验3.2因果效应量级关系评估3.3分布式评估体系4.总结1.业务背景近年来,因果推断在商品定价、补贴、营销等领域得到广泛应用并取得了显著的业务效果提升,例如用户增长、活动

无人机支持的空中无蜂窝大规模MIMO系统中上行链路分布式检测

无人机支持的空中无蜂窝大规模MIMO系统中上行链路分布式检测无人机支持的空中无蜂窝大规模MIMO系统中上行链路分布式检测介绍题目一.背景(解决的问题)二.系统模型信道模型信道系数进行标准化信道估计和数据传输信道估计上行数据传输三.具体的流程第一层第二层最优组合权重的表达式四.用到的知识无人机支持的空中无蜂窝大规模MIMO系统中上行链路分布式检测介绍题目在无人机(UAV)支持的空中无蜂窝大规模多输入多输出(mMIMO)系统中,上行链路分布式检测涉及以下几个关键概念和步骤:“无蜂窝”意味着系统不是围绕传统的蜂窝结构组织的,而是通过分散的多个基站协作提供覆盖和容量,而不是单个固定的基站。“上行链路”

分布式压测之locust和Jmeter的使用

受限于单台机器的配置问题,我们在单台机器上达不到一个很高的压测并发数,那这个时候就需要引入分布式压测分布式压测原理:一般通过局域网把不同测试计算机链接到一起,达到测试共享、分散操作、集中管理的目的。选择一台作为调度机(MASTER),其他机器作为执行机(SLAVE)执行完成执行机会把所有数据上传汇总到调度机LOCUST首先要确保调度机和执行机上都已经有了测试脚本第二、cmd启动调度机locust-f--master第三、cmd启动执行机locust-f--worker--master-host=xxx.xxx.x.x第四、在网页运行http://localhost:8089/,locust默认

字节二面:Spring Boot Redis 可重入分布式锁实现原理?

我是码哥,可以叫我靓仔。书接上回,码哥上一篇《纠正误区:这才是SpringBootRedis分布式锁的正确实现方式》分享了分布式锁如何从错误到残缺,再到青铜版本的高性能Redis分布式锁代码实战,让你一飞冲天。这是我们最常用的分布式锁方案,今天码哥给你来一个进阶。Chaya:「码哥,上次的分布式锁版本虽然好,但是不支持可重入获取锁,还差一点点意思。」Chaya别急,今日码哥给你带来一个高性能可重入Redis分布式锁解决方案,直捣黄龙,一笑破苍穹。什么是可重入锁当一个线程执行一段代码成功获取锁之后,继续执行时,又遇到加锁的代码,可重入性就就保证线程能继续执行,而不可重入就是需要等待锁释放之后,再

Flink原理之分布式分发

Flink集群架构Flink集群是由一个JobManager和多个TaskManager组成的:Client用来提交任务给JobManager,JobManager分发任务给TaskManager去执行,然后TaskManager会以心跳的方式汇报任务状态。从架构图去看,JobManager很像Hadoop中的JobTracker,TaskManager也很像Hadoop中的TaskTracker。1JobClientJobClient不是Flink程序执行的内部部分,它是任务执行的起点。主要职责如下:提交任务,提交后可以结束进程,也可以等待结果返回;负责接受用户的程序代码,然后创建数据流,将

分库分表已成为过去式,使用分布式数据库才是未来

转载至我的博客https://www.infrastack.cn,公众号:架构成长指南当我们使用Mysql数据库到达一定量级以后,性能就会逐步下降,而解决此类问题,常用的手段就是引入数据库中间件进行分库分表处理,比如使用Mycat、ShadingShpere、tddl,但是这种都是过去式了,现在使用分布式数据库可以避免分库分表为什么不建议分库分表呢?分库分表以后,会面临以下问题分页问题,例如:使用传统写法,随着页数过大性能会急剧下降分布式事务问题数据迁移问题,例如:需要把现有数据通过分配算法导入到所有的分库中数据扩容问题,分库分表的数据总有一天也会到达极限,需要增大分片开发模式变化,比如在请求

【分布式技术专题】「Zookeeper中间件」zookeeper的服务器的log4j升级为log4j2的升级方案(忽略配置化兼容问题)

Zookeeper的服务器的log4j升级为log4j2的升级方案Zookeeper的服务器的log4j升级为log4j2的升级方案(忽略配置化兼容问题)Zookeeper的服务的基础目录windows目录Linux目录寻找对应的目录windows目录Linux目录下载对应的Log4j2的资源包下载对应slf4j包下载对应log4j2包解压对应log4j2包zookeeper的lib包目录下转移指定的log4j2包到Zookeeper的lib包目录下转移指定的slf4j包到Zookeeper的lib包目录下展示效果开始重启Zookeeper服务,进行查看是否启动正常来查看是否正常启动服务查看是

Apache SeaTunnel:探索下一代高性能分布式数据集成工具

大家下午好,我叫刘广东,然后是来自ApacheSeaTunnel社区的一名Committer。今天给大家分享的议题是下一代高性能分布式海量数据集成工具,后面的整个的PPT,主要是基于开发者的视角去看待ApacheSeaTunnel。后续所有的讲解主要是可能会硬核偏技术一点,主要是ApacheSeaTunnel流程当中的一些详细的设计。议题简介介绍ApacheSeaTunnel工具ApacheSeaTunnel的一些核心设计架构ApacheSeaTunnel自研引擎Zeta简介ApacheSeaTunnelWeb功能社区近期的规划SeaTunnel介绍首先介绍一下ApacheSeaTunnel的

云计算:OpenStack 分布式架构部署(单控制节点与单计算节点)

目录一、实验1.环境2.OpenStack包安装3.数据库安装4.消息队列安装5.令牌缓存安装6.认证服务安装7.镜像服务安装8.计算服务安装(控制节点)9.计算服务安装(计算节点)10.网络服务安装(控制节点)11.网络服务安装(计算节点)12.Dashboard图形化界面安装(控制节点)一、实验1.环境(1)主机表1主机主机架构IP备注controller控制节点192.168.204.210compute01计算节点192.168.204.211 (2)官网OpenStackDocs:OpenStackInstallationGuideforRedHatEnterpriseLinuxan

Eureka整合seata分布式事务

文章目录一、分布式事务存在的问题二、分布式事务理论三、认识SeataSeata分布式事务解决方案1、XA模式2、AT模式3、SAGA模式4.SAGA模式优缺点:5.四种模式对比四、微服务整合SeataAT案例Seata配置微服务整合2.1、父工程项目创建引入依赖2.2、Eureka集群搭建2.3、搭建账户微服务2.3.1新建seata-account-service微服务2.3.2引入依赖2.3.3seata事务用到的表2.3.4seata微服务配置2.3.5yml配置seata事务2.3.6数据源交给seata去代理2.3.7主启动类去掉默认自动加载数据源2.3.8业务数据dbDOdaose