草庐IT

评分表

全部标签

分库分表之ShardingSphere

为什么要分库分表用户请求量太大单服务器TPS、内存、IO都是有上限的,需要将请求打散分布到多个服务器。单库数据量太大单个数据库处理能力有限;单库所在服务器的磁盘空间有限;单库上的操作IO有瓶颈。单表数据量太大查询、插入、更新操作都会变慢,在加字段、加索引、机器迁移都会产生高负载,影响服务。拆分方式垂直拆分垂直分库微服务架构时,业务切割得足够独立,数据也按照业务切分,不同业务的数据存入不同的库中。垂直分表表中字段太多且包含大字段,可将这张大表拆分为多张表。水平拆分水平分库将单张表的数据切分到多个服务器上去,每个服务器具有相应的库与表,只是表中数据集合不同。水平分库规则不跨库、不跨表,保证同一类的

面试必备:分库分表经典15连问

前言大家好,我是田螺。我们去面试的时候,几乎都会被问到分库分表。田螺哥整理了分库分表的15道经典分库分表面试题,大家看完肯定会有帮助的。公众号:捡田螺的小男孩github地址,感谢每颗star:github1.我们为什么需要分库分表在分库分表之前,就需要考虑为什么需要拆分。我们做一件事,肯定是有充分理由的。所以得想好分库分表的理由是什么。我们现在就从两个维度去思考它,为什么要分库?为什么要分表?1.1为什么要分库如果业务量剧增,数据库可能会出现性能瓶颈,这时候我们就需要考虑拆分数据库。从这两方面来看:磁盘存储业务量剧增,MySQL单机磁盘容量会撑爆,拆成多个数据库,磁盘使用率大大降低。并发连接

面试必备:分库分表经典15连问

前言大家好,我是田螺。我们去面试的时候,几乎都会被问到分库分表。田螺哥整理了分库分表的15道经典分库分表面试题,大家看完肯定会有帮助的。公众号:捡田螺的小男孩github地址,感谢每颗star:github1.我们为什么需要分库分表在分库分表之前,就需要考虑为什么需要拆分。我们做一件事,肯定是有充分理由的。所以得想好分库分表的理由是什么。我们现在就从两个维度去思考它,为什么要分库?为什么要分表?1.1为什么要分库如果业务量剧增,数据库可能会出现性能瓶颈,这时候我们就需要考虑拆分数据库。从这两方面来看:磁盘存储业务量剧增,MySQL单机磁盘容量会撑爆,拆成多个数据库,磁盘使用率大大降低。并发连接

风控五大模型、三大风险指的是什么--几大模型PD、LGD、评分模型都有哪些细节点

风险是指不确定性。金融风险是资产因不确定性价格发生波动的可能性。我们梳理了一下目前整个风险分类,大概可以分成以下几个大类:信用风险指债务人不能或不愿意履行债务而给债权人造成损失的可能性。流动性风险指由于流动性不足无法履行支付义务的可能性。利率风险指利率的不确定性造成资产价格波动的可能性。汇率风险指汇率的不确定性造成资产价格波动的可能性。操作风险指由于不完善或有问题的内部操作过程、人员、系统或外部事件而导致的直接或间接损失的风险。法律风险指金融机构相关的各类合同、承诺等法律文件的有效性和可执行能力,包括外部合规风险和监管风险。通货膨胀风险指通货膨胀使经济主体的首季收益率下降,或使其筹资成本提高的

风控五大模型、三大风险指的是什么--几大模型PD、LGD、评分模型都有哪些细节点

风险是指不确定性。金融风险是资产因不确定性价格发生波动的可能性。我们梳理了一下目前整个风险分类,大概可以分成以下几个大类:信用风险指债务人不能或不愿意履行债务而给债权人造成损失的可能性。流动性风险指由于流动性不足无法履行支付义务的可能性。利率风险指利率的不确定性造成资产价格波动的可能性。汇率风险指汇率的不确定性造成资产价格波动的可能性。操作风险指由于不完善或有问题的内部操作过程、人员、系统或外部事件而导致的直接或间接损失的风险。法律风险指金融机构相关的各类合同、承诺等法律文件的有效性和可执行能力,包括外部合规风险和监管风险。通货膨胀风险指通货膨胀使经济主体的首季收益率下降,或使其筹资成本提高的

Sharding-Sphere系列-主从配置和分库分表

主从配置和分库分表Sharding-Sphere组成Sharding-JDBCSharding-ProxySharding-Sidecar(TODO)Sharding-JDBC表的概念逻辑表广播表绑定表Sharding-JDBC中的分片策略自动分片算法标准分片算法复合分片算法自定义分片算法分布式序列算法Sharding-Sphere实战shardingsphere的sql日志无法打印问题配置的雪花算法不生效Field'brand_id'doesn'thaveadefaultvalueInsertstatementdoesnotsupportshardingtableroutingtomulti

Sharding-Sphere系列-主从配置和分库分表

主从配置和分库分表Sharding-Sphere组成Sharding-JDBCSharding-ProxySharding-Sidecar(TODO)Sharding-JDBC表的概念逻辑表广播表绑定表Sharding-JDBC中的分片策略自动分片算法标准分片算法复合分片算法自定义分片算法分布式序列算法Sharding-Sphere实战shardingsphere的sql日志无法打印问题配置的雪花算法不生效Field'brand_id'doesn'thaveadefaultvalueInsertstatementdoesnotsupportshardingtableroutingtomulti

Elasticsearch实战(二十)---ES相关度分数评分算法分析及相关度分数优化

Elasticsearch实战—ES相关度分数评分算法分析文章目录Elasticsearch实战---ES相关度分数评分算法分析1.ES相关度分数评分算法1.1Booolean1.2TFIDF模型1.3VSM空间向量模型2.ES相关度分数优化2.1准备数据2.2Boost增加搜索条件权重2.3Negativeboost削弱搜索条件权重2.4Functionscore自定义相关分数算法ES相关度评分算法靠三个部分来依次实现,没有先后顺序,是一个逐层推进的逻辑Boolean模型根据过滤条件true,false来过滤docTFIDF模型VSM空间向量模型1.ES相关度分数评分算法1.1Booolea

Elasticsearch实战(二十)---ES相关度分数评分算法分析及相关度分数优化

Elasticsearch实战—ES相关度分数评分算法分析文章目录Elasticsearch实战---ES相关度分数评分算法分析1.ES相关度分数评分算法1.1Booolean1.2TFIDF模型1.3VSM空间向量模型2.ES相关度分数优化2.1准备数据2.2Boost增加搜索条件权重2.3Negativeboost削弱搜索条件权重2.4Functionscore自定义相关分数算法ES相关度评分算法靠三个部分来依次实现,没有先后顺序,是一个逐层推进的逻辑Boolean模型根据过滤条件true,false来过滤docTFIDF模型VSM空间向量模型1.ES相关度分数评分算法1.1Booolea

一种自平衡解决数据倾斜的分表方法

作者:京东零售梁强1、背景这篇主要描述了B端令牌系统应用数据分表解决业务数据量增大,且存在的数据倾斜问题,主要面向的场景是一对多数据倾斜问题1)B令牌的业务背景先简述一下B令牌的业务背景,B令牌系统是用于营销场景中,将许多用户绑定在一个令牌上,再将令牌绑定在促销上,从而实现差异和精准营销,一般情况下一个令牌的生命周期等同于这个促销。2)B端令牌的结构现状令牌和令牌用户关系是一个一对多的关系,早期的令牌系统使用jed分库,2个分片,中间进行了一次扩容达到了8个分片,存储的数据行数达到了1.2亿3)数据和业务现状1.2亿数据,分布在8个分库中,每个分库平均1500万,但由于分库字段使用的是令牌ID