草庐IT

金融数据治理实践与思考

导读:结合当前业界数据治理的现状、背景、框架,我们可能希望了解一个从0~1的数据治理架构体系怎么做。也有朋友会有疑问:数据治理的管理、域间组合和协同,他们是什么样的一个关系,该怎么样去开展?另外,在这几年的金融行业的数据治理过程中,有哪些具体的实践?为了帮助大家解决这些困扰,本文将对金融数据治理的实践与思考,做一个梳理和总结。今天的介绍主要分为4个部分:金融数据治理背景数据治理架构体系数据治理管理域间组合与协同数据治理新实践和思考一、金融数据治理背景首先和大家分享下金融数据治理的背景。金融行业在整个数据治理领域里,跟政企一样,其数据治理比较领先。原因在于两个必不可少的因素:外驱和内驱。1、外驱

金融数据治理实践与思考

导读:结合当前业界数据治理的现状、背景、框架,我们可能希望了解一个从0~1的数据治理架构体系怎么做。也有朋友会有疑问:数据治理的管理、域间组合和协同,他们是什么样的一个关系,该怎么样去开展?另外,在这几年的金融行业的数据治理过程中,有哪些具体的实践?为了帮助大家解决这些困扰,本文将对金融数据治理的实践与思考,做一个梳理和总结。今天的介绍主要分为4个部分:金融数据治理背景数据治理架构体系数据治理管理域间组合与协同数据治理新实践和思考一、金融数据治理背景首先和大家分享下金融数据治理的背景。金融行业在整个数据治理领域里,跟政企一样,其数据治理比较领先。原因在于两个必不可少的因素:外驱和内驱。1、外驱

从可交付到成果,重新思考数字化转型

为了让数字化转型不仅仅停留在流行词层面,企业必须专注于交付结果,而非技术。就像“前所未有”或“思想领导力”一样,数字化转型也是被过度使用的行业流行语之一,并且慢慢失去了它原本的意义。对于这种情况,我们应该及时拨乱反正。数字化转型应该涉及整个技术生态系统和企业价值链,而不是充当云迁移的代理,或用新的软件即服务(SaaS)技术取代传统流程。无论是从基础设施到边缘,通过云和网络,还是从大型机到移动设备,真正具有变革性的业务解决方案都必须以精简、并发的方式提高准备程度、提供弹性并推动可衡量的结果。这创造了新的效率,并提供了更好的整体体验,同时提升了业务的多个方面。实现这一最终目标的秘诀是围绕基于成果(

从可交付到成果,重新思考数字化转型

为了让数字化转型不仅仅停留在流行词层面,企业必须专注于交付结果,而非技术。就像“前所未有”或“思想领导力”一样,数字化转型也是被过度使用的行业流行语之一,并且慢慢失去了它原本的意义。对于这种情况,我们应该及时拨乱反正。数字化转型应该涉及整个技术生态系统和企业价值链,而不是充当云迁移的代理,或用新的软件即服务(SaaS)技术取代传统流程。无论是从基础设施到边缘,通过云和网络,还是从大型机到移动设备,真正具有变革性的业务解决方案都必须以精简、并发的方式提高准备程度、提供弹性并推动可衡量的结果。这创造了新的效率,并提供了更好的整体体验,同时提升了业务的多个方面。实现这一最终目标的秘诀是围绕基于成果(

Element Table 业务封装与思考

前言新项目ElemnetUI组件业务封装,封装需求满足后期不修改业务代码,直接更新前端的封装组件的UI库代码即可实现无缝切换UI库的需求。目前新项目的功能产品还在梳理,项目第一期还未开始,前端技术小组先行进行的组件封装。Table组件封装目标封装的用法要和ElementUITable组件的用法保持一致目的是降低引用(使用)成本支持纯数据绑定支持自定义模板满足业务定制化需求Table组件封装内容目录结构components封装组件目录talbeIndex.vueTableColumn.vueViewsCenterPage.vue组件调用层table/Index.vue这个文件默认封装了el-ta

Element Table 业务封装与思考

前言新项目ElemnetUI组件业务封装,封装需求满足后期不修改业务代码,直接更新前端的封装组件的UI库代码即可实现无缝切换UI库的需求。目前新项目的功能产品还在梳理,项目第一期还未开始,前端技术小组先行进行的组件封装。Table组件封装目标封装的用法要和ElementUITable组件的用法保持一致目的是降低引用(使用)成本支持纯数据绑定支持自定义模板满足业务定制化需求Table组件封装内容目录结构components封装组件目录talbeIndex.vueTableColumn.vueViewsCenterPage.vue组件调用层table/Index.vue这个文件默认封装了el-ta

周结

这周主要的时间花费在练习的项目上,尤其是后两天,虽然我负责的板块只有三个接口,但是也学习到了部分知识。尤其是数据库这方面。说下我觉得这个项目的缺点(主要是根据后期我们重新商定的功能而言),数据库表设计不合理,虽然加入了中间表,但是起到的作用不大,甚至增加了查询的复杂度,和负责人商量下,暂时定为在原有的表结构上实现功能,后期优化再说.....其次就是连表查询,由于前端的需求,在现有表结构上我把连表查询写的非常复杂,优化的方案到现在还没有想出来....,而那个复杂的连表查询也让我思考了半天.以及gorm版本的问题,解决bug解决了半天,gorm1.0版本不支持批量插入,2.0才支持....接着就是

周结

这周主要的时间花费在练习的项目上,尤其是后两天,虽然我负责的板块只有三个接口,但是也学习到了部分知识。尤其是数据库这方面。说下我觉得这个项目的缺点(主要是根据后期我们重新商定的功能而言),数据库表设计不合理,虽然加入了中间表,但是起到的作用不大,甚至增加了查询的复杂度,和负责人商量下,暂时定为在原有的表结构上实现功能,后期优化再说.....其次就是连表查询,由于前端的需求,在现有表结构上我把连表查询写的非常复杂,优化的方案到现在还没有想出来....,而那个复杂的连表查询也让我思考了半天.以及gorm版本的问题,解决bug解决了半天,gorm1.0版本不支持批量插入,2.0才支持....接着就是

导入方案的思考

导入的背景用户为了更方便进行批量的数据处理,系统提供导入功能来满足该需求。对研发人员来说,导入等价于批量处理数据。导入存在的问题系统层面:导入数据过多,导致内存溢出(OOM),系统负载飙升。大批量的事务提交。如果有对外依赖,外部依赖不稳定将导致整个导入超时耗时。用户层面:导入耗时过长,只能等待,无法做其他事情。如果存在超时的情况那更加难以接受。系统异常时,无法了解导入的结果。方案从用户层面的问题来看,长时间等待和无法了解导入的结果是无法忍受的。所以系统应该对导入任务进行异步处理,并提供导入结果查询。从系统层面的问题来讲,既然是批量任务,那我们可以将其分解为小批量任务来处理。一个实际的案例背景:

导入方案的思考

导入的背景用户为了更方便进行批量的数据处理,系统提供导入功能来满足该需求。对研发人员来说,导入等价于批量处理数据。导入存在的问题系统层面:导入数据过多,导致内存溢出(OOM),系统负载飙升。大批量的事务提交。如果有对外依赖,外部依赖不稳定将导致整个导入超时耗时。用户层面:导入耗时过长,只能等待,无法做其他事情。如果存在超时的情况那更加难以接受。系统异常时,无法了解导入的结果。方案从用户层面的问题来看,长时间等待和无法了解导入的结果是无法忍受的。所以系统应该对导入任务进行异步处理,并提供导入结果查询。从系统层面的问题来讲,既然是批量任务,那我们可以将其分解为小批量任务来处理。一个实际的案例背景: