一、面临的问题自16年成立以来，网易严选已经发展了7个年头。数据一直是网易严选的核心资产，支撑着我们的业务发展，大数据平台也在严选成立不久之后就开始建设了。我们的大数据基础组建主要包括HDFS存储系统、Kafka/Pulsar等消息中间件，还有用于实时计算的Flink、批处理的Hive、Spark计算引擎、AI训练的temsoflow，在这些基础设施之上我们也开发了很多数据产品，如数据集成工具datahub，任务开发平台等。严选的数据来源主要包括线上业务数据库的数据、埋点日志数据，这些数据经过数据集成工具收集至大数据平台，经过数据开发工程师、算法工程师的ETL处理来构建数据仓库、提取特征进行算
Istio服务网格的可视化监控系统文章目录Istio服务网格的可视化监控系统1.Istio服务网格的可视化系统2.在K8S集群中部署Istio自带的可视化系统2.1.将Kiali服务的CRD资源单独分离2.2.调整资源编排文件使用NodePort的方式2.3.创建所有资源控制器3.Kiali可视化系统简单使用3.1.Kiali仪表盘概览3.2.浏览微服务的架构图3.3.查看某个命名空间下的程序列表3.4.查看某个命名空间下的工作负载3.5.查看某个命名空间下的Service资源3.6.修改某个资源的编排文件4.通过Prometheus查看Itsio的监控视图4.1.在Grafana中查看Ist
Istio服务网格的可视化监控系统文章目录Istio服务网格的可视化监控系统1.Istio服务网格的可视化系统2.在K8S集群中部署Istio自带的可视化系统2.1.将Kiali服务的CRD资源单独分离2.2.调整资源编排文件使用NodePort的方式2.3.创建所有资源控制器3.Kiali可视化系统简单使用3.1.Kiali仪表盘概览3.2.浏览微服务的架构图3.3.查看某个命名空间下的程序列表3.4.查看某个命名空间下的工作负载3.5.查看某个命名空间下的Service资源3.6.修改某个资源的编排文件4.通过Prometheus查看Itsio的监控视图4.1.在Grafana中查看Ist
据Gartner的一项调查显示，我国超过90%的数据治理项目都失败了。大家的感受也是如此：数据治理的项目不好落地，数据治理项目实施起来从理论到实践有一条巨大的鸿沟很难跨越。失败的原因各种各样，总结起来大概有4类：第一类：被动式的数据治理。数据治理只关注业务流程，并不关注实际数据的质量，头疼医头脚疼医脚的被动地为治理而治理。第二类：局部式的数据治理。数据治理当成一个项目、一个工程，是一个一次性的活动，做完即结束，没有做到持续改进和运营。第三类：孤立式的数据治理。企业有很多数据管理的规范、标准，但落地效果比较差。业务部门做了大量数据的应用，但没有和信息部门进行有效沟通，数据质量堪忧。第四类：工具式
01顺丰数据治理体系演进路线顺丰做数据治理十多年，数据治理体系的模块是逐步来建设的。十年前，我们就已经建了数仓，同步做了元数据管理，数据质量管理，以及数据安全的管理。顺丰数据治理的演进路线分3个阶段。第一阶段：2020年前，我们主要在进行数据平台的搭建，关键领域能力的建设。关键领域能力建设方面，包括元数据管理、主数据管理、数据质量管理、数据安全。第二阶段：2020、2021及2022年上半年，在加强领域能力建设的同时，我们更多的把数据治理的工作和业务更紧密的结合在一起，我们发现，在数据治理体系建设的过程中，如果没有业务的参与，该工作就变成了一个纯科技的工作，难以得到有效的落地。因此，在2020
一、主动数据治理，数据治理新范式1、新治理范式探索的背景大多数管理过数仓的同学应该都有一个普遍共识是数据仓库建设时间越长，管理复杂度会越大。一是引入的数据技术越来越多，管理的集群会越来越多；二是参与数据生产和使用的角色和人员会越来越多；三是业务需要引入的数据会越来越多。最后会形成一个特别复杂的数据依赖网络，而数据管理的目标是要不断满足业务的效率、性能、质量、成本、安全等方面不断增长的需求。在上述背景下，三个问题会越来越突出：第一个问题是看不清。数据依赖网络越来越复杂，我们想要去理解某一个数据字段口径会越来越费时费力，一旦出现数据异常问题，想要去追溯到它的根因需要一层一层往上去找，一层一层去找人
大家好，我是梦想家Alex，今天是周末，就不给大家分享技术文了～应出版社老师推荐，文末给大家送几本DAMA中国主席力荐，20位行业专家历时2年共同打造的《财务数据治理实战》，将数据治理理论应用于财务管理实践，是一本写给财务人员的数据治理体系指南！希望大家喜欢。为什么需要财务数据治理？其一，财务部门牵头数据治理，效果好。财务部门在企业中是权威部门，如果财务部门牵头执行数据治理，有助于在企业内部推动数据治理各项工作顺利开展。尤其是在金融行业，相当一部分金融机构的数据治理部门设置在财务部门之下，由财务部门牵头和负责开展数据治理工作，并经历数年的运行，已经取得了较好的效果。其二，财务部门对数据治理有着
大家好，我是梦想家Alex，今天是周末，就不给大家分享技术文了～应出版社老师推荐，文末给大家送几本DAMA中国主席力荐，20位行业专家历时2年共同打造的《财务数据治理实战》，将数据治理理论应用于财务管理实践，是一本写给财务人员的数据治理体系指南！希望大家喜欢。为什么需要财务数据治理？其一，财务部门牵头数据治理，效果好。财务部门在企业中是权威部门，如果财务部门牵头执行数据治理，有助于在企业内部推动数据治理各项工作顺利开展。尤其是在金融行业，相当一部分金融机构的数据治理部门设置在财务部门之下，由财务部门牵头和负责开展数据治理工作，并经历数年的运行，已经取得了较好的效果。其二，财务部门对数据治理有着
企业数字化转型以数据为中心，通过数据驱动业务发展、管理协同和运营。因此，数字化转型关键在于数据，数据治理则需先行。从而更好激发数据生产要素潜能，实现业务数据化、数据价值化，助力企业数字化转型。那么何为数据治理？国际数据管理协会（DAMA）在其《DAMA数据管理知识体系指南（第2版）》一书中将数据治理进行了定义，即数据治理是对数据资产管理行使权力、控制和共享决策（规划、监测和执行）的系列活动。此外，DAMA还将数据治理作为数据管理十大知识领域的中心，负责知识领域的平衡和一致性。DAMA提到数据治理的目标有三点：提升企业数据资产管理能力；定义、批准、沟通和实施数据管理的原则、政策、程序、指标、工具
企业数字化转型以数据为中心，通过数据驱动业务发展、管理协同和运营。因此，数字化转型关键在于数据，数据治理则需先行。从而更好激发数据生产要素潜能，实现业务数据化、数据价值化，助力企业数字化转型。那么何为数据治理？国际数据管理协会（DAMA）在其《DAMA数据管理知识体系指南（第2版）》一书中将数据治理进行了定义，即数据治理是对数据资产管理行使权力、控制和共享决策（规划、监测和执行）的系列活动。此外，DAMA还将数据治理作为数据管理十大知识领域的中心，负责知识领域的平衡和一致性。DAMA提到数据治理的目标有三点：提升企业数据资产管理能力；定义、批准、沟通和实施数据管理的原则、政策、程序、指标、工具
