草庐IT

区块链应用价值凸显 成为赋能智慧城市建设的关键纽带

在智慧城市建设过程中,以区块链为代表的数字技术正成为赋能的关键纽带,其具备的数据可溯源和不可篡改等特征,有望在万物互联时代推动智慧城市的建设与发展。近日,工信部面向五大方向组织开展2022年区块链典型应用案例征集工作。其中,针对区块链+智慧城市方向,征集将区块链应用于智慧治理、城市大脑、数字防疫、城市应急管理、基层社区服务等场景,有效提升城市管理智能化、精准化水平的典型案例。下面一起来看看区块链在这些场景的具体应用。智慧治理随着大量人口涌入城市,城市规模不断扩张,社会结构日趋复杂度,导致城市治理难度大幅提升,在城市治理中引入区块链技术就显得尤为必要。尤其是近两年,在政策驱动下,各地政府均在积极

稳撑30+PB数据,携程10年日志系统治理演进之路

作者介绍Dongyu,资深云原生研发工程师,专注于日志与OLAP领域,主要负责携程日志平台和CHPaas平台的研发及其运维管理工作。本文将从以下五部分切入,讲述日志系统的演进之路:携程日志的背景和现状、如何搭建一套日志系统、从ElasticSearch到Clickhouse存储演进、日志3.0重构及未来计划。一、日志背景及现状图12012年以前,携程的各个部门日志自行收集治理(如图1)。这样的方式缺乏统一标准,不便治理管控,也更加消耗人力和物力。从2012年开始,携程技术中心推出基于ElasticSearch的日志系统,统一了日志的接入、ETL、存储和查询标准。随着业务量的增长,数据量膨胀到4

稳撑30+PB数据,携程10年日志系统治理演进之路

作者介绍Dongyu,资深云原生研发工程师,专注于日志与OLAP领域,主要负责携程日志平台和CHPaas平台的研发及其运维管理工作。本文将从以下五部分切入,讲述日志系统的演进之路:携程日志的背景和现状、如何搭建一套日志系统、从ElasticSearch到Clickhouse存储演进、日志3.0重构及未来计划。一、日志背景及现状图12012年以前,携程的各个部门日志自行收集治理(如图1)。这样的方式缺乏统一标准,不便治理管控,也更加消耗人力和物力。从2012年开始,携程技术中心推出基于ElasticSearch的日志系统,统一了日志的接入、ETL、存储和查询标准。随着业务量的增长,数据量膨胀到4

关于强化网络安全公共安全属性的提案

日前,全国政协委员、安天集团创始人肖新光向政协十四届全国委员会提交了一份《关于强化网络安全公共安全属性的提案》(征求意见稿),建议强化构建网络安全战略优势能力的目标导向,借鉴公共安全治理经验,渐进推动网络安全公共安全服务机制。以下是提案主要内容:一、提案背景新时期十年,我国网络安全体系和能力建设取得巨大成就。技术水平不断提升,产业规模持续扩大。二十大报告要求我们坚定不移贯彻总体国家安全观,对网络安全工作提出了更高要求。“构建全域联动、立体高效的国家安全防护体系。增强维护国家安全能力。”“筑牢国家安全人民防线。提高公共安全治理水平,坚持安全第一、预防为主,建立大安全大应急框架,完善公共安全体系,

关于强化网络安全公共安全属性的提案

日前,全国政协委员、安天集团创始人肖新光向政协十四届全国委员会提交了一份《关于强化网络安全公共安全属性的提案》(征求意见稿),建议强化构建网络安全战略优势能力的目标导向,借鉴公共安全治理经验,渐进推动网络安全公共安全服务机制。以下是提案主要内容:一、提案背景新时期十年,我国网络安全体系和能力建设取得巨大成就。技术水平不断提升,产业规模持续扩大。二十大报告要求我们坚定不移贯彻总体国家安全观,对网络安全工作提出了更高要求。“构建全域联动、立体高效的国家安全防护体系。增强维护国家安全能力。”“筑牢国家安全人民防线。提高公共安全治理水平,坚持安全第一、预防为主,建立大安全大应急框架,完善公共安全体系,

为啥集群小文件治理那么重要,你真的懂吗?

小文件是Hadoop集群运维中的常见挑战,尤其对于大规模运行的集群来说可谓至关重要。如果处理不好,可能会导致许多并发症。Hadoop集群本质是为了TB,PB规模的数据存储和计算应运而生的。为啥大数据开发都说小文件的治理重要,说HDFS存储小文件效率低下,比如增加namenode负载等,降低访问效率等?究竟本质上为什么重要?以及如何从本质上剖析小文件,治理小文件呢?今天就带你走进小文件的世界。1.什么是小文件?日常生产中HDFS上小文件产生是一个很正常的事情,有些甚至是不可避免,比如jar,xml配置文件,tmp临时文件,流式任务等都是小文件的组成部分。当然更多的是因为集群设置不合理,造成一些意

为啥集群小文件治理那么重要,你真的懂吗?

小文件是Hadoop集群运维中的常见挑战,尤其对于大规模运行的集群来说可谓至关重要。如果处理不好,可能会导致许多并发症。Hadoop集群本质是为了TB,PB规模的数据存储和计算应运而生的。为啥大数据开发都说小文件的治理重要,说HDFS存储小文件效率低下,比如增加namenode负载等,降低访问效率等?究竟本质上为什么重要?以及如何从本质上剖析小文件,治理小文件呢?今天就带你走进小文件的世界。1.什么是小文件?日常生产中HDFS上小文件产生是一个很正常的事情,有些甚至是不可避免,比如jar,xml配置文件,tmp临时文件,流式任务等都是小文件的组成部分。当然更多的是因为集群设置不合理,造成一些意

把握数据治理三大趋势,做强做优做大我国数字经济

在数字经济时代,数据既是新动力,也是新生产要素。党的十九届四中全会要求“健全劳动、资本、土地、知识、技术、管理、数据等生产要素由市场评价贡献、按贡献决定报酬的机制”,首次提出将“数据”作为生产要素参与分配。2022年12月19日,《中共中央 国务院关于构建数据基础制度更好发挥数据要素作用的意见》对外发布,为培育数据要素市场、发挥数据要素价值指明了方向。数据是数字经济发展的核心引擎,数据对于数字经济发展能产生多大促进作用,从根本上取决于数据治理从多大程度上促进了数据价值的释放。当前,我国数据治理主要呈现三大趋势,这3个趋势从不同层面相互补充,为数据要素市场建设奠定了基础。趋势一:数据要素登记日益

把握数据治理三大趋势,做强做优做大我国数字经济

在数字经济时代,数据既是新动力,也是新生产要素。党的十九届四中全会要求“健全劳动、资本、土地、知识、技术、管理、数据等生产要素由市场评价贡献、按贡献决定报酬的机制”,首次提出将“数据”作为生产要素参与分配。2022年12月19日,《中共中央 国务院关于构建数据基础制度更好发挥数据要素作用的意见》对外发布,为培育数据要素市场、发挥数据要素价值指明了方向。数据是数字经济发展的核心引擎,数据对于数字经济发展能产生多大促进作用,从根本上取决于数据治理从多大程度上促进了数据价值的释放。当前,我国数据治理主要呈现三大趋势,这3个趋势从不同层面相互补充,为数据要素市场建设奠定了基础。趋势一:数据要素登记日益

网易严选离线数仓治理实践

1、背景任何一个系统,为了保证其良好地运行下去,一定是需要持续的维护和治理,数仓也不例外。本文主要分享下今年严选数仓团队从规范、计存、质量、安全几块入手对现有数据资产进行的一些治理的思路和方案。网易严选是个自营品牌电商,这意味着严选的业务会覆盖C端的用户营销,商品到B端的供应链以及财务业务。业务和数据的整体复杂度会相对较高,各个不同业务域也呈现出不同的特点和问题。所以我们需要结合现有的资产特点去设计治理方法论和效果评估方法,然后围绕着治理方法论去建设我们的治理工具。治理开始前,先盘一下我们可用的资源,设计下整体的方向。从人力上来说,项目整体设计与推动大概可投入1.5人力,治理实施可以拉上资产对