草庐IT

数仓建设

全部标签

五分钟技术趣谈 | 数据库容灾体系建设分析

Part01容灾介绍 我们通常会把故障分为三类,一是主机故障,二是机房故障,三是地域故障。每类故障都有各自的诱发因素,而从主机到机房再到地域,故障发生概率依次越来越小,而故障的影响却越来越大。图片容灾能力的建设目标是非常明确的,就是要能够应对和处理这种机房级和地域级的大规模故障,从而来保障业务的连续性。近几年,业界也发生了多次数据中心级别的故障,对相关公司的业务和品牌产生了非常大的负面影响。当前容灾能力已经成为众多企业建设信息化系统的必选项。Part02容灾架构演进 容灾架构从最早期的同城主备到同城多活形态,再演化到异地多活,根据这个过程可以将容灾分为容灾1.0、容灾2.0、容灾3.0三个阶段

HarmonyOS SDK开放能力,服务鸿蒙生态建设,打造优质应用体验

华为开发者大会2023(HDC.Together)于8月4日至6日在东莞松山湖举行,在HarmonyOS端云开放能力技术分论坛上,华为为广大开发者们介绍了HarmonyOSSDK开放能力在基础开发架构、功能特性等方面的变化之处,通过将常见的通用能力全局化,关键技术底层化,为开发者提供更加低成本、高效的开发体验,赋能开发者快速加入鸿蒙生态。一致的基础功能体验、低门槛高效的开发过程是HarmonyOSSDK开放能力最为重要的变化点,开发者无需单独集成每个能力的SDK,仅仅基于HarmonyOSSDK调用相应的API能力接口,即可快速实现各项功能的开发,应用包体积大小平均减少900KB,应用开发效率

[AI in security]-214 网络安全威胁情报的建设

文章目录1.什么是威胁情报2.威胁情报3.智能威胁情报3.1智能威胁情报的组成3.2整合威胁情报3.3最佳实践4.威胁情报的作用5.威胁情报模型6.反杀链模型7.基于TI的局部优势模型参考文献相关的研究1.什么是威胁情报威胁情报是循证知识,包括环境、机制、指标、意义和可行性建议,现有的或新兴的、对资产的威胁或危害,可用于主体对威胁或危害的反应做出明确决定威胁情报就是收集、评估和应用关于安全威胁、威胁分子、攻击利用、恶意软件、漏洞和漏洞指标的数据集合2013年5月16日,Gartner给出了威胁情报的定义:“Threatintelligenceisevidence-basedknowledge,

数据中台建设的必要性,其实应该这么看!

对于很多企业来说,经常把数字化转型和数据中台这种大工程、大项目“划”等号,从而对转型工作望而却步,错失良机。实际上,数字化转型的门槛并没有那么高,即使不建设中台,通过“单点”转型的方式,也能达到很好的效果;反过来说,构建中台也并不一定是个必选项,要从风险、经济、业务等多个维度进行综合评价是否需要。数据中台,本质是数据能力的开放和共享:开放,强调的是实现各业务、各部门数据资源汇聚协同的技术载体;共享,强调的是实现基于属于源加工成形后的数据产品在组织内简单、敏捷的广泛应用。不少企业在构建了数据中台后,源端系统的数据接不进来,即使接进来,数据质量也不足以有效推动数字化应用。导致数据中台以建成为目标,

质量基础设施“一站式”服务平台建设,NQI系统开发方案

质量基础设施“一站式”服务平台建设,综合运用计量、标准、认证、特种设备、产品质量、知识产权等各项职能,通过平台服务、精准服务、专家服务、嵌入式服务等手段,助力产业提质升级做大做强。质量基础设施“一站式”服务平台建设解决方案:一、全业务一站线上办理1、建立业务登记、进度查询、报告打印、物流查询、满意度评价等服务流程;2、通过NQI平台便可办理计量、标准化、合格评定(认证与检验检测)NQI三大支柱业务;3、实现计量、检验、特种设备业务的全流程网上办理,标准、认证认可、知识产权等业务网上转接办理咨询。二、系统无缝连接1、平台和具备条件的基础业务服务机构实现系统对接,企业在平台报检后,通过接口传递给计

「数仓建设篇」数仓主题域划分

大家好,本篇聊一下数仓建设,讲一下面试常遇到的主题域与主题划分,更多精彩文章优先从微信公众号《大数据阶梯之路》首发,欢迎关注,公众号回复:大数据数仓资料,可以获取大数据数仓相关学习资料。一、前言数据仓库具有面向主题的特性,那么就会有主题的概念,数仓建设是遵循纵向分层开发,横向划分主题域设计,数仓分层就不在这次谈了,这次我会结合本人数仓工作实践总结的经验来聊聊数仓主题域划分,同时会引申出主题划分,和数据域是什么,业务过程等。这个对于数仓工程师来说是必备的能力,比如当你面临着一个新业务的开启,需要从0到1开始搭建数据仓库或者数据集市,这时候就要考虑到主题域和主题的合理划分。二、数仓建设的步骤1.业

「数仓建设篇」数仓主题域划分

大家好,本篇聊一下数仓建设,讲一下面试常遇到的主题域与主题划分,更多精彩文章优先从微信公众号《大数据阶梯之路》首发,欢迎关注,公众号回复:大数据数仓资料,可以获取大数据数仓相关学习资料。一、前言数据仓库具有面向主题的特性,那么就会有主题的概念,数仓建设是遵循纵向分层开发,横向划分主题域设计,数仓分层就不在这次谈了,这次我会结合本人数仓工作实践总结的经验来聊聊数仓主题域划分,同时会引申出主题划分,和数据域是什么,业务过程等。这个对于数仓工程师来说是必备的能力,比如当你面临着一个新业务的开启,需要从0到1开始搭建数据仓库或者数据集市,这时候就要考虑到主题域和主题的合理划分。二、数仓建设的步骤1.业

【从0开始离线数仓项目】——数据仓库的环境搭建(1)

目录一、服务器环境准备1.2编写集群分发脚本xsync1.3SSH无密登录配置1.4JDK准备1.5环境变量配置说明二、集群所有进程查看脚本三、Zookeeper安装3.1分布式安装部署3.2ZK集群启动停止脚本3.3客户端命令行操作一、服务器环境准备CentOS7怎么从命令行模式切换到图形界面模式切换至root权限:sudosu-  准备三台虚拟机,虚拟机配置要求如下:(1)单台虚拟机:内存4G,硬盘50G(2)修改克隆虚拟机的静态IP[root@hadoop102~]#vim/etc/sysconfig/network-scripts/ifcfg-ens33改成DEVICE=ens33TY

汽车之家页面性能监控建设实践

1前言关注用户体验,提高页面性能,是每位前端研发同学的日常工作之一。提高页面性能对业务的帮助,虽不易衡量,但肯定是利远大于弊。如何衡量页面性能优劣?如何帮助研发同学快速定位到页面性能瓶颈点?一直是前端的重点工作之一。本文分享汽车之家在页面性能监控建设方面的部分工作,主要包含三方面:技术选型该选择哪些页面性能监控技术方案?在尽可能不影响页面性能的前提下,既能客观、全面衡量页面性能,又能帮助研发同学快速定位性能瓶颈点,该采集哪些指标?SPA应用非首页性能该如何评估?在尽可能不影响页面性能和保证采集数据精准性的前提下,尽量多地采集和上报数据,如何选择合适的指标采集时机和上报方式?整体架构设计整合选中

实战攻防之积极防御体系建设 | 中睿天下受邀参与诸子云沙龙

7月8日,中睿天下受邀参与由诸子云举办的“网络与数据安全”主题沙龙,中睿天下技术经理徐丹丹就《实战攻防之积极防御体系建设》这一主题进行了分享交流。本次沙龙由南京分会会长宋士明主持,活动邀请到BASF、江苏省联社、华泰证券、宁证期货、星图金融、苏宁易购、江苏省联合征信有限公司、正大天晴药业、上海雷龙信息科技、ZTE、港口科技公司、希音等企业的安全专家参与。实战攻防能力逐渐成为网络安全常态化需求自2016年起,随着《网络安全法》的颁布,网络安全实战化攻防演练已成为重要的工作内容。根据该法规定,关键信息基础设施的运营者应“制定网络安全事件应急预案,并定期进行演练”。国家层面推行网络安全实战化攻防演练