草庐IT

数仓架构

全部标签

SonarQube系列-架构与外部集成

介绍Sonar是一个代码质量管理的开源平台,基于Java开发的,用于管理源代码的质量,通过插件形式,可以支持包括java、C#、JavaScript等二十余种编程语言的代码质量管理与检测。它具有免费的社区版本和其他付费版本。SonarQube之采购选型参考利用SonarQube的主要好处是:它集成了数千种自动的静态代码分析规则,旨在提高开发人员的代码质量和安全性,使得开发人员编写更加干净,更加安全的代码。主要提供了三个比较大的功能:代码可靠性支持:提前捕获和提示代码中的错误,从而避免未定义的行为影响到终端用户。应用安全支持:修复可能危害到应用程序的漏洞,并通过安全热点学习AppSec(简单理解

Flink 架构学习总结

Flink是一个分布式系统,要求有效地分配和管理计算资源以执行流式应用程序。它集成了所有常见的集群资源管理器,如HadoopYARN和Kubernetes,但也可以设置为作为standalone甚至库运行。本节概述了Flink的体系结构,并描述了其主要组件如何交互以执行应用程序以及从故障中恢复。Flink集群解析Flink运行时由两种类型的进程组成:一个JobManager和一个或多个TaskManager。Client不是运行时和程序执行的一部分,而是用于准备数据流并将其发送到JobManager。之后,Client可以断开连接(分离模式),或者保持连接以接收进度报告(附加模式)。Clien

软考高级系统架构设计师系列论文六十九:论信息系统的安全风险评估

一、信息系统相关知识点软考高级信息系统项目管理师系列之四十三:信息系统安全管理软考高级系统架构设计师:系统安全分析与设计

[架构之路-211]- 需求- 软架构前的需求理解:ADMEMS标准化、有序化、结构化、层次化需求矩阵 =》需求框架

目录前言:一、什么是ADMES:首先,需求是分层次的:其次,需求是有结构的,有维度的再次,不同层次需求、不同维度需求之间可以相互转化(难点、经验积累)最终,标准化的ADMEMS需求矩阵二、软架构前的需求理解1.目标2.时机3. 四个步骤三、最佳实践过程第一步:获取业务功能需求第二步-1:获取质量属性1.开发期质量2.运行期质量 第二步-2:分析约束影响第三步:确定关键性需求(对架构设计影响较大的需求)1.确定关键功能启发规则,可以借鉴四象限法,下面是4个启发规则:2.确定关键约束3.确定关键质量(影响架构设计的质量需求)第四步:将约束衍生为质量属性及功能、将质量属性衍生为功能需要第五步:将关键

电子商务平台技术选型和架构设计

作者:禅与计算机程序设计艺术1.简介在这个时代,在线购物网站和电子商务平台已经成为促进互联网经济增长、服务用户和客户的重要平台。如何搭建一个具备高可用性、安全可靠的电商系统,是一个复杂的工程。作为一名技术人员,我们需要了解当前最新的电商平台架构,并对它们进行选择和优化,来满足我们的业务需求。本文将通过“十八篇”的方式,从基础知识、数据库、前端、后端、中间件、缓存、搜索引擎、消息队列等多个角度,带领读者掌握现代电商平台架构的核心技术细节。阅读完本文,读者可以了解到电商系统技术选型和架构设计的基本流程、关键技术点、利弊权衡,并能够合理地进行技术选型,构建自己的电商系统。2.核心概念及术语2.1概念

服务化架构的社区建设:建立行业影响力和人脉资源

作者:禅与计算机程序设计艺术服务化架构的社区建设:建立行业影响力和人脉资源背景介绍随着互联网行业的迅速发展,各种应用和服务层出不穷。服务化架构作为一种有效的技术手段,逐渐被广泛应用于各个领域。服务化架构的核心思想是将复杂的服务通过API的形式提供给客户,让客户可以方便地使用和维护。然而,在服务化架构的实践中,如何建立一个良好的社区环境,以增加系统的可维护性、可扩展性和影响力,成为了一个亟待解决的问题。文章目的本文旨在探讨服务化架构的社区建设,为开发者提供有价值的实践经验和技术指导。本文将阐述服务化架构的基本概念、实现步骤与流程、应用示例以及优化与改进等方面的内容,帮助读者更好地理解服务化架构的

企业智能应用架构设计

作者:禅与计算机程序设计艺术1.简介随着互联网、移动互联网、物联网等新型信息化技术的飞速发展,越来越多的企业把目光转向了智能化应用建设。由于需求的迅猛增长和市场的巨变,传统的软件开发模式已经不能满足企业对快速响应和高效率的需求。因此,企业需要在不断扩大硬件投入的同时,加强软件工程师的研发能力,全面掌握服务端开发、数据分析和机器学习算法的设计。但是,如何更好的构建智能应用架构体系,才能真正让企业实现数字化转型?本文将从“基于云计算”、“容器技术”、“微服务架构”三个方面介绍企业智能应用架构的设计方法论及其具体过程,力争在提供通用架构设计思路基础上,还原企业实际应用中遇到的问题,展望智能应用的未来

编译基于armV8架构的opencv,并在rock3a开发板上运行

近期在基于arm开发板做图像识别任务开发时,需要用到Opencv库之前在做rknpu开发时,开发sdk里面已经集成了opencv但是该opencv开发包不能实现imshow/VideoCapture等函数,经过调研,决定对opencv源代码进行编译,生成armv8架构可以使用的开发包第一部下载opencv:opencv的下载路径为  https://opencv.org/releases/ 这里下载3.x版本的 至于为什么用这个版本,我不得而知,因为之前用的就是3.x版本。目标我也不知道4.x版本和3.x版本之间的区别是什么。第二步就是下载armv8平台上的gcc和g++编译器这里的aarch

【深入浅出SpringCloud原理及实战】「SpringCloud-Alibaba系列」微服务模式搭建系统基础架构实战指南及版本规划踩坑分析

前提介绍SpringCloud-Alibaba致力于提供微服务开发的一站式解决方案。此项目包含开发分布式应用服务的必需组件,方便开发者通过SpringCloud编程模型轻松使用这些组件来开发分布式应用服务。依托SpringCloudAlibaba,您只需要添加一些注解和少量配置,就可以将SpringCloud应用接入阿里分布式应用解决方案,通过阿里中间件来迅速搭建分布式应用系统。此外,阿里云同时还提供了SpringCloudAlibaba企业版微服务解决方案,包括无侵入服务治理(全链路灰度,无损上下线,离群实例摘除等),企业级Nacos注册配置中心和企业级云原生网关等众多产品。SpringCl

大数据Flink简介与架构剖析并搭建基础运行环境

文章目录前言Flink简介Flink集群剖析Flink应用场景Flink基础运行环境搭建Docker安装docker-compose文件编写创建并运行容器访问Flinkweb界面前言前面我们分别介绍了大数据计算框架Hadoop与Spark,虽然他们有的有着良好的分布式文件系统和分布式计算引擎,有的有着分布式数据集和基于内存的分布式计算引擎,但是却不能对无边界数据流进行有效处理,今天我们就分享一个第四代大数据分布式计算框架Flink简介与架构剖析并搭建基础运行环境Flink简介ApacheFlink是一个框架和分布式处理引擎,用于在无边界和有边界数据流上进行有状态的计算。Flink能在所有常见集