草庐IT

数仓建设

全部标签

测试体系建设(一)

topic:如何更好地保证质量?一、测试左移1需求评审阶段:精读prd,提出需求设计不合理的问题2技术反讲阶段:精读技术文档,学习前后端知识,提出技术设计不合理的地方3用例设计阶段:从正向、反向、异常等角度更精细地设计测试点,考虑场景测试,边缘测试case4测试方案设计阶段:覆盖接口测试、功能测试、兼容性测试、性能测试等专项测试,后续引入单元测试5测试之前,准备测试数据,设计接口用例,制定压测指标等6开发联调阶段,通过布道、postman覆盖正常、异常场景的接口测试7提测前,引入单元黑盒测试二、卡点:showcase阶段1showcaseP0用例覆盖100%重点场景,在用例评审阶段和开发达成共

云栖大会|小米大数据运维管理体系的建设与实践

前言前段时间,很荣幸能参加云栖大会,并分享交流一个议题,接下来我们来回顾一下介绍这次给大家带来的题目是《小米大数据运维管理体系的建设和实践》今天整个分享分两部分,第一部分我们先来聊聊大数据运维数字化转型相关的内容看看运维层面如何做到化繁为简,打造极致效率的;紧接着第二部分,会给大家介绍一下小米大数据的技术架构大家可以从中了解到小米怎样应对海量数据挑战的。服务定位为了帮助大家理解,我们先来简单聊一聊小米服务的架构整个业务架构按照云计算的分层模型来说分为三层,依次是iass层、pass层、sass层小米的iass层是一个混合云的现状,涉及IDC、公有云、网络等资源小米的saas层不仅包含战略业务手

云栖大会|小米大数据运维管理体系的建设与实践

前言前段时间,很荣幸能参加云栖大会,并分享交流一个议题,接下来我们来回顾一下介绍这次给大家带来的题目是《小米大数据运维管理体系的建设和实践》今天整个分享分两部分,第一部分我们先来聊聊大数据运维数字化转型相关的内容看看运维层面如何做到化繁为简,打造极致效率的;紧接着第二部分,会给大家介绍一下小米大数据的技术架构大家可以从中了解到小米怎样应对海量数据挑战的。服务定位为了帮助大家理解,我们先来简单聊一聊小米服务的架构整个业务架构按照云计算的分层模型来说分为三层,依次是iass层、pass层、sass层小米的iass层是一个混合云的现状,涉及IDC、公有云、网络等资源小米的saas层不仅包含战略业务手

离线数仓-伪分布虚拟机 (所有组件部署完成,全流程运行成功)(数仓4.0-2.0,CDH)

离线数仓-伪分布虚拟机(所有组件部署完成,全流程运行成功)(数仓4.0-2.0,CDH)所有组件部署好的镜像下载(在下面),仅供参考学习。(百度网盘,微云下载…)博主通过学习尚硅谷数仓项目,将部署好的数仓虚拟机打包成ovf文件,由于博主电脑内存较小,博主使用了伪分布式集群搭建,全流程运行成功。分享虚拟机镜像文件给予大家学习。搭建数仓只需一台虚拟机,且最低配置(内存:3G,磁盘:20G,CUP:1,Linux最小化安装)导入镜像的前提设置记得跟博主设置一样的IP不然可能会出现集群无法使用修改虚拟机IP根据下图参考修改镜像ovf文件的导入VMware导入ova/ovf虚拟机文件镜像ovf下载(将下

离线数仓-伪分布虚拟机 (所有组件部署完成,全流程运行成功)(数仓4.0-2.0,CDH)

离线数仓-伪分布虚拟机(所有组件部署完成,全流程运行成功)(数仓4.0-2.0,CDH)所有组件部署好的镜像下载(在下面),仅供参考学习。(百度网盘,微云下载…)博主通过学习尚硅谷数仓项目,将部署好的数仓虚拟机打包成ovf文件,由于博主电脑内存较小,博主使用了伪分布式集群搭建,全流程运行成功。分享虚拟机镜像文件给予大家学习。搭建数仓只需一台虚拟机,且最低配置(内存:3G,磁盘:20G,CUP:1,Linux最小化安装)导入镜像的前提设置记得跟博主设置一样的IP不然可能会出现集群无法使用修改虚拟机IP根据下图参考修改镜像ovf文件的导入VMware导入ova/ovf虚拟机文件镜像ovf下载(将下

数仓安全测试之SSRF漏洞

摘要:SSRF(Server-SideRequestForgery,服务器端请求伪造)是指由攻击者构造请求,然后利用服务器的漏洞以服务端的身份向内网发送请求对内网发起攻击。本文分享自华为云社区《GaussDB(DWS)安全测试之SSRF漏洞》,作者:ACBD。1.什么是SSRF漏洞SSRF(Server-SideRequestForgery,服务器端请求伪造)是指由攻击者构造请求,然后利用服务器的漏洞以服务端的身份向内网发送请求对内网发起攻击。一般情况下,SSRF攻击的目标是外网无法访问的内部系统,因为请求是服务端发起的,所以服务端就能请求到与其网络通畅而与外网隔离的内网系统。SSRF漏洞的形

数仓安全测试之SSRF漏洞

摘要:SSRF(Server-SideRequestForgery,服务器端请求伪造)是指由攻击者构造请求,然后利用服务器的漏洞以服务端的身份向内网发送请求对内网发起攻击。本文分享自华为云社区《GaussDB(DWS)安全测试之SSRF漏洞》,作者:ACBD。1.什么是SSRF漏洞SSRF(Server-SideRequestForgery,服务器端请求伪造)是指由攻击者构造请求,然后利用服务器的漏洞以服务端的身份向内网发送请求对内网发起攻击。一般情况下,SSRF攻击的目标是外网无法访问的内部系统,因为请求是服务端发起的,所以服务端就能请求到与其网络通畅而与外网隔离的内网系统。SSRF漏洞的形

数仓安全测试之SSRF漏洞

摘要:SSRF(Server-SideRequestForgery,服务器端请求伪造)是指由攻击者构造请求,然后利用服务器的漏洞以服务端的身份向内网发送请求对内网发起攻击。本文分享自华为云社区《GaussDB(DWS)安全测试之SSRF漏洞》,作者:ACBD。1.什么是SSRF漏洞SSRF(Server-SideRequestForgery,服务器端请求伪造)是指由攻击者构造请求,然后利用服务器的漏洞以服务端的身份向内网发送请求对内网发起攻击。一般情况下,SSRF攻击的目标是外网无法访问的内部系统,因为请求是服务端发起的,所以服务端就能请求到与其网络通畅而与外网隔离的内网系统。SSRF漏洞的形

数仓安全测试之SSRF漏洞

摘要:SSRF(Server-SideRequestForgery,服务器端请求伪造)是指由攻击者构造请求,然后利用服务器的漏洞以服务端的身份向内网发送请求对内网发起攻击。本文分享自华为云社区《GaussDB(DWS)安全测试之SSRF漏洞》,作者:ACBD。1.什么是SSRF漏洞SSRF(Server-SideRequestForgery,服务器端请求伪造)是指由攻击者构造请求,然后利用服务器的漏洞以服务端的身份向内网发送请求对内网发起攻击。一般情况下,SSRF攻击的目标是外网无法访问的内部系统,因为请求是服务端发起的,所以服务端就能请求到与其网络通畅而与外网隔离的内网系统。SSRF漏洞的形

vivo 手机云服务建设之路-平台产品系列04

一、背景几乎每家手机厂商都为用户提供了信息存储的云服务能力。通过一个账号,用户可以将手机系统中的各种常用的信息备份到云端,以便后续在合适的时间点查看或恢复自身的数据。然而由于用户量级巨大,服务在设计系统的时候需要考虑的因素特别多,比如如何保证服务的稳定性,如何保证大文件的传输效率,以及如何保证用户文件的数据持久性等等。除此之外,随着越来越多的终端用户开始使用vivo云服务,存储和计算的成本也与日俱增。可能有部分人了解,某些手机厂商的云服务产品年度亏损数亿级别,而主要成本之处来自用户私人文件的存储成本。另外,在安全方面,云服务在这块需要承担的使命更是重中之重。某些厂商的云服务曾经出现过用户数据泄