第1章：数据仓库1.1数据仓库概述1.1.1数据仓库概念1、数据仓库概念：为企业制定决策，提供数据支持的集合。通过对数据仓库中数据的分析，可以帮助企业，改进业务流程、控制成本，提高产品质量。数据仓库并不是数据的最终目的地，而是为数据最终的目的地做好准备，这些准备包括对数据的：清洗、转义、分类、重组、合并、拆分、统计等。2、数据仓库的数据通常包括：业务数据、用户行为数据和爬虫数据等3、业务系统数据库（关系型数据库中）1）业务数据：主要指的是各行业在处理事务过程中产生的业务数据2）产生：用户在电商网站中登录、下单、支付等过程中，需要和网站后台数据库进行增删改查交互，产生的数据3）存储：都是存储到关
用户注册汇总表需求分析统计各窗口的注册用户数，写入Doris思路分析读取kafka用户注册主题数据转换数据结构string->JSONObject->javaBean使用user_info表中的数据代表用户注册设置水位线开窗聚合写入Doris具体实现创建用户注册统计类继承BaseApp,设置端口，并行度，kafka消费者组，kafka主题（Topic_user_register）启动zookeeper,HDFS,kafka,maxwell等框架测试能够收到数据stream.print()数据清洗过滤，并且转换数据结构为javaBeanJSONObject.parseObject(value);
Doris框架大规模并行处理的分析型数据库产品。使用场景：一般先将原始数据经过清洗过滤转换后，再导入doris中使用。主要实现的功能有：实时看板面向企业内部分析师和管理者的报表面向用户或者客户的高并发报表分析即席查询统一数仓构建：替换了原来由Spark,Hive，Kudu,Hbase等旧框架数据湖联邦查询：通过外表的方式联邦分析位于Hive，IceBerg,Hudi中的数据Doris架构后端：C语言编写的，用于数据查询前端：Leader,Follower,Oberserver部署注意事项磁盘空间按用户总数据量x3副本计算，然后再预留额外40%的空间。所有部署节点关闭swapFE节点数据至少为1
文章目录5.电商业务简介5.1电商业务流程5.2电商常识5.2.1SKU和SPU5.2.2平台属性和销售属性5.2.2.1平台属性5.2.2.2销售属性6.业务数据介绍6.2电商业务表6.2.1收藏商品6.2.2加购物车6.2.3领用优惠券6.2.4下单6.2.5支付6.2.6退单6.2.7退款6.2.8评价6.3后台管理系统6.3.1商品6.3.2活动6.3.3优惠券5.电商业务简介5.1电商业务流程 电商的业务流程可以以一个普通用户的浏览足迹为例进行说明，用户点开电商首页开始浏览，可能会通过分类查询也可能通过全文搜索寻找自己中意的商品，这些商品无疑都是存储在后台的管理系统中的。 当用户
一、背景介绍电商是移动互联网时代最重要的业务形式之一，目前主流的业务形态是B2C。在这个群雄逐鹿的年代，除了淘宝、京东、拼多多等头部电商以外，还活跃着众多的中小规模电商平台。笔者所在公司的电商APP就是其中一个，目前注册用户超过2亿，月活跃用户接近2000万。电商平台以APP作为载体，最重要的数据就是以订单为核心的结构化数据和以日志流为核心的半结构化数据，这也互联网业务最典型的应用场景。订单业务包括下单、支付、发货、物流、评价、退货等业务流程，但是都可以通过order_id串联起来，数据保存在关系型数据库中。我们这边通过MySQL分库分表方案承载订单相关的业务数据，目前积累了自系统上线以来的1
这个项目实在数据采集基础使用的,需要提前复习之前学的东西,否则的话就是很难继续学习.详见博客数据项目一---数据采集项目.大数据项目---数据采集项目_YllasdW的博客-CSDN博客大数据第一个项目笔记整理https://blog.csdn.net/m0_47489229/article/details/127477626目录一.采集项目架构二.用户采集平台三.业务采集架构四.后台商品管理表格5.电商业务表格6.采集项目压缩编码修改七.数仓简介八.范式第一范式第二范式第三范式九.维度建模和关系建模关系建模维度建模编辑维度表和事实表十.维度建模分类十一.数仓建模全过程（绝对重点）一.ODS
1、数据仓库概念数据仓库（DataWarehouse），是为企业制定决策，提供数据支持的。可以帮助企业，改进业务流程、提高产品质量等。数据仓库的输入数据通常包括：业务数据、用户行为数据和爬虫数据等。业务数据：就是各行业在处理事务过程中产生的数据。比如用户在电商网站中登录、下单、支付等过程中，需要和网站后台数据库进行增删改查交互，产生的数据就是业务数据。业务数据通常存储在MySQL、Oracle等数据库中。用户行为数据：用户在使用产品过程中，通过埋点收集与客户端产品交互过程中产生的数据，并发往日志服务器进行保存。比如页面浏览、点击、停留、评论、点赞、收藏等。用户行为数据通常存储在日志文件中。爬虫
👀日报&周刊合集|🎡生产力工具与行业应用大全|🧡点赞关注评论拜托啦！🤖『AI"取代"人类职业的路径顺序是怎样的？』岗位容错率是决定性指标人经过一段时间的讨论，类将因AI而大范围失业这一观点，我们已经达成一定共识。然而哪些岗位更危险呢？一般的划分方式都是按照「人」的能力来进行，比如受教育年限、智力复杂程度、技能/创造能力高低等。但是，AI的发展路径，怎么会遵守人的能力划分呢！推友fin给出了自己独到的见解。他认为，AI取代人类职业的顺序是：按照行业容错率排名，从高到低逐步取代。例如，写作、平面设计、公众号、创意图文、算命之类的行业，容错率高，所以会被最先取代；而医生、律师、半导体设计制造、火箭制
2023年开年，手机中端机市场便已经卷的热火朝天。今年2月份，一加品牌发布新机，把价格从旗舰机的三四千元起步，下降至2799元起，直指中端机市场。以一加品牌的此次行动拉开帷幕，此后，其他厂商也都有所行动，将竞争焦点转移到中端机市场上，纷纷在中端机市场中拼价格、拼性能。在过去两年，手机厂商们集体冲向高端，冲高端效果不佳后，国产厂商们要稳住基本盘和市场份额，就必须抓住中端机市场。事实上，中端机市场的竞争始终都是比较激烈的，而经历了2022年的低谷，2023年手机市场依然不容乐观，在高端卖不动的情况下，各手机厂商纷纷卷向中端机市场。结合相关数据，我们来看一下手机市场具体的销售表现。根据鲸参谋电商数据
文章目录1关系建模与维度建模（1）关系建模（2）维度建模2维度表和事实表（1）维度表（2）事实表事务型事实表周期型快照事实表累积型快照事实表3维度模型分类（1）星型模型（2）雪花模型（3）星座模型（4）模型的选择4数据仓库建模（1）ODS层（2）DIM层和DWD层选择业务过程声明粒度确定维度确认事实（3）DWS层与DWT层（4）ADS层1关系建模与维度建模如何规范数仓的表格，想要构建数仓，需要将数仓分层。某一层中存放哪些表，表里有哪里字段，这些事情就是通过建模来确定的。关系建模和维度建模是两种数据仓库的建模技术。关系建模由BillInmon所倡导，维度建模由RalphKimball所倡导。（1
