数仓模型设计详细讲解
前言
今天给大家分享下数仓中的模型设计,一个好的数仓项目首先看一下它的架构以及他所用到的模型,它们使用的模型也都是非常巧妙的,好了,我们话不说到直接开始。
一、维度建模基本概念
维度模型是数据仓库领域大师Ralph Kima数仓ll所倡导,他的《数据仓库工具箱》,是数据仓库工程领域最流行的数仓建模经典。维度建模以分析决策的需求出发构建模型,构建的数据模型为分析需求服务,因此它重点解决用户如何更快速完成分析需求,同时还有较好的大规模复杂查询的响模型应性能。
维度建模是专门应用于分析型数据库、数据仓库、数据集市建模的方法。数据集市可以理解为是一种小型数据仓库。
1.1 事实表
发生在现实世界中的操作型事件,其所产生的可度量数值,存储在事实表中。从最低的粒度级别来看,事实设计表行对应一个度量事件,反之亦然。
事实表表示对分析主题的度量。比如一次购买行为我们就可以理解为是一个事实。
图中的订单表就是一个事实表,可以理解他就是在现实中发生的一次操作型事件,每完成一个订单,就会在订单中增加一条记录。
事详细实表的特征:表里没有存放实际的内容,他是一堆主键的集合,这些ID分别能对应到维度表中的一条记录。事实表包含了与各维度表相关联的外键,可与维度表关联。事实表的度量通常是数值类型(条/个/次),且记录数会不断增加,表数据规模迅速增讲解长。
1.2 维度表
维度表示要对数据进行分析时所用的一个量,比如你要分析产品销售情况, 你可以选择按类别进行分析,或按区域分析。这样的按..分析就构成一个维度。上图中的用户表、商家表、时间表这些都属于维度表。这些表都有一个唯一的数仓主键,然后在表中存放了详细的数据信息。
例如:交易金额分析分析
男性用户的订单金额、联想商品的订单金额、第一季度的订单金额、手机的订单金额、家里下单的订单金额
例如:学生分析
姓张的同学有多少、男性的同学有多少、江苏的同学有模型多少、身高小于170cm的同学有多少、年龄小于23岁的同学有多少。
每个维度表都包含单一的主键列。维度表的主键可以作为与之关联的任何事实表的外键,当然,维度表行的描述环境应与事实表行完全对应。维度表通常比较宽,是扁平型非规范表,设计包含大量的低粒度的文本属性。
总的说来,在数据仓库中不需要严格遵守规范化设计原则。因为数据仓库的主导功能就是面向分析,以查询为主,不涉及数据更新操作。
事实表的设计是以能够正确记录历史信息为准则。
维度表的设计是以能够以合适的角度详细来聚合主题内容为准则。
二、维度建模三种模式
2.1 星型模型
星形模式(Star Schema)是最常用的维度建模方式。星型模式是以事实表为中心,所有的维度表直接连接在事实表上,像星星一样。
星形模式的维度建模由一个事实表和一组维表成,讲解且具有以下特点:
维表只和事实表关联,维表之间没有关联; 每个维表主键为单列,且该主键放置在事实表中,作为两边连接的外键; 以事实表为核心,维度表围绕核心呈星形分布
2.2 雪花模式
雪花模式(Snowflake Schema)是对星形数仓模式的扩展。雪花模式的维度表可以拥有其他维度表的,虽然这种模型相比星型更规范一些,但是由于这种模型不太容易理解,维护成本比较高,而且性能方面需要关联多层维表,性能也比星型模型要低。所以一般不是很常用。
2.3 星座模模型式
星座模式是星型模式延伸而来,星型模式是基于一张事实表的,而星座模式是基于多张事实表的,而且共享维度信息。
前面介绍的两种维度建模方法都是多维表对应单事实表,但在很多时候维度空间内的事实表不止一个,而一个维表也可能被多个事实表用设计到。在业务发展后期,绝大部分维度建模都采用的是星座模式。
总结
好了本篇文章就分享到这里了,本篇文章主要讲解了维度模型三种模式,在设计数仓的时候尽量将表设计为星星模型和雪花模型这样的话我们在实现功能的时候就比较简单,原因详细是星星模型和雪花模型架构基本上是一对多的。信自己,努力和汗水总会能得到回报的。我是大数据老哥,我们下期见~~~。
- ·特斯拉车机语音大模型在沪完成备案,智能座舱体验迎来AI升级
- ·标签: 爱玛科技 零际 国际事业部
- ·标签: 菜鸟 德国曼海姆电池仓 欧洲税改 中国出海新三样
- ·标签: 小红书 AI治理 AI内容标识 AI违规运营
- ·外媒:亚马逊AWS存储业务今年营收将超过80亿美元 有望达到100亿美元
- ·Sora2免费狂欢!Lovart一键解锁无水印AI视频,5天5+1次Pro生成,Pro会员无限刷屏
- ·消息称芯片代工巨头格芯已秘密申请上市 英特尔收购希望渺茫
- ·标签: 金山办公 WPS AI 365
- ·英特尔赢得芯片诉讼,避免了30亿美元赔偿
- ·标签: 许单单 拉勾网 AI创业 幸福课程
- ·OpenAI 在美国新建五个数据中心,推动 Stargate 项目快速发展
- ·OpenAI启动万亿级算力扩张计划,AI 基础设施迎来超级时代!
- ·数仓 | Kimball的维度建模过时了吗?
- ·标签: 传奇生物 CARVYKTI® 杨森 细胞疗法
- ·标签: 美光科技 HBM4 HBM4E 1γ工艺
- ·承诺不利用大数据“杀熟”!京东、美团等10平台签署承诺书
- ·https://www.solerpalau.com/en-en/catalogsearch/result/?q=谷歌留痕外推【tg:seogoogle987】,vWL
- ·https://www.whatsonstage.com/search?cat=64&term=谷歌留痕外推【tg:seogoogle987】,ixu
- ·https://www2.ual.es/ProyectoLates/?s=谷歌留痕外推【tg:seogoogle987】,gDK
- ·https://www.universal-music.co.jp/?ID=1sIcckCTeBS8FjzCshAW9w53s8gr691o&s=谷歌留痕外推【tg:seogoogle987】,Irg
- ·https://www.youthforum.org/search-results?cx=4f5236218ab5e8ef9&ie=UTF-8&q=谷歌留痕外推【tg:seogoogle987】,LJm
- ·https://www.sweat.com/collections/vendors?q=谷歌留痕外推【tg:seogoogle987】,XJF
- ·https://www.scivee.tv/?s=谷歌留痕外推【tg:seogoogle987】,j98
- ·https://www.l-and-b.jp/?page=1&s=谷歌留痕外推【tg:seogoogle987】,jWc
- ·https://www.partilerdunyasi.com/index.php?route=product/search&tag=谷歌留痕外推【tg:seogoogle987】,nIP
- ·https://www.localfootdoc.com/?s=谷歌留痕外推【tg:seogoogle987】,JU4
- ·标签: 北京越野 BJ60增程版 罗永浩 疯狂动物城2
- ·标签: 猫箱 人工智能标识 剪映 即梦AI
- ·标签: iOS 26.3 小米 SU7 比尔·盖茨 GLM-5
- ·百度 PaddleOCR-VL 模型登顶全球 OCR 榜,连续五日领跑 Huggingface 趋势榜
- ·云安全日报210107:华为家用路由器发现拒绝服务漏洞,需要尽快升级
- ·马来西亚芯片突破!SkyeChip发布该国首款边缘AI处理器,摆脱对美依赖迈出关键一步
- ·标签: 字节 Seedance 2.0 即梦AI 豆包
- ·2021 十大 Python 机器学习库
- ·xAI Grok 儿童模式上线,构建全年龄段 AI 生态
- ·一图生动画,人物无缝替换!Wan-Animate开源引爆AI视频革命,阿里黑科技免费玩转?
