ODS、DWD、DWS、DIM、ADS 数据仓库分层_Hadoop_大数据知识库首页 问答库 知识库 教程库 标签 导航 书籍 登录注册投稿ODS、DWD、DWS、DIM、ADS 数据仓库分层x33g5p2x 于2020-08-11 发布在 Hadoop 字(0.9k)|赞(0)|评价(0)|浏览(19031)1.ODS：操作数据层 Operation Data StoreODS层属于操作数据层，是直接从业务系统采集过来的最原始的数据，包含了所有业务的变更过程，数据粒度也是最细的。eg:创建启动日志表ods_start_log2.DWD: 明细数据层 Data Warehouse Detail数据明细详情，去除空值，脏数据，超过极限范围的明细解析。是在ODS层基础上，根据业务过程建模出来的实时事实明细层，对于访问日志这种数据，会回流到离线系统供下游使用，最大程度地保证实时和离线数据ODS层和DWD层一致。对ODS层数据进行清洗（去除空值，脏数据，超过极限范围的数据，行式存储改为列存储，改压缩格式）eg:两个临时表： dwd_base_event_log、dwd_base_start_log建多张表外部表: 以日期分区,dwd_base_event_log在这张表中根据event_name将event_json中的字段通过get_json_object函数一个个解析开来;DWD层创建基础明细表明细表用于存储ODS层原始表转换过来的明细数据。3.DWS：汇总数据层 data warehouse service服务层--留存-转化-GMV-复购率-日活 、点赞、评论、收藏;轻度聚合对DWD订阅明细层数据后，会在实时计算任务中计算各个维度的汇总指标。如果维度是各个垂直业务线通用的，则会放在实时通用汇总层，作为通用的数据模型使用。目标：统计当日、当周、当月活动的每个设备明细eg：建表dws_uv_detail_day4.DIM 公共维度层实时维表层的数据基本上都是从离线维表层导出来的，抽取到在线系统中供实时应用调用。5.ADS：应用数据层 Application Data Store做分析处理同步到RDS数据库里边个性化维度汇总层，对于不是特别通用的统计维度数据会放在这一层中，这里计算只有自身业务才会关注的维度和指标。目标：当日、当周、当月活跃设备数 使用 day_count表 join wk_count join mn_count , 把3张表连接一起eg：建表ads_uv_count表内容来源于网络，如有侵权，请联系作者删除！数据仓库 关注 举报相关文章643浏览数据仓库环境 Hadoop字数 (6.9k)浏览 (643)点赞 (0)评价 (0)2020-10-10 262浏览 Hadoop数据仓库之数据治理 数据仓库hadoop数据仓库big data Hadoop字数 (1.2k)浏览 (262)点赞 (0)评价 (0)2021-11-09 219浏览 Hadoop数据仓库之数据治理 数据仓库hadoop数据仓库big data Hadoop字数 (1.2k)浏览 (219)点赞 (0)评价 (0)12个月前 314浏览 Hadoop之数据仓库概述 数据仓库大数据hadhadoopspark Hadoop字数 (4.8k)浏览 (314)点赞 (0)评价 (0)2021-09-19 89浏览数据仓库入门介绍 数据仓库数据仓库hadoop大数据 其他字数 (4.5k)浏览 (89)点赞 (0)评价 (0)6个月前 1391浏览 4万字全面掌握数据库, 数据仓库, 数据集市,数据湖,数据中台 数据仓库数据集市数据湖数据中台 Hadoop字数 (41.1k)浏览 (1391)点赞 (0)评价 (0)2020-11-09 298浏览 大数据Hive系列之Hive数据仓库部署 数据仓库Hive大数据 其他字数 (3.6k)浏览 (298)点赞 (0)评价 (0)2021-12-25 154浏览 云小课｜大数据时代的隐私利器-GaussDB(DWS)数据脱敏 华为助力企业上云数据仓库大数据数据脱敏华为云数据安全 其他字数 (2.7k)浏览 (154)点赞 (0)评价 (0)2021-11-11 99浏览 云小课｜打造企业数据“高内聚，低耦合”--试试GaussDB(DWS)逻辑集群，实现数据物理隔离 华为助力企业上云ei企业智能数据仓库gaussdb云小课逻辑集群 其他字数 (1.7k)浏览 (99)点赞 (0)评价 (0)2021-11-25 108浏览 信管知识梳理（二）常规信息系统集成技术（网络协议、网络存储技术、网络工程、数据仓库和中间件） 其他字数 (5.5k)浏览 (108)点赞 (0)评价 (0)10个月前 178浏览 镜像分层之Dockerfile dockerredis数据库缓存 Docker字数 (2.7k)浏览 (178)点赞 (0)评价 (0)2021-11-29 260浏览 【四】远程仓库git 教程GitGitHubgitlabgitee 其他字数 (1.9k)浏览 (260)点赞 (0)评价 (0)2021-12-18 157浏览 git源码仓库学习 git学习GitGitHub 其他字数 (6.5k)浏览 (157)点赞 (0)评价 (0)2021-11-22 149浏览 Maven添加远程仓库（六） maven教程 其他字数 (0.8k)浏览 (149)点赞 (0)评价 (0)2021-12-18 65浏览 详解GaussDB(DWS)的CPU资源隔离管控能力 技术交流华为助力企业上云gaussdbcgroupcpu资源管控线程 其他字数 (7.2k)浏览 (65)点赞 (0)评价 (0)7个月前 查看更多热门标签更多JavaquerypythonNode开发语言requestUtil数据库Table后端算法LoggerMessageElementParser最新文章更多大规模 Hadoop 升级在 Pinterest 的实践浏览(101) 发布于 5个月前Hadoop集群搭建浏览(82) 发布于 5个月前Hadoop和关系型数据库间的数据传输工具——Sqoop浏览(150) 发布于 6个月前hadoop伪分布式和完全分布式配置浏览(146) 发布于 7个月前【Hadoop】10、Flume组件浏览(116) 发布于 8个月前目录1.ODS：操作数据层 Operation Data Store2.DWD: 明细数据层 Data Warehouse Detail3.DWS：汇总数据层 data warehouse service4.DIM 公共维度层5.ADS：应用数据层 Application Data Store技术知识关于我们联系我们免责声明蜀ICP备13028337号-1 大数据知识库 https://www.saoniuhuo.com © All rights reserved本站内容来源互联网,如果侵犯您的权益请联系我们删除, 联系方式：448109455@qq.com