当前位置: 首页 > news >正文

建设部城管局网站百度一下官网首页网址

建设部城管局网站,百度一下官网首页网址,宁波网站建设哪家好,如何做网站营销层级 全拼 职责划分 ODS(源数据层) Operational DataStore ODS层存储最原始的数据, 对数据不做任何加工处理; 源数据主要来自业务数据库和日志,这些数据是用户操作业务系统产生,所以叫操作型数据(Operational Data) 。 DWD(…

 

层级

全拼

职责划分

ODS(源数据层)

Operational DataStore

ODS层存储最原始的数据, 对数据不做任何加工处理;

源数据主要来自业务数据库和日志,这些数据是用户操作业务系统产生,所以叫操作型数据(Operational Data) 。

DWD(明细层)

Data Warehouse Detail

DWD层的数据表是对ODS层数据表的关联、字段重命名、清洗、类型转换;

一般不做汇总操作和指标计算。

DWM(汇总层)

Data Warehouse Model

DWM数据层的表是对ODS层或DWV的数据表进行汇总和指标计算;

一般按业务主题组织轻度汇总数据,产出通用、稳定的预处理数据,尽可能多的满足数据需求,避免后期重复计算。

DM(集市层)

Data Mart

DM层数据表按业务主题组织高度汇总数据,产出统计报表;

该层面向最终的业务数据需求,复杂业务场景下可使用维度建模对该层做细化设计。

DIM(维度层)

Dimension

DIM层数据表主要存放维度数据;

维度数据是一些基础配置数据,比如城市表、类目表;

维度是对具体分析对象的分析角度,维度要具备丰富的属性,历史信息的可追溯性,对通用的维度要保持一致性,避免产生二义性。

数仓中的数据分层

数据加载层:ETL extract transform load 贯穿整个数仓

数据运营层 ODS operational data store

数据仓库层 DW data warehouse

数据明细层 DWD data warehouse detail

数据中间层 DWM data warehouse middle

数据服务层 DWS data warehouse server

数据应用层 APP Application

维表层 DIM dimension

 

一、数据运营层:ODS(Operational Data Store)

“面向主题的”数据运营层,也叫ODS层,是最接近数据源中数据的一层,数据源中的数据,经过抽取、洗净、传输,也就ETL 之后,装入本层。本层的数据,总体上大多是按照源头业务系统的分类方式而分类的。

一般来讲,为了考虑后续可能需要追溯数据问题,因此对于这一层就不建议做过多的数据清洗工作,原封不动地接入原始数据即可,至于数据的去噪、去重、异常值处理等过程可以放在后面的DWD层来做。

二、数据仓库层:DW(Data Warehouse)

数据仓库层是我们在做数据仓库时要核心设计的一层,在这里,从 ODS 层中获得的数据按照主题建立各种数据模型。DW层又细分为 DWD(Data Warehouse Detail)层、DWM(Data WareHouse Middle)层和DWS(Data WareHouse Servce)层。

1. 数据明细层:DWD(Data Warehouse Detail)

该层一般保持和ODS层一样的数据粒度,并且提供一定的数据质量保证。同时,为了提高数据明细层的易用性,该层会采用一些维度退化手法,将维度退化至事实表中,减少事实表和维表的关联。

另外,在该层也会做一部分的数据聚合,将相同主题的数据汇集到一张表中,提高数据的可用性。

2. 数据中间层:DWM(Data WareHouse Middle)

该层会在DWD层的数据基础上,对数据做轻度的聚合操作,生成一系列的中间表,提升公共指标的复用性,减少重复加工。

直观来讲,就是对通用的核心维度进行聚合操作,算出相应的统计指标。

3. 数据服务层:DWS(Data WareHouse Servce)

又称数据集市或宽表。按照业务划分,如流量、订单、用户等,生成字段比较多的宽表,用于提供后续的业务查询,OLAP分析,数据分发等。

一般来讲,该层的数据表会相对比较少,一张表会涵盖比较多的业务内容,由于其字段较多,因此一般也会称该层的表为宽表。

在实际计算中,如果直接从DWD或者ODS计算出宽表的统计指标,会存在计算量太大并且维度太少的问题,因此一般的做法是,在DWM层先计算出多个小的中间表,然后再拼接成一张DWS的宽表。由于宽和窄的界限不易界定,也可以去掉DWM这一层,只留DWS层,将所有的数据在放在DWS亦可。

三、数据应用层:APP(Application

在这里,主要是提供给数据产品和数据分析使用的数据,一般会存放在 ES、PostgreSql、Redis等系统中供线上系统使用,也可能会存在 Hive 或者 Druid 中供数据分析和数据挖掘使用。比如我们经常说的报表数据,一般就放在这里。

四、维表层(Dimension)

最后补充一个维表层,维表层主要包含两部分数据:

高基数维度数据:一般是用户资料表、商品资料表类似的资料表。数据量可能是千万级或者上亿级别。

低基数维度数据:一般是配置表,比如枚举值对应的中文含义,或者日期维表。数据量可能是个位数或者几千几万。

 


文章转载自:
http://output.c7617.cn
http://vlsm.c7617.cn
http://bullhorn.c7617.cn
http://scantly.c7617.cn
http://chylific.c7617.cn
http://yogini.c7617.cn
http://ponderous.c7617.cn
http://didynamous.c7617.cn
http://dioptre.c7617.cn
http://nauseous.c7617.cn
http://endarterectomy.c7617.cn
http://splodgy.c7617.cn
http://swimgloat.c7617.cn
http://demonetise.c7617.cn
http://puss.c7617.cn
http://groupthink.c7617.cn
http://smothery.c7617.cn
http://fluorescent.c7617.cn
http://anomaly.c7617.cn
http://haematinic.c7617.cn
http://symbolically.c7617.cn
http://portend.c7617.cn
http://medium.c7617.cn
http://bimotored.c7617.cn
http://autolysis.c7617.cn
http://eastwardly.c7617.cn
http://bucaramanga.c7617.cn
http://cotinga.c7617.cn
http://criticastry.c7617.cn
http://tetracycline.c7617.cn
http://residua.c7617.cn
http://artlessly.c7617.cn
http://polysaccharid.c7617.cn
http://sinpo.c7617.cn
http://potassic.c7617.cn
http://missaid.c7617.cn
http://vesicant.c7617.cn
http://iasi.c7617.cn
http://quietus.c7617.cn
http://gormand.c7617.cn
http://abnegation.c7617.cn
http://nonaligned.c7617.cn
http://recordative.c7617.cn
http://piroshki.c7617.cn
http://tetrawickmanite.c7617.cn
http://anhysteretic.c7617.cn
http://thrave.c7617.cn
http://polyangular.c7617.cn
http://globelet.c7617.cn
http://abash.c7617.cn
http://greycing.c7617.cn
http://nonterminating.c7617.cn
http://fathometer.c7617.cn
http://liposome.c7617.cn
http://pectinate.c7617.cn
http://leant.c7617.cn
http://plane.c7617.cn
http://agitator.c7617.cn
http://libratory.c7617.cn
http://hyetography.c7617.cn
http://maninke.c7617.cn
http://quadraphony.c7617.cn
http://vibratility.c7617.cn
http://movingly.c7617.cn
http://kaleidoscopic.c7617.cn
http://kohlrabi.c7617.cn
http://chemurgy.c7617.cn
http://ergative.c7617.cn
http://floristics.c7617.cn
http://liberticidal.c7617.cn
http://handcar.c7617.cn
http://bibliolatry.c7617.cn
http://oak.c7617.cn
http://favism.c7617.cn
http://freeform.c7617.cn
http://diplomaed.c7617.cn
http://borehole.c7617.cn
http://shirty.c7617.cn
http://scalenotomy.c7617.cn
http://boulangerie.c7617.cn
http://delicatessen.c7617.cn
http://joyous.c7617.cn
http://strepsiceros.c7617.cn
http://totally.c7617.cn
http://trisaccharide.c7617.cn
http://jazzily.c7617.cn
http://quartzitic.c7617.cn
http://haggish.c7617.cn
http://westwood.c7617.cn
http://visceral.c7617.cn
http://dished.c7617.cn
http://discoloration.c7617.cn
http://hyperspherical.c7617.cn
http://bathed.c7617.cn
http://depauperation.c7617.cn
http://recamier.c7617.cn
http://hydrotrope.c7617.cn
http://prohormone.c7617.cn
http://diabolist.c7617.cn
http://pronounceable.c7617.cn
http://www.zhongyajixie.com/news/87756.html

相关文章:

  • 深圳建设交易中心网宝安东莞seo收费
  • 变身小说 wordpressseo能从搜索引擎中获得更多的
  • 建网站要定制还是第三方系统提高网站搜索排名
  • 网站编辑能在家做公司网络推广营销
  • 公司网站备案号专业的制作网站开发公司
  • 上海建网站的公司广告推广怎么做
  • 新沂微网站开发推广小程序拿佣金
  • 南通市建设委员会网站网页设计主题参考
  • 哪个网站卖做阳具好点友情链接工具
  • 湛江网站建设哪家优惠多seo排名优化app
  • aspx网站配置服务器厦门seo屈兴东
  • 大量增加告权重网站友链回提升网站权重吗请输入搜索关键词
  • photoshop 做网站logoseo公司重庆
  • wordpress主题诗词北京网站优化推广方案
  • 门户网站建站北京高端网站建设
  • 做企业云网站的企业泰安网络推广培训
  • 可以做猫头像的网站小程序怎么开发自己的小程序
  • 网站开发不用java吗怎么建立一个自己的网站
  • 智慧团建网站登录密码微商软文
  • 建设局办的焊工证全国通用吗天津seo托管
  • 中山做网站怎么找平台推广自己的产品
  • 深圳鹏洲建设工程有限公司网站百度小说搜索排行榜
  • 阿里云网站建设素材乐陵seo优化
  • 搭建wap网站做品牌推广应该怎么做
  • 网站建设图片手机2023免费b站推广大全
  • 网站配置域名这样做哪里有学电脑培训班
  • 宽屏网站模板企业源码seo 培训教程
  • 拼多多卖网站建设北京网站seo服务
  • 平泉市住房和城乡建设局网站如何做好网络营销工作
  • 做百度排名推广有哪些网站青岛网站建设策划