维度建模过程

维度建模一般按照以下四个步骤： 选择业务过程→声明粒度→确认维度→确认事实

选择业务过程

在业务系统中，挑选我们感兴趣的业务线，比如下单业务，支付业务，退款业务，物流业务，一条业务线对应一张事实表。

声明粒度

数据粒度指数据仓库的数据中保存数据的细化程度或综合程度的级别。 声明粒度意味着精确定义事实表中的一行数据表示什么，应该尽可能选择最小粒度，以此来应各种各样的需求。

典型的粒度声明如下：

订单事实表中一行数据表示的是一个订单中的一个商品项； 支付事实表中一行数据表示的是一个支付记录。

确定维度

维度的主要作用是描述业务是事实，主要表示的是“谁，何处，何时”等信息。 确定维度的原则是：后续需求中是否要分析相关维度的指标。

原始数据格式及字段含义

DWD层 6张基础表

flink datastream join 维表_大数据


基础表事实表和维度表


//member_log 用户基本信息表

member_log 用户基本信息表
{

"ad_id": "0",                 //广告id

"birthday": "1981-08-14",     //出生日期

"dt":"20190722",              //日期分区

"dn": "webA",                 //网站分区

"email": "test@126.com",

"fullname": "王69239",         //用户姓名

"iconurl": "-",

"lastlogin": "-",

"mailaddr": "-",

"memberlevel": "6",            //用户级别

"password": "123456",          //密码

"paymoney": "-",

"phone"  "2016-08-15",     //注册时间

"regupdatetime": "-",

"uid": "69239",  //用户id

"unitname": "-",

"userip": "123.235.75.48",    //ip地址

"zipcode": "-"

}


member_regtype 用户跳转地址注册表
{

"appkey": "-",

"appregurl": "http:www.webA.com/product/register/index.html",  //注册时跳转地址

"bdp_uuid": "-",

"createtime": "2015-05-11",

"dt":"20190722",        //日期分区

"dn": "webA",           //网站分区

"domain": "-",

"isranreg": "-",

"regsource": "4",       //所属平台 1.PC  2.MOBILE  3.APP   4.WECHAT

"uid": "0",             //用户id

"websiteid": "0"        //对应basewebsitelog 下的siteid网站

}


base_ad_log 广告基础表原始json数据

{

"adid": "0",                  //基础广告表广告id

"adname": "注册弹窗广告0",     //广告详情名称

"dn": "webA"                  //网站分区
}


base_website_log 网站基础表原始json数据
{

"createtime": "2000-01-01",

"creator": "admin",

"delete": "0",

"dn": "webC",                  //网站分区

"siteid": "2",                 //网站id

"sitename": "114",             //网站名称

"siteurl": "www.114.com/webC"  //网站地址

}

//pcentermempaymoneylog 用户支付金额表
{

"dn":"webA",  //网站分区

"paymoney":"162.54",   //支付金额

"siteid":"1",          //网站id对应 对应basewebsitelog 下的siteid网站

"dt":"20190722",       //日期分区

"uid":"4376695",       //用户id

"vip_id":"0"           //对应pcentermemviplevellog vip_id

}

//pcentermem_vip_level_log用户vip等级基础表
{

"discountval": "-",

"dn": "webA",                  //网站分区

"end_time": "2019-01-01",      //vip结束时间

"last_modify_time": "2019-01-01",

"max_free": "-",

"min_free": "-",

"next_level": "-",

"operator": "update",

"start_time": "2015-02-07",    //vip开始时间

"vip_id": "2",  //vip id

"vip_level": "银卡"             //vip级别名称

}

DWS层 宽表和拉链表

针对dws层宽表的支付金额（paymoney）和vip等级(vip_level)这两个会变动的字段生成一张拉链表，需要一天进行一次更新

flink datastream join 维表_大数据_02