ODS层描述
ods层的作用
ods层为了将原始的业务数据、用户行为数据全部从hdfs中读取出来放入hive中进行分析(实质上也是放在hdfs上,相当于对原始数据进行了备份)
这里面有所有脚本:都是一些数据装载的脚本,就不多描述
表的同步策略
用户行为日志表(ods_log),按天全部同步
1. 订单表(增量及更新)( ods_order_info)
2 订单详情表(增量)( ods_order_detail)
3 SKU 商品表(全量)(ods_sku_info)
4 用户表(增量及更新)(ods_user_info)
5 商品一级分类表(全量)(ods_base_category1)
6 商品二级分类表(全量)(ods_base_category2)
7 商品三级分类表(全量)(ods_base_category3)
8 支付流水表(增量)(ods_payment_info)
9 省份表(特殊)(ods_base_province)
10 地区表(特殊)(ods_base_region)
11 品牌表(全量)(ods_base_trademark)
12 订单状态表(增量)(ods_order_status_log)
13 SPU 商品表(全量)(ods_spu_info)
14 商品评论表(增量)(ods_comment_info)
15 退单表(增量)(ods_order_refund_info)
16 加购表(全量)(ods_cart_info)
17 商品收藏表(全量)(ods_favor_info)
18 优惠券领用表(新增及变化)(ods_coupon_use)
19 优惠券表(全量)(ods_coupon_info)
20 活动表(全量)(ods_activity_info)
21 活动订单关联表(增量)(ods_activity_order)
22 优惠规则表(全量)(ods_activity_rule)
23 编码字典表(全量)(ods_base_dic)
脚本使用
如果是第一次导入:
[root@hadoop102 bin]$ hdfs_to_ods_db.sh first 2020-06-18
之后导入:
[root@hadoop102 bin]$ hdfs_to_ods_db.sh all 2020-06-18