疑问:

我们在购物浏览淘宝 或则 京东的时候,为什么过一点时间在次登录的时候,就会出现之前浏览的相同商品或则类似商品呢,还有在浏览一些网页,视频的时候,也会出现这样的现象呢?
小编之前一直有这个疑问,如今在大数据的学习当中找到了答案

为什么

是否感觉有一双眼睛在观察我的所有行为,时候感觉我的行为都有被记录,
在哪里被记录,在哪里呢 在哪里呢

一:解答

这里就设计到了一个叫做用户行为数据 操作记录和浏览记录 每一步操作都有记录
用户:人、设备
其中也叫千人千面 每个人浏览的网页不同,他所推荐记录的数据也不不同
推荐: 根据 用户行为数据(历史)+订单类型 搜索的东西 比如在京东浏览

离线安装的keepalived卸载_离线安装的keepalived卸载


在京东上面浏览网页 》 在右键点击有审查元素 》 里面有个network

找到 log.gif 买点,记录,,这个信息是经过编码的 ,看不出来是什么 通过这份日志可以分析出来很多的东西 每个产品你搜索多少次 浏览器 什么系统os

离线安装的keepalived卸载_搜索_02

这个乱码可以解析出来的

在百度找urldecode 解码

离线安装的keepalived卸载_数据_03

你每一步的操作都有记录
不同的公司机制是不一样的 在大数据平台,告诉你为什么是透明的

这里就是最初是的日志信息

二:介绍框架

离线典型的处理框架

人 ——京东页面 ——webserver(集群,这里记录你的 操作所以行为日志 )—— 通过flume采集——hadoop的hdfs 上面存储 ——数据分析 mp/hive/spark(这里的数据存储还是在hdfs上面)——你要做前端的展示 就要(通过 用Sqoop )数据存储在ROBMS /NoSQL上面 ——UI展示

下一篇将会介绍框架流程