音乐推荐系统hadoop

推荐系统的目地时为客户推荐其可能喜欢的，但没有发现的物品

这里写目录标题

• 一、核心要素

• 1.1、用户
• 1.2、物品与内容
• 1.3、事件与语境

• 二、推荐系统的主要构成

• 2.1召回模块

• 2.1.1常用召回（基于热门、用户分群等）
• 2.1.2基于内容的召回
• 2.1.3基于协同过滤的召回

• 2.2排序模块

• 2.2.1单点排序

• 2.3过滤模块

• 2.3.1过滤模块通常依赖商业逻辑和业务场景决定

• 三、图解推荐系统的主要构成

• 三、云音乐推荐系统的用户

• 3.1冷启动用户
• 3.2普通用户

• 四、云音乐推荐系统的构成

• 4.1召回模块
• 4.2排序模块
• 4.3过滤模块

• 五、云音乐推荐系统的基本功能

• 5.1个性化音乐推荐策略

• 5.1.1冷启动用户
• 5.1.2普通用户

• 六、云音乐项目推荐流程图
• 七、云音乐项目架构

一、核心要素

1.1、用户

用户与推荐系统进行交互，系统为用户推荐个性化物品和内容
用户是推荐系统的服务对象；
用户一般对应系统中用户数据表

1.2、物品与内容

推荐系统推荐合适的物品和内容，以满足用户个性化需要
物品和内容一般对应系统中物品和内容数据表

1.3、事件与语境

事件是用户和系统的交互过程；
语境泛指推荐系统与用户交互是所有相关的背景信息，包括时间，地点，设备，事件ID，用户反馈等
事件与语境一般对应系统中用户行为数据

二、推荐系统的主要构成

2.1召回模块

根据用户和场景不同，从物品和仓库（千万级数据级）中粗筛出用户可能感兴趣的物品和内容列表

2.1.1常用召回（基于热门、用户分群等）

热门物品和内容，挑选用户听/搜的最多的歌曲；
对用户进行分群后，再使用热门召回策略进行推荐召回

2.1.2基于内容的召回

通过物品的特征计算物品之间的相似性，进行推荐召回
使用物品和内容数据中的特征计算

2.1.3基于协同过滤的召回

通过用户行为数据计算相应相似性，进行推荐召回
使用用户行为数据进行计算

2.2排序模块

应用更多的信息对召回模块返回的物品和内容列表中的每一项进行打分，根据打分进行倒序排序（百以内数量级）

2.2.1单点排序

针对所有样本，把排序问题转化为分类、回归问题实现
最常使用的算法是LR(逻辑回归)
变种的方法有GBDT+LR、FM（因子分解机）

2.3过滤模块

对排序模块返回分内容进行过滤，如黑名单、已经推荐过等等物品和内容进行过滤

2.3.1过滤模块通常依赖商业逻辑和业务场景决定

用户已经购买的物品
不适合公开展示的品类需要过滤掉，例如成人用品等
用户评分过低的商品，例如1星商品
重复推荐的商品
同型号商品要推荐利润率高的
不要推荐促销活动中的爆款商品而浪费曝光

三、图解推荐系统的主要构成

三、云音乐推荐系统的用户

3.1冷启动用户

新用户，没有或者有很少的用户行为数据
有用户基础数据

3.2普通用户

老用户，有一定的用户行为数据
有用户基础数据

四、云音乐推荐系统的构成

4.1召回模块

常用召回（热门音乐召回+用户分群召回）
基于协同过滤的找回（ALS）

4.2排序模块

单点排序（LR算法实现）

4.3过滤模块

全局黑名单过滤
用户级别个性化黑名单过滤

五、云音乐推荐系统的基本功能

5.1个性化音乐推荐策略

5.1.1冷启动用户

全局热播召回+用户分群召回
随机选取召回集中内容进行推荐
全局黑名单过滤+个性化黑名单过滤

5.1.2普通用户

全局热播召回+用户分群召回+ALS召回
使用LR对召回集中的音乐进行排序，选取top10进行推荐
全局黑名单过滤+个性化黑名单过滤

六、云音乐项目推荐流程图

七、云音乐项目架构