目录标题

• • • 1、推荐系统目的
    • 2、推荐系统的应用
    • 3、推荐系统的基本思想
    • 4、推荐系统的数据分析
    • 5、推荐系统的分类
    • 6、推荐算法简介
    • • 6.1 基于人口统计学的推荐算法（基于用户数据）
      • 6.2 基于内容的推荐算法（基于内容信息）
      • 6.3 基于协同过滤的推荐算法（基于行为数据）
      • 6.4 混合推荐
    • 7、推荐系统评测
    • • 7.1 推荐系统实验方法
      • 7.2 推荐系统评测指标

1、推荐系统目的

信息过载

• 让用户更快更好的获取到自己需要的内容
• 内容更快更好的推送到喜欢它的用户手中
• 让网站（平台）更有效的保留用户资源
  即好的推荐系统–让三方共赢

2、推荐系统的应用

个性化音乐、电影视频、社交网络、个性化阅读、证券理财、个性化旅游、个性化广告
音乐听完后很可能再听，但买过的商品看过的电影就少量会重复

3、推荐系统的基本思想

• 利用用户和物品的特征信息，给用户推荐那些具有用户喜欢的特征的物品。
• 利用用户喜欢过的物品，给用户推荐与他喜欢过的物品相似的物品。
• 利用和用户相似的其他用户，给用户推荐那些和他们兴趣爱好相似的其他用户喜欢的物品
  
• 知你所想，精准推送
  – 利用用户和物品的特征信息，给用户推荐那些具有用户喜欢的特征的物品。
• 物以类聚
  – 利用用户喜欢过的物品，给用户推荐与他喜欢过的物品相似的物品。
• 人以群分
  – 利用和用户相似的其他用户，给用户推荐那些和他们兴趣爱好相似的其他用户喜欢的物品

4、推荐系统的数据分析

在作推荐之前需要先收集到的数据：

• 针对用户的信息：个人信息、喜好标签（勾选的感兴趣标签）、上下文信息（浏览记录）
• 物品的信息：内容信息、分类标签、关键词
• 行为数据（交互）：点击、浏览、收藏、购买、评分、评价、打标签（反映用户对物品或者信息的偏好）
  — 显示的用户反馈：用户对物品的评分，或者对物品的评论等（业务系统的数据库中获取）
  — 隐式的用户反馈：点击、浏览、收藏、购买等（通过埋点，日志获取）

5、推荐系统的分类

• 根据实时性分类
  – 离线推荐
  – 实时推荐

• 根据推荐是否个性化分类
  – 基于统计的推荐（热门推荐）
  – 个性化推荐

• 根据推荐原则分类
  – 基于相似度的推荐（人以群分）
  – 基于规则的推荐（即按照经验，程序员更偏爱格子衬衫）
  – 基于模型的推荐（训练数据找规律）

• 根据数据源分类
  – 基于人口统计学的推荐（基于用户数据，作用户画像）
  – 基于内容的推荐（基于内容信息）
  – 基于协同过滤的推荐（基于行为数据）

6、推荐算法简介

6.1 基于人口统计学的推荐算法（基于用户数据）

6.2 基于内容的推荐算法（基于内容信息）

6.3 基于协同过滤的推荐算法（基于行为数据）

协同过滤（Collaborative Filtering，CF）
利用类似这样矩阵来判断：

U1、U2、、用户
I1、I2、、物品
中间数据：评分

分成两大类：基于近邻和基于模型

1. 基于近邻的协同过滤
   – 基于用户（User-CF）的协同过滤
   – 基于物品（Item-CF）的协同过滤
2. 基于模型的协同过滤
   – 奇异值分解（SVD）
   – 潜在语义分析（LSA）
   – 支撑向量机（SVM）

CF特点：

• 基于内容(Content based，CB)主要利用的是用户评价过的物品的内容特征，当拿不到物品信息时，CF可以解决，只要用户与物品进行了交互，日志中就会保存有用户行为数据
• 缺点：得到的矩阵不完整的，是稀疏矩阵。比较依赖历史交互数据，对新上线的物品不够友好
  注：在矩阵中，若数值为0的元素数目远远多于非0元素的数目，并且非0元素分布没有规律时，则称该矩阵为稀疏矩阵

User-CF基于用户的协同过滤：

与基于用户数据的对比：没有用户的基本信息，依据的是用户的行为相似度

Item-CF基于物品的协同过滤：

与基于物品数据的对比：没有物品的基本信息，依据的是物品被喜欢群体的相似度
物品A与物品C都被用户ab喜欢，所有推测物品AC是相似的，便可以把物品C推荐给喜欢物品A的用户

6.4 混合推荐

实际网站的推荐系统往往都不是单纯只采用了某一种推荐的机制和策略，往往是将多个方法混合在一起，从而达到更好的推荐效果。比较流行的组合方法有：

1. 加权混合
   – 用线性公式（linear formula）将几种不同的推荐按照一定权重组合起来，具体权重的值需要在测试数据集上反复实验，从而达到最好的推荐效果
2. 切换混合
   – 切换的混合方式，就是允许在不同的情况（数据量，系统运行状况，用户和物品的数目等）下，选择最为合适的推荐机制计算推荐
   不同的情况选择不同的推荐系统
3. 分区混合
   – 采用多种推荐机制，并将不同的推荐结果分不同的区显示给用户
4. 分层混合
   – 采用多种推荐机制，并将一个推荐机制的结果作为另一个的输入，从而综合各个推荐机制的优缺点，得到更加准确的推荐
   推荐方式一层一层的串起来，前一层推荐的结果作为后一层推荐的输入。因此更加复杂

7、推荐系统评测

目标：让三方共赢（用户、平台、商家）

7.1 推荐系统实验方法

• 离线实验
  – 通过体制系统获得用户行为数据，并按照一定格式生成一个标准的数据集
  – 将数据集按照一定的规则分成训练集和测试集
  – 在训练集上训练用户兴趣模型，在测试集上进行预测
  – 通过事先定义的离线指标评测算法在测试集上的预测结果
  离线：利用的是历史数据，完全离线。
  特点：方便，可能和实际的上线结果有差距

• 用户调查
  – 用户调查需要有一些真实用户，让他们在需要测试的推荐系统上完成一些任务；我们需要记录他们的行为，并让他们回答一些问题；最后进行分析
  特点：真实，可以获取用户的主观感受。需要真实用户，花费成本

• 在线实验
  – AB测试
  类似实验组，对照组。把用户随机分成两组，进入不同的推荐系统，考察指标测评哪种推荐系统更优
  特点：真实，需要长周期才能收集到用户的行为结果

结论：混合使用
先离线实验，中间作基本的用户调查（少范围的），上线前作AB测试，同时收集用户数据，判断最优的推荐系统

7.2 推荐系统评测指标

• 预测准确度（重要但不好衡量）
• 用户满意度（问卷调查）
• 覆盖率（并非总是推荐的最热门物品，希望冷门小众物品也能推荐到对应用户）
• 多样性（信息茧房，针对用户来说）
• 惊喜度（挖掘出用户自己都不知道的喜爱物品）
• 信任度
• 实时性
• 健壮性
• 商业目标（点击率、转化率等）

推荐准确度评测

• 评分预测：
  – 很多网站都有让用户给物品打分的功能，如果知道用户对物品的历史评分，就可以从中学习一个兴趣模型，从而预测用户对新物品的评分
  – 评分预测的准确度一般用均方根误差（RMSE）或平均绝对误差（MAE）计算
  
  预测评分与真实评分之间的误差
• Top-N推荐
  – 网站提供推荐服务时，一般是给用户一个个性化的推荐列表，这种推荐叫做Top-N推荐
  – Top-N推荐的预测准确率一般用精确率（precision）和召回率（recall）来度量

准确率、精确率和召回率
假如某个班级有男生80人，女生20人，共计100人，，目标是找出所有女生。现在某人挑选出50个人，其中20人是女生，另外还错误的把30个男生也当作女生挑选出来了。怎么评估他的行为？
定义TP、FN、FP、TN四种情况：

• 准确率（accuracy）
  正确分类的item数与总数之比：A=（20+50）/100 = 70%

• 精确率（precision）
  所有被检索的item中，应该被检索到的item比例：P=20/(20+50) = 40%
  推荐的50个物品中，其中20个是用户真正需要的

• 召回率（recall）
  所有检索到的item占所有“应该检索到的item”的比例：R=20/(20+0)=100%
  总共应该推荐20个物品，我全部推荐出来了。另一方面说明工作作的还不错