器→工具, 开源项目, 数据, 术→技巧

Python推荐系统库:Surprise

钱魏Way · · 1,121 次浏览

Surprise简介

Surprise(Simple Python Recommendation System Engine)是一款推荐系统库,是scikit系列中的一个。surprise设计时考虑到以下目的:

  • 让用户完美控制他们的实验。为此,特别强调文档,试图通过指出算法的每个细节尽可能清晰和准确。
  • 减轻数据集处理的痛苦。用户可以使用内置数据集(Movielens, Jester)和他们自己的自定义数据集。
  • 提供各种即用型预测算法,例如基线算法,邻域方法,基于矩阵因子分解(SVD,PMF,SVD ++,NMF)等等。此外,内置了各种相似性度量(余弦,MSD,皮尔逊…)。
  • 可以轻松实现新的算法思路。
  • 提供评估,分析和比较算法性能的工具。使用强大的CV迭代器(受scikit-learn优秀工具启发)以及对一组参数的详尽搜索,可以非常轻松地运行交叉验证程序。

Surprise的主要特点是简单易用,同时支持多种推荐算法:

  • 基础算法/baseline algorithms
    • NormalPredictor: 根据训练集的分布特征随机给出一个预测值
    • BaselineOnly:给定用户和Item,给出基于baseline的估计值
  • 基于近邻方法(协同过滤)/neighborhood methods
    • KNNBasic:最基础的协同过滤
    • KNNWithMeans:将每个用户评分的均值考虑在内的协同过滤实现
    • KNNBaseline:考虑基线评级的协同过滤
  • 矩阵分解方法/matrix factorization-based
    • SVD:SVD实现
    • SVDpp:SVD++,即LFM+SVD
    • NMF:基于矩阵分解的协同过滤
    • SlopeOne:一个简单但精确的协同过滤算法
    • CoClustering:基于协同聚类的协同过滤算法

其中基于近邻的方法(协同过滤)可以设定不同的相似度度量标准:

  • Cosine:余弦相似度
  • msd:均方差异相似度
  • pearson:Pearson相关系数。
  • pearson_baseline:(缩小的)Pearson相关系数,使用基线进行居中而不是平均值。

支持不同的评估准则:

  • rmse:均方根误差
  • mae:平均绝对误差
  • fcp:协调对的分数

Surprise的使用

接下来,在surprise内置的数据集(movielens)上用协同过滤算法来构建一个简单的电影推荐系统。

利用协同过滤算法构建推荐系统,并测试效果

from __future__ import (absolute_import, division, print_function, unicode_literals)
import os
import io
 
from surprise import KNNBaseline
from surprise import Dataset
from evaluate, print_perf
 
# 定义read_item_names()函数,以获取电影名到电影id和电影id到电影名的映射
def read_item_names():
    file_name = (os.path.expanduser('~') + '/.surprise_data/ml-100k/ml-100k/u.item')
    rid_to_name = {}
    name_to_rid = {}
    with io.open(file_name, 'r', encoding='ISO-8859-1') as f:
        for line in f:
            line = line.split('|')
            rid_to_name[line[0]] = line[1]
            name_to_rid[line[1]] = line[0]
 
    return rid_to_name, name_to_rid
 
# 用KNNBaseline算法构建推荐系统,计算相似度
data = Dataset.load_builtin('ml-100k')
trainset = data.build_full_trainset()
sim_options = {'name': 'pearson_baseline', 'user_based': False}
algo = KNNBaseline(sim_options=sim_options)
algo.train(trainset)
 
# 用RMSE、MAE和FCP测试推荐系统效果
perf = evaluate(algo, data, measures=['RMSE', 'MAE', 'FCP'])
# 输出结果
print_perf(perf)

利用构建的电影推荐系统进行推荐

# 获取电影名到电影id 和 电影id到电影名的映射
rid_to_name, name_to_rid = read_item_names()
# 根据Toy Story这部电影来进行推荐
# 找到Toy Story这部电影对应的item id
toy_story_raw_id = name_to_rid['Toy Story (1995)']
toy_story_raw_id
toy_story_inner_id = algo.trainset.to_inner_iid(toy_story_raw_id)
toy_story_inner_id
# 找到相似度最近的10个电影
toy_story_neighbors = algo.get_neighbors(toy_story_inner_id, k=10)
toy_story_neighbors
# 从近邻的id映射回电影名称
toy_story_neighbors = (algo.trainset.to_raw_iid(inner_id)
                       for inner_id in toy_story_neighbors)
toy_story_neighbors = (rid_to_name[rid]
                       for rid in toy_story_neighbors)
 
print()
print('The 10 nearest neighbors of Toy Story are:')
for movie in toy_story_neighbors:
    print(movie)

参考链接:

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注