推荐器

更新内容（2021年2月4日）

我们有一个新的发布 Recommenders 2021.2!

它包含许多错误修复、优化和3个新算法：GeoIMC、标准VAE和多项式VAE。我们还添加了工具以方便使用微软新闻数据集（MIND）。此外，我们还发布了我们的KDD2020教程，在该教程中，我们使用微软学术图构建了一个COVID论文推荐器。

我们还更改了默认分支从master到main。现在当您下载存储库时，您将得到main分支。

查看NEWS.md中的过往公告。

简介

此存储库包含用于构建推荐系统的示例和最佳实践，以Jupyter笔记本的形式提供。这些示例详细说明了我们在五个关键任务上的学习成果

• 准备数据：为每个推荐算法准备和加载数据
• 模型：使用各种经典和深度学习推荐算法构建模型，例如交替最小二乘法（ALS）或极深因子分解机（xDeepFM）。
• 评估：使用离线指标评估算法
• 模型选择与优化：调整和优化推荐模型的超参数
• 部署：在Azure生产环境中部署模型

在 reco_utils 中提供了几个实用工具，以支持常见的任务，例如以不同算法期望的格式加载数据集、评估模型输出以及拆分训练/测试数据。还包含了一些最先进的算法的实现，用于自学和自定义您自己的应用程序。请参阅 reco_utils 文档。

有关存储库的更详细概述，请参阅 wiki 页面 上的文档。

入门指南

有关在本地计算机、数据科学虚拟机（DSVM） 或 Azure Databricks 上设置的详细信息，请参阅 设置指南。

在本地机器上设置

1. 安装 Anaconda，Python 版本需 ≥ 3.6。Miniconda 是快速开始的方法。

2. 克隆存储库

git clone https://github.com/Microsoft/Recommenders

3. 运行生成 conda 文件的脚本以创建 conda 环境：（这是针对基本 python 环境，有关 PySpark 和 GPU 环境设置的详细信息，请参阅 SETUP.md）

cd Recommenders
python tools/generate_conda_file.py
conda env create -f reco_base.yaml  

4. 激活 conda 环境，并将其与 Jupyter 注册

conda activate reco_base
python -m ipykernel install --user --name reco_base --display-name "Python (reco)"

5. 启动 Jupyter notebook 服务器

jupyter notebook

6. 在 00_quick_start 文件夹下运行 SAR Python CPU MovieLens 笔记本。确保将内核更改为 "Python (reco)"。

注意 - 交替最小二乘法（ALS） 笔记本需要 PySpark 环境。请按照 设置指南 中的步骤在这些笔记本中运行 PySpark 环境。对于深度学习算法，建议使用 GPU 机器。

算法

下表列出了存储库中当前可用的推荐算法。当存在不同的实现时，在 "环境" 列下链接了笔记本。

注意: ^* 表示由微软发明/贡献的算法。

独立或孵化算法和实用程序是contrib文件夹的候选者。这将为可能不容易融入核心存储库或需要时间重构或成熟代码以及添加必要测试的贡献提供存放空间。

初步比较

我们提供了一个基准笔记本，以展示如何评估和比较不同的算法。在这个笔记本中，MovieLens数据集按照75/25的比例使用分层分割分成训练/测试集。使用以下协作过滤算法中的每一个训练推荐模型。我们使用了文献中报告的实证参数值在此处。对于排名度量，我们使用k=10（推荐前10个项目）。我们在标准NC6s_v2 Azure DSVM（6个vCPU，112GB内存和1个P100 GPU）上运行比较。Spark ALS以本地独立模式运行。在这个表格中，我们展示了在MovieLens 100k上的结果，运行算法15个周期。

贡献者

此项目欢迎贡献和建议。在贡献之前，请参阅我们的贡献指南。

构建状态

这些测试是夜间构建，它们计算烟雾和集成测试。 main 是我们的主要分支，而 staging 是我们的开发分支。我们使用 pytest 对 reco_utils 中的 Python 工具进行测试，并使用 papermill 对 notebooks 进行测试。有关测试管道的更多信息，请参阅测试文档。

DSVM构建状态

以下测试在Windows和Linux DSVM上每日运行。这些机器全天候运行。

构建类型	分支	状态		分支	状态
Linux CPU	main			staging
Linux GPU	main			staging
Linux Spark	main			staging

相关项目

• Microsoft AI Github：在我们的中央存储库中查找其他最佳实践项目和Azure AI设计模式。
• NLP最佳实践：NLP的最佳实践和示例。
• 计算机视觉最佳实践：计算机视觉的最佳实践和示例。
• 预测最佳实践：时间序列预测的最佳实践和示例。

参考文献

• A. Argyriou，M. González-Fierro，和L. Zhang，"Microsoft Recommenders：为生产就绪推荐系统最佳实践"，WWW 2020：国际万维网大会台北，2020。在线可用：https://dl.acm.org/doi/abs/10.1145/3366424.3382692
• L. Zhang，T. Wu，X. Xie，A. Argyriou，M. González-Fierro和J. Lian，"在规模上构建生产就绪推荐系统"，ACM SIGKDD知识发现和数据挖掘会议2019（KDD 2019），2019。
• S. Graham，J.K. Min，T. Wu，"Microsoft recommenders：加速开发推荐系统的工具"，RecSys '19：第13届ACM推荐系统会议论文集，2019。在线可用：https://dl.acm.org/doi/abs/10.1145/3298689.3346967