Attention当推荐系统遇见注意力 [复制链接]

NewBeeNLP出品

作者

悠闲会·信息检索

当注意力机制都已经变成很tasteless的手法的时候，使用或者魔改注意力机制一定要专注讲好自己的故事：即『为什么要用Attention，为什么要魔改Attention』

现阶段从传统的CF，FM等方法到NFM，DeepFM等等，虽然开始用深度学习DNN来处理深度的特征交叉，还缺少的主要有两点：

DIN和DIEN都是阿里针对CTR预估的模型，都主要是对用户历史行为数据的进一步挖掘的工作。CTR预估任务是，根据给定广告/物品、用户和大量的上下文情况等信息，对点击进行预测，所以对用户的兴趣理解，历史行为数据非常重要。

然后自从Transformer出现，BERT在NLP界屠榜，所以很自然在推荐系统上的应用也开始升级。本篇博文将整理四篇关于Attention的文章，从普通的Attention一路升级到BERT。