qiwei(KDD 2019高维稀疏数据上的深度学习Workshop论文汇总)

最后更新：2023-04-14 18:14:36

作者 | 深度传送门

来源 | 深度传送门

【导读】本文是“深度推荐系统”专栏的第九篇文章，这个系列将介绍在深度学习的强力驱动下，给推荐系统工业界所带来的最前沿的变化。本文简要总结一下阿里妈妈在 KDD 2019 上组织的第一届面向高维稀疏数据的深度学习实践 Workshop[1] 收录的论文。

今年阿里妈妈在 KDD 2019 上组织了第一届面向高维稀疏数据的深度学习实践 Workshop（官网：https://dlp-kdd.github.io），看这个名字就知道极具推荐、广告领域工业界的大规模深度学习色彩。虽然这次收录的论文主要是来自阿里巴巴和中国高校，但毕竟是基于工业界大规模实际场景需求出发组织的研讨会还是可以多多见识下大家讨论的一些 topic 和 idea 。也借此祝愿这样的研讨会举办得更多一些，越来越有含金量越来越有影响力。

User Behavior Understanding

1. (Best Paper Award) An End-to-End Neighborhood-based Interaction Model for Knowledge-enhanced Recommendation

作者：Yanru Qu, Ting Bai, Weinan Zhang, Jianyun Nie and Jian Tang；

论文：t.cn/AiQwCNck；代码：t.cn/AiQgYOrI；

提出 KNI 模型引入 KG 以及 GNN 更好地学习用户 -item 之间复杂的结构交互模式，解决 CTR 预估中数据稀疏与冷启动问题，效果好于 WDL 和 DKN 等。并开源了代码。

2. Collaborative Filtering via Learning Characteristics of Neighborhood based on Convolutional Neural Networks

作者：Yugang Jia, Xin Wang, Jinting Zhang

论文：t.cn/Ai8PIxvF；

借助 CNN 抽取临近 item 的特征，更好地学习用户 -item 之间的隐式关系来提升 CF 类算法的准确性。效果好于 NCF 等。

3. Attention-based Mixture Density Recurrent Networks for History-based Recommendation

作者：Tian Wang, Kyunghyun Cho and Musen Wen

论文：t.cn/Ai8hcGut；

提出引入注意力机制的 RNN 网络来建模基于向量表示的用户历史，动态预测用户的点击、购买行为等。效果主要和经典的 ICF 、IMF 等在两大公开数据集上进行了对比有明显提升。

4. Behavior Sequence Transformer for E-commerce Recommendation in Alibaba

作者：Qiwei Chen, Huan Zhao, Wei Li, Pipei Huang and Wenwu Ou

论文：t.cn/Ai8hSGwk；

将 Transformer 的自注意力结构引入推荐系统中典型的 MLP+embedding 网络结构中，在淘宝线上 CTR 预估任务中效果好于 WDL 和 DIN 等。

5. Click-Through Rate Prediction with the User Memory Network

作者：Wentao Ouyang, Xiuwu Zhang, Shukui Ren, Li Li, Zhaojie Liu and Yanlong Du

论文：t.cn/AiW9R5PL；代码：t.cn/AiW9R5Pq；

提出 MA-DNN（Memory Augmented DNN）综合考虑 CTR 预估工业界性能与效率的折中，既像 DNN 简单，又能像 RNN 针对用户复杂历史行为进行建模。主要是为每个用户新增了两个记忆向量来对用户喜欢和不喜欢的概率进行建模，效果好于 WDL 并开源了代码。

6. A unified Neural Network Approach to e-Commerce Relevance Learning

作者：Yunjiang Jiang, Yue Shang, Rui Li, Wen-Yun Yang, Guoyu Tang, Chaoyi Ma, Yun Xiao and Eric Zhao

论文：t.cn/Ai8hOzRe；

来自京东的研究者们提出一种普适的前向网络框架预测 query 和 item 的相关性，同时引进了多项优化手段 Siamese pairwise 框架、随机负样本 Batch 训练以及 pointwise 调优等，效果好于 DSSM 和 GBDT 等。

Representation Learning for High-dimensional Sparse Data

7. Pairwise Multi-Layer Nets for Learning Distributed Representation of Multi-field Categorical Data

作者：Ying Wen, Tianyao Chen, Jun Wang and Weinan Zhang

论文：t.cn/Ai8htYEM；代码：t.cn/Ai8h3mWq；

提出一种基于 Pairwise 多层网络来学习多值类别特征的表示方法。针对每一个类别特征的每一个离散 field 都学习一个低维向量，然后依靠网络门学习特征内和特征间的交互。在 CTR 预估任务中，效果好于 FNN 和 PNN 等。

8. Learning over Categorical Data using Counting Features

作者：Xuyang Wu, Xinyang Gao, Weinan Zhang, Rui Luo and Jun Wang

论文：t.cn/Ai8hkttg；

针对目前多值类别特征的 one-hot 编码的诸多问题提出一种新颖的 counting features 方式，在 CTR 预估任务中具有更好的泛化能力。

9. Learning Job Representation Using Directed Graph Embedding

作者：Haiyan Luo, Yu Sun, Anand Joseph Bernard Selvaraj and Shichuan Ma

论文：t.cn/Ai8hFbGi；

提出仿照经典的 Graph Embedding 方式从用户的 job 转换历史构图学习 job 的 Embedding 表示，效果好于 skip-gram 等。

Embedding techniques

10. Res-embedding for Deep Learning Based Click-Through Rate Prediction Modeling

作者：Guorui Zhou, Kailun Wu, Weijie Bian, Xiaoqiang Zhu and Kun Gai

论文：t.cn/Ai87wZyp；

针对 CTR 预估任务中经典的 Embedding&MLP 结构中 Embedding 表示学习泛化能力差的问题提出了一种叫做 res-embedding 的方式。由两部分构成：一部分是基于 item 的兴趣图学习的 central embedding；另一部分是相对小维度的 residual embedding。

11. SuperChat: Dialogue Generation by Transfer Learning from Vision to Language using Two-dimensional Word Embedding

作者：Baohua Sun, Lin Yang, Michael Lin, Charles Young, Jason Dong, Wenhan Zhang and Patrick Dong

论文：t.cn/Ai87UMHa；

借助文本分类中 Super Characters 的两维 embedding 方式，应用在会话生成当中。

Auto feature selection

12. Automatic Feature Engineering From Very High Dimensional Event Logs Using Deep Neural Networks

作者：Kai Hu, Joey Wang, Yong Liu and Datong Chen

论文：t.cn/Ai87bepi；

提出 Midway NN 网络针对高维事件日志进行自动特征工程。MNN 将特定窗口的输入特征向量转换为稠密的中间特征表示并进行缓存，供增量学习和预测。实验证明可以减少人工参与，以及节省训练和预测的耗时。

Scalable, Distributed and Parallel Training System for Deep Learning

13. XDL: An Industrial Deep Learning Framework for High-dimensional Sparse Data

作者：Biye Jiang, Chao Deng, Huimin Yi, Zelin Hu, Guorui Zhou, Buting Ma, Yang Zheng, Sui Huang, Xinyang Guo, Dongyue Wang, Yue Song, Liqin Zhao, Zhi Wang, Peng Sun, Yu Zhang, Di Zhang, Jinhui Li, Jian Xu, Xiaoqiang Zhu and Kun Gai

论文：t.cn/Ai87tBXC；

阿里妈妈自研的面向推荐、广告领域高维稀疏数据的深度学习框架 XDL。