简介
论文地址：
代码链接：
正文概述
语言模型(LMs)在众多领域取得了广泛的成功，吸引了研究者探究其表征空间究竟蕴含了什么知识。最新研究发现，通过语言建模的语言模型不仅具备语义理解能力，还在表征空间编码了广泛的世界知识，如游戏状态、词汇属性，甚至时间和空间等概念。然而，在推荐领域，尽管语言模型的应用正受到广泛的关注最新空间代码，目前的研究仍不清楚它们是否在语言表征空间天然地编码了与用户偏好和行为相关的信息。
为了研究表征空间蕴含的知识，研究者通常采用线性探针或者线性映射的研究方法。此类方法使用线性映射函数将语言表征映射到新的空间或者离散值。因为线性方法并没有破坏原本的语言表征空间结构，所以映射后的表征或者离散值在测试集上表现优秀往往说明语言表征具有某方面的能力。因此，本文通过构建一种线性映射方式，将语言表征直接投影到推荐空间，从而探究语言表征空间和推荐表征空间的关系。
通过线性映射，本文有如下发现：
（1）先进的语言模型表征与一个优秀的推荐表征空间同态，并呈现出鲁棒性与可扩展性。
（2）直到最近语言表征才呈现出优秀的推荐相关能力。
（3）语言表征编码了用户行为相似性而不仅仅是语义相似性。这些发现说明推荐表征可能编码了关于推荐的协同信号。
基于这些发现，本文仅通过引入非线性变换、图卷积、对比损失函数构建了一个非常简单的推荐模型。该简单的模型即可超越先进的基于ID的推荐算法。同时，通过分析该模型，本文发现了语言表征用于推荐的如下三个潜力：
（1）语言表征可以作为优秀的物品表征初始化。
（2）语言表征可以赋予推荐模型优良的跨领域泛化性。
（3）语言表征可以赋予推荐模型用户意图感知能力。
如上图所示，本文构造语言表征到推荐表征的线性映射，并将映射后的表征通过余弦相似度计算来直接用于推荐，从而检测语言表征和推荐表征的空间关系。具体而言，对于每个物品标题，本文首先使用冻结的语言模型抽取其最后一层的最后一个token位置的表征，使用一个线性投影矩阵将其投影到物品表征。对于用户表征而言，本文将用户历史交互过的物品的投影后的表征进行平均从而获得。得到用户和物品表征之后，通过余弦相似度计算得分，选取得分最高的前K个物品进行推荐。这一过程并没有引入任何非线性变换，因此，在测试集上该方法如果能取得优秀的推荐结果，说明语言表征与一个良好的推荐空间同态。
结果表明，最先进的语言表征，仅仅通过线性映射即可取得良好的推荐性能，这说明先进的语言表征空间与良好的推荐空间同态。此外，这一现象直到非常最近才被观测到。目前大模型的表征呈现出明显比BERT类型的语言模型表征更加优秀的空间对应关系。
这些语言表征并不仅仅是依靠语义相似度进行推荐，而是编码了用户行为相似性。如下图所示，我们将通过t-SNE降维之后的语言表征和映射之后的推荐表征分别绘制在左右两侧，可以发现，在语言空间并不聚类的某一类电影，通过线性映射之后在推荐空间进行了聚类，这说明语言表征编码了超出语义相似性之外的内容，而一个简单的线性映射即可激发这一性能。
这些语言表征还呈现出对于噪声扰动的鲁棒性。如下图所示，如果简单在标题中随机加入少量字符串的噪声，并不会带来太多性能的损失。
此外，语言表征还呈现出可扩展性最新空间代码，即扩大同一系列模型的参数规模，线性映射的性能取得逐步上升。
如上发现表明，先进的语言表征空间和一个优秀的推荐表征空间同态，这一发现激发了我们用语言表征构建先进的推荐器。因此，本文通过仅仅引入非线性映射、图卷积、对比损失函数来构建了一个轻量化但是有效的纯基于语言表征的推荐器。构建方式如下：
实验结果表明，呈现出优秀的推荐性能，如下图所示，能超过最先进的推荐算法和KAR。
消融实验结果同时表明，中的每个组件都有效。
为了进一步探究语言模型表征对于推荐的潜力，本文对进行了详细分析。并得到如下发现：
（1）语言表征可以作为良好的推荐表征的初始化。因为语言表征空间和一个良好的推荐表征空间同态，仅需要少量的表征上的变化即可使其适用于推荐。因此，如上右图所示，呈现出非常迅速的收敛速度，仅需要少量的训练时长即可收敛到优秀的性能。
（2）语言表征可以赋予推荐模型优秀的零样本推荐能力。传统的基于ID的推荐器难以迁移到没有见过的场景。而语言表征则可以使得推荐器在不同领域之间迁移。预训练好的可以直接应用到其他领域，而不需要额外的训练。如下图所示，预训练好的甚至呈现出可以比肩甚至超过完全训练的推荐器的性能。
（3）语言表征可以赋予推荐模型识别用户意图并调整推荐结果的性能。基于ID的推荐器并不能实时识别用户例如搜索在内的意图。而得益于语言表征在空间上已经将物品与用户意图对齐，可以通过将用户意图编码为一个语言表征的方式注入用户表征向量，从而实现更加精确的推荐。
如下图所示，在注入了用户意图之后，推荐器可以将用户目标物品进行正确推荐。
总结
本文探究了语言表征和推荐表征的空间关系。揭示了先进的语言模型的表征与优良的推荐表征空间同态，且具有鲁棒性和可扩展性。这说明语言表征空间可能编码了有关推荐的协同信号。基于以上发现，本文提出了一个简单但是有效的基于语言表征的推荐器，其展现出先进的推荐性能。通过对其分析，本文进一步揭示了语言表征用于推荐的三大潜力：优秀的物品表征初始化、零样本推荐能力、用户意图识别能力。
限时特惠:本站持续每日更新海量各大内部创业课程，一年会员仅需要98元，全站资源免费下载
点击查看详情
站长微信:Jiucxh
