淘宝推荐算法是什么意思，淘宝详情页转化率测试？

商品详情页是手购中流量最大的模块之一。它加载了数十亿产品的详细信息，是用户整个决策过程中必不可少的环节。这个区块既要承担用户对当前商品的全感知需求，又要肩负其他来源的导流流量留存，最终尽可能激活平台内流和外流在整个生态中的活跃度。同时，产品详情页也是很多场景甚至平台之间的纽带。用户在平台中的行为轨迹会一直在多个场景和详情页之间交替，进一步的行为决策(购买/购买等。)会在详情页上做出来。因此，详情页既要满足用户“了解更多”的需求，又要满足平台“连接中间件”的需求。

详情页中的流量有两个显著特征：

大流量往往是用户购买的决策环节；

承担大量的外部引流。

因为这两个重要的特性，也为了尽可能增强平台粘度，提高用户行为流畅性的产品设计考虑，我们在详情页设置了一些全网分发场景，并根据这些场景的特点进行了一些算法探索。

背景

信息爆炸导致用户获取海量信息，尤其是有效信息。如果说社交媒体是无声者的声音，那么推荐系统可以看作是海量信息的声音，也是平台用户曝光信息的制造者。所以我们有责任和义务保证推荐内容的质量和可控性，这对推荐系统来说是一个巨大的诉求和挑战。目前的推荐系统对用户的行为进行深度挖掘，挖掘用户的个性化需求，捕捉用户的实时兴趣，旨在帮助用户在海量信息中快速准确定位，从而更好地完成智能服务。

详情页的分发推荐承担着【服务商家】、【提升用户体验】、【有利于平台的分发效率】的重要职责。该场景提出了三个不同侧重点的要求，需要考虑这些要求，以创建更好的交通分配位置。解决这三个需求的办法就是开通同店商品推荐前置的全网分销模块，可以在很大程度上保证商家的权益，同时使用户能够在一个聚焦的页面中快速定位“猜你喜欢”的商品。详情页中的推荐和公共域中的推荐有一个最大的区别：每个详情页都是主商品的信息衍生场，推荐内容受其强烈约束。现有的研究大多缺乏对具有先验信息的场景的探索：只强调用户的个性化兴趣。一些重要且直接相关的先验信息被直接忽略。我们观察到，在单一产品/主题唤醒的推荐页面上，用户的点击行为和主推产品(推荐页面唤醒的产品/主题)是高度同质的。在这些场景中，用户已经通过主商品向模型传达了非常专注和明确的意图，所以推荐的相关结果不能任意一概而论。但与此同时，盲目的聚集会降低分发的效率，让用户在浏览过程中产生疲劳感。所以这些场景的推荐内容要遵循“意图明确，适度发散”的策略。当然，因为有了主要商品信息的加持，我们可以在优化模型的时候因地制宜的构建推荐策略，做出一些比其他场景更清晰、更有解释力的用户体验。这就是写这篇文章的初衷。如果你想了解更多关于这个“以产品推产品”场景的细节，本文将带你去看我们的探索问题——“加强和延伸用户的即时兴趣”，以及模型解决方案和在线工程实践。

场景介绍

其中全网流量分发场景主要包括详情页底部信息流(邻里好货)、主图横向滑动(新增)、炸弹层购买(新增)。这些场景打破了商家一窝蜂的局面

技术探索

算法问题定义——即时兴趣强化

进入详情页是用户的一个主动行为，所以用户对当前页面的主推产品有着浓厚的兴趣。主推产品的信息可以帮助我们快速定位用户的切身利益，这对推荐算法至关重要。虽然有很多方法可以把行为序列的最后一位代入即时兴趣，或者用模型挖掘即时兴趣，但是这些方法都是在不确定事件中推理，没有详情页中的主要商品等强意图信息。基于此，我们的工作将从推荐技术的不同方面对这部分信息进行建模和强化，以使详情页分发场景结合场景特点，尽可能满足用户的即时需求。

召回

背景

随着深度学习技术在多个领域的普及和向量检索技术的兴起，一系列基于相似思想的深度学习召回技术层出不穷。2016年，Youtube在推荐系统中提出了召回DNN的想法。它结合了用户的历史行为和用户的画像信息，大大提高了匹配范围的个性化和丰富性。我们的工作是基于同组师兄的回忆工作，《SDM: 基于用户行为序列建模的深度召回》，《User-based Sequential Deep Match》，是一个思路。SDM能够很好地模拟用户兴趣的动态变化，并且能够综合优势和劣势。

期行为在不同维度进行用户表征，从而更好的使用低维向量表达用户和商品，最终借助大规模向量检索技术完成深度召回。SDM上线较base（多路i2i召回merge）ipv指标提升了2.80%。较SDM模型，CIDM模型IPV提升4.69%。在此基础上，为了契合详情页分发场景的特点，我们丰富并挖掘了主商品相关信息，并将其作为即时兴趣对召回模型进行结构改良。

模型——CIDM(Current Intention Reinforce Deep Match )

为了能够让模型SDM能够将主商品信息catch到并与用户行为产生交互，我们设计了如下的模型结构，其中trigger即为详情页中的主商品，我们从几个方面对它进行表征及强化：

其中前两个点都是比较显而易见的，这里就不再赘述，我们将三四两个创新点详细阐述。

论文2中论证了添加时间门能够更好地捕捉用户的短期和长期兴趣，基于这个结论，我们尝试设计一个trigger-gate用于在模型捕获序列特征中引入trigger信息的影响。我们尝试了多种结构变体，比较work的两种方式（如图）:

这样的方式能够将主商品的信息保留的更充分。

第一种方法，仅是对记忆门进行了修改：

第二种方法，新加了一个即时兴趣门：

这两个实验在离线hr指标分别增长+1.07%. 1.37%，最优版本线上指标ipv+1.1%。

出于我们自己的实验结论：”使用主商品的叶子类目和一级类目过滤得到的序列作为原始序列的补充，作为模型输入能够提升预测准度“。这说明，主商品的结构信息是具有明显的效益的，以它为条件能够对序列样本产生正向约束。究其根本，原始序列中一些和当前主商品相关性较小的样本被过滤掉了，这相当于对数据进行去噪处理。沿着这个思路，联想到自编码机的主要应用为数据降噪与特征降维，故考虑采用基于AE结构的模型对序列进行处理，更多的，由于我们是定向去噪（即剔除与主商品不相关的行为），我们使用变分自编码机（VAE），借主商品信息在隐变量空间对序列表达进行约束，以确保隐层能较好抽象序列数据的特点。

变分自编码机是具有对偶结构（包括编码器和解码器）联合训练的系列模型，它借鉴变分推断的思路，在隐变量空间进行个性化定制，比较契合我们即使兴趣建模的需求。首先我们有一批数据样本

，其似然分布可以表示为

，最大化其对数似然时后验概率分布

是不可知的，因而VAEs用自定义分布

来近似真实的后验概率

计算，使用KL散度作为两个分布的相似程度的度量。整体的优化函数可以表示为：

具体推导可以参见论文5。其中第一项作为使假设的后验分布

和先验分布

尽量接近，第二项为重构损失，保证自编码结构整体的稳定性。其中，先验分布

是我们自定义的，这里想要将主商品的信息融入其中，因而我们假设

，即使用主商品的表示作为高斯分布的均值，采样batch的二阶矩作为高斯分布的方差带入其中。因此，模型的优化函数变为：

启发于论文3、4, 我们将网络结构设计为如下形式，使用主商品的特征向量作为mu和sigma引入到变分自编码网络中，规范隐空间中序列特征的表达，并将学习得到的序列隐空间变量seq_hid作为用户的强意图序列表达trigger_emb，和长短期偏好融合。

这实验在离线hr指标增长+2.23%，线上未测试。

效果

较SDM模型，CIDM模型线上效果IPV提升4.69%。

精排

背景

精排模型基于DIN(Deep Interest Networks)进行探索与发展，我们的想法是在序列信息基础之上融入主商品更多的信息。序列信息挖掘和主商品信息强化其实是我们场景两个需求的外化，主商品信息强化能够很好地抓住用户即时意图，满足用户即时的聚焦需求；而序列信息挖掘是基于当前意图的延伸，能够一定程度上对意图进行发散，使推荐结果不会产生过于集中而带来体验疲劳。当然这两方面需要权衡，让模型识别其中“聚”，“散”的时机与程度。在此基础上，我们进行了1、挖掘主商品更多的语义信息；2、强化主商品信息对于序列特征抽取的指引与影响。

精排模型——DTIN(Deep Trigger-based Interest Network)

首先，我们希望能够挖掘主商品更多的语义信息，这一部分，我们将主商品（trigger）相关的特征和待打分商品（candidate）对齐，然后将这部分特征直接拼到模型的wide侧，让模型提升对于主商品表征的敏感度。

其次，由于DIN的motivation是引入注意力机制来更精准的捕获用户的兴趣点，作为比待打分商品更强的用户兴趣点体现，我们设计了一个双attention结构来强化这部分信息。如图所示，首先，将trigger和candidate商品特征concat，传入第一层attention结构中，学得第一层加权向量

。这部分权值融合了trigger和candidate的信息，它可以被看作基于主商品及待打分商品交叉的用户兴趣提取。然后，仅使用主商品信息作为查询query传入第二层attention结构中，学得第二层加权向量

，它可以被看作仅基于即时兴趣的延伸兴趣捕获。之后这两个权重向量按位相乘作为序列加权向量。模型结构设计这部分经历了大量的探索实验，如果有兴趣欢迎大家一起来讨论，这里只呈现我们实验中效果最佳版本。

效果

较DIN模型，DTIN模型IPV提升9.34%, 对应离线实验auc提升4.6%，gauc提升5.8%。

粗排

动机

粗排模型为的是解决推荐系统应用于工业界的特殊问题，在召回集合较大时，精排模型因复杂度太高而无法保证打分效率。因而粗排模型应运而生。由于详情页分发场景需要从全网亿级商品中进行商品召回，且召回阶段使用了多种召回方式的组合（包括i2i, 向量召回等）。这使得召回数量级较大，而且多路召回存在交叉使得匹配特征不在同一尺度上，这给后续的精排模型带来了较大的压力。基于此，我们开发了桥接召回和精排两部分的粗排模块，它的目标是对召回结果进行初筛，不仅需要兼顾效率与精度，也需要具有兼容多尺度召回方式的能力。基于我们的场景特点，在粗排初筛阶段进行了基于主商品的即时意图的建模。

模型——Tri-tower(Triple-tower Preparatory Ranking Framework)

出于粗排模型对于效率的要求不能构建过于复杂的结构，基于双塔粗排模型，我们针对强化即时兴趣的方向新添加了一个主商品塔trigger-tower，该塔和商品塔的特征保持一致，在顶端输出logits后和商品塔做交叉，作为之前双塔模型的补充添加在sigmoid函数的输入中。模型结构如下：

其中 Trigger net 和 Item net 使用 item 侧更轻量的一些统计类特征，User net也在deep match的基础上对大规模的id类特征进行了筛检。确保粗排模型轻量且服务快速。最终三塔粗排模型较无粗排模型，IPV指标提升3.96%。

总结

总体来看，详情页分发场景的优化思路比较统一，都是对主商品信息进行挖掘，并在模型中将用户历史行为进行关联加强。我们和传统的兴趣挖掘网络相比，附增了一道关口（即时兴趣强化），将那些明确的，和当前最相关的意图保留下来。通过这样的方式，推荐的结果就有一定程度的收敛。同时，多元兴趣在模型中并没有被完全抹去，只是通过attention网络动态调权来影响结果的发散程度，这也确保我们推荐结果一定的个性化和可发散性。

至此已阐述完“用户即时兴趣强化与延伸”课题在私域分发场景三个主要环节：召回-粗排-精排上面的有收益的尝试，当然这个过程也伴随着很多失败的探索，无论是模型优化和工程实践上的阻塞，都给我们带来了丰硕的实践经验。除了这三个主要模型外，我们在策略和其他环节的模型上也都针对该问题进行了优化，这里不再赘述。如果您对细节或者后续的优化方向感兴趣，欢迎与我们联系。