技术摘要：
本说明书实施例提供一种行为预测系统的更新方法，其中行为预测系统包括第一预测模型、第二预测模型和注意力模型，该更新方法包括：先获取训练样本，其中包括第一用户的用户特征，大众偏好特征，业务对象的对象特征及其所属业务方的业务方标识，以及样本标签，指示第一  全部
背景技术：
当今，人们越来越频繁地使用服务平台向用户提供的多种多样的服务，相应地，为 了提高用户的服务体验，服务平台可以利用机器学习模型对用户在使用服务时的相关行为 进行预测，进而根据预测结果为用户定制服务方案。例如，新闻资讯网站可以通过预测某用 户针对各类新闻板块的点击概率，确定向该用户推送的新闻资讯页面中所包括新闻板块的 类别和排序。又例如，购物网站可以通过预测某用户针对某一商品的喜好程度，确定是否向 该用户推荐该商品。 显然，希望针对用户行为的预测结果越准确越好。然而，目前预测用户行为的方式 较为单一，得到的预测结果准确度也十分有限。因此，需要提出一种合理的方案，可以有效 提高用户行为预测结果的准确性。
技术实现要素：
在本说明书描述的行为预测系统的更新方法及装置中，基于新设计的行为预测系 统，引入丰富、全面的相关数据作为系统输入，从而有效提高预测结果的准确性。 根据第一方面，提供一种行为预测系统的更新方法，上述行为预测系统包括第一 预测模型、第二预测模型和注意力模型，上述方法包括： 获取训练样本，上述训练样本中包括第一用户的用户特征，大众偏好特征，业务对象的 对象特征及其所属业务方的业务方标识；上述大众偏好特征基于针对上述业务对象采集的 历史行为数据而确定，上述历史行为数据由多个用户在第一历史时刻之前产生；上述训练 样本中还包括样本标签，指示上述第一用户在上述第一历史时刻之后，是否对上述业务对 象做出特定行为。将上述用户特征和上述对象特征，输入上述第一预测模型中，得到第一预 测概率。将上述大众偏好特征输入上述第二预测模型中，得到第二预测概率。将上述业务方 标识输入上述注意力模型中，得到第一权重。利用第一权重和第二权重，对上述第一预测概 率和第二预测概率进行加权求和，得到综合预测概率；其中第二权重与第一权重的和值为 预定数值。利用上述综合预测概率和上述样本标签，更新上述行为预测系统中的模型参数。 在一个实施例中，上述用户特征包括用户属性特征和用户行为特征；上述用户属 性特征包括以下中的至少一项：性别、年龄、职业、地址、兴趣爱好；上述用户行为特征基于 上述第一历史时刻之前采集的用户行为数据而确定，上述用户行为特征包括以下中的至少 一项：第一用户做出上述特定行为所对应的若干业务对象、活跃度、消费特征。 在一个实施例中，上述业务对象属于以下中的任一种：内容信息、业务登录界面、 商品、服务、用户；其中内容信息的形式包括以下中的至少一种：图片、文本、视频。 在一个实施例中，上述业务对象为第一图片，上述对象特征包括以下中的至少一 7 CN 111553754 A 说　明　书 2/14 页 项：上述第一图片对应的多个像素值，其中各个像素值所对应的像素块个数，上述第一图片 中包含的文字内容。 在一个实施例中，上述特定行为包括点击行为、浏览达到预设时长的行为、注册行 为、登录行为、购买行为和关注行为。 在一个实施例中，上述大众偏好特征包括预设时长内上述业务对象所触达的用户 中，对上述业务对象做出上述特定行为的用户的占比。 在一个实施例中，上述用户特征和对象特征共同对应若干离散特征值和若干连续 特征值；其中，将上述用户特征和对象特征，输入上述第一预测模型中，得到第一预测概率， 包括： 对于上述若干离散特征值中任意的第一离散特征值，对其进行独热编码，得到第一独 热向量；将得到的对应于上述若干离散特征值的若干独热向量，以及上述若干连续特征值 输入上述第一预测模型中，得到第一预测概率。 在一个具体的实施例中，上述第一预测模型为交叉特征网络DCN模型，其中包括嵌 入堆叠层、深度交叉网络、深度网络和输出层；其中，将上述若干离散特征值的若干独热向 量，以及上述若干连续特征值输入上述第一预测模型中，得到第一预测概率，包括： 在上述嵌入堆叠层中，利用第一降维矩阵，对上述第一独热向量进行降维处理，得到第 一降维向量，从而得到对应于上述若干独热向量的若干降维向量，并且，将上述若干降维向 量和上述若干连续特征值进行顺序拼接，得到嵌入堆叠向量。在上述交叉网络中，对上述嵌 入堆叠向量进行逐层交叉处理，得到交叉表征向量。在上述深度网络中，对上述嵌入堆叠向 量进行逐层前向处理，得到深度表征向量。在上述输出层中，对将上述交叉表征向量和深度 表征向量进行拼接得到的拼接向量进行处理，得到上述第一预测概率。 在一个实施例中，上述第二预测模型为深度神经网络DNN模型、卷积神经网络CNN 模型或逻辑回归LR模型。 在一个实施例中，将上述业务方标识输入上述注意力模型中，得到第一权重，包 括：对上述业务方的业务方标识进行独热编码，得到标识独热向量；将上述标识独热向量输 入上述注意力模型中，得到上述第一权重。 在一个具体的实施例中，将上述标识独热向量输入上述注意力模型中，得到上述 第一权重：在上述注意力模型中，利用嵌入矩阵对上述标识独热向量进行嵌入处理，得到标 识嵌入向量；利用学习向量与上述标识嵌入向量进行点积，得到点积值；利用预定函数对上 述点积值进行归一化映射处理，得到上述第一权重。 在一个具体的实施例中，上述预定函数为sigmoid函数。 在一个实施例中，利用第一权重和第二权重，对上述第一预测概率和第二预测概 率进行加权求和，得到综合预测概率，包括： 将上述第一权重和第一预测概率的乘积，以及上述第二权重和第二预测概率的乘积之 间的和值，确定为上述综合预测概率；或者，将上述第一权重和第二预测概率的乘积，以及 上述第二权重和第一预测概率的乘积之间的和值，确定为上述综合预测概率。 根据第二方面，提供一种行为预测系统的更新方法，上述行为预测系统包括第一 预测模型、第二预测模型和注意力模型，上述方法包括： 获取训练样本，上述训练样本中包括第一用户的用户特征，大众偏好特征，业务对象的 8 CN 111553754 A 说　明　书 3/14 页 对象特征及其所属业务方的业务方标识；上述大众偏好特征基于针对上述业务对象采集的 历史行为数据而确定，上述历史行为数据由多个用户在第一历史时刻之前产生；上述训练 样本中还包括样本标签，指示上述第一用户在上述第一历史时刻之后，是否对上述业务对 象做出特定行为。将上述用户特征和上述对象特征，输入上述第一预测模型中，得到第一预 测概率。将上述大众偏好特征输入上述第二预测模型中，得到第二预测概率。将上述业务方 标识输入上述注意力模型中，得到第一权重。基于上述第一预测概率和上述样本标签，确定 第一预测损失。基于上述第二预测概率和上述样本标签，确定第二预测损失。利用第一权重 和第二权重，对上述第一预测损失和第二预测损失进行加权求和，得到综合预测损失；其中 第二权重与第一权重的和值为预定数值。利用上述综合预测损失，更新上述行为预测系统 中的模型参数。 根据第三方面，提供一种行为预测系统的更新装置，上述行为预测系统包括第一 预测模型、第二预测模型和注意力模型，上述装置包括： 样本获取单元，配置为获取训练样本，上述训练样本中包括第一用户的用户特征，大众 偏好特征，业务对象的对象特征及其所属业务方的业务方标识；上述大众偏好特征基于针 对上述业务对象采集的历史行为数据而确定，上述历史行为数据由多个用户在第一历史时 刻之前产生；上述训练样本中还包括样本标签，指示上述第一用户在上述第一历史时刻之 后，是否对上述业务对象做出特定行为。第一概率预测单元，配置为将上述用户特征和上述 对象特征，输入上述第一预测模型中，得到第一预测概率。第二概率预测单元，配置为将上 述大众偏好特征输入上述第二预测模型中，得到第二预测概率。权重预测单元，配置为将上 述业务方标识输入上述注意力模型中，得到第一权重。综合概率确定单元，配置为利用第一 权重和第二权重，对上述第一预测概率和第二预测概率进行加权求和，得到综合预测概率； 其中第二权重与第一权重的和值为预定数值。训练单元，配置为利用上述综合预测概率和 上述样本标签，更新上述行为预测系统中的模型参数。 根据第四方面，提供一种行为预测系统的更新装置，上述行为预测系统包括第一 预测模型、第二预测模型和注意力模型，上述装置包括： 样本获取单元，配置为获取训练样本，上述训练样本中包括第一用户的用户特征，大众 偏好特征，业务对象的对象特征及其所属业务方的业务方标识；上述大众偏好特征基于针 对上述业务对象采集的历史行为数据而确定，上述历史行为数据由多个用户在第一历史时 刻之前产生；上述训练样本中还包括样本标签，指示上述第一用户在上述第一历史时刻之 后，是否对上述业务对象做出特定行为。第一概率预测单元，配置为将上述用户特征和上述 对象特征，输入上述第一预测模型中，得到第一预测概率。第二概率预测单元，配置为将上 述大众偏好特征输入上述第二预测模型中，得到第二预测概率。权重预测单元，配置为将上 述业务方标识输入上述注意力模型中，得到第一权重。第一损失确定单元，配置为基于上述 第一预测概率和上述样本标签，确定第一预测损失。第二损失确定单元，配置为基于上述第 二预测概率和上述样本标签，确定第二预测损失。综合损失确定单元，配置为利用第一权重 和第二权重，对上述第一预测损失和第二预测损失进行加权求和，得到综合预测损失；其中 第二权重与第一权重的和值为预定数值。训练单元，配置为利用上述综合预测损失，更新上 述行为预测系统中的模型参数。 根据第五方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述 9 CN 111553754 A 说　明　书 4/14 页 计算机程序在计算机中执行时，令计算机执行第一方面或第二方面所描述的方法。 根据第六方面，提供了一种计算设备，包括存储器和处理器，其特征在于，所述存 储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面或第二方面 所描述的方法。 在本说明书实施例披露的行为预测系统的更新方法中，通过采用丰富全面的用户 个人数据、业务对象信息和大众偏好数据，对新设计的包括第一预测模型、第二预测模型和 注意力模型的行为预测系统进行调参，可以得到更新后的行为预测系统，用于预测目标用 户是否会对目标业务对象做出特定行为，或者做出特定行为的概率，从而实现对目标用户 的精准业务推荐，进而有效提高用户体验。 附图说明 为了更清楚地说明本说明书披露的多个实施例的技术方案，下面将对实施例描述 中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书披露 的多个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据 这些附图获得其它的附图。 图1示出根据一个实施例的行为预测系统的系统架构示意图； 图2示出根据一个实施例的行为预测系统的更新方法流程图； 图3示出根据一个示例的预测系统的系统架构示意图； 图4示出根据一个实施例的行为预测系统的更新装置结构图； 图5示出根据另一个实施例的行为预测系统的更新装置结构图。