logo好方法网

文本生成方法、装置、电子设备和计算机可读介质


技术摘要:
本公开的实施例公开了文本生成方法、装置、电子设备和计算机可读介质。该方法的一具体实施方式包括:获取源文本;将源文本输入变分自编码器,得到目标文本,其中,变分自编码器以混合指数分布作为先验,变分自编码器在训练过程中所使用的损失函数包括分散项,分散项用  全部
背景技术:
变分自编码器(VAE,Variational  auto-encoder)由于其自身特性被广泛应用于 文本生成、图像生成等等领域。但是,变分训练中往往存在模式塌缩的问题。举例来说,在语 言生成任务中,多个高斯先验在训练中趋于崩溃,最终反生成为一个高斯先验。如图1所示, 预约“remind  me  about  my  meeting.”和询问天气“will  it  be  humid  in**today?”被映 射到同一个模式。此外,在图像建模任务中也观察到模式塌缩的问题。
技术实现要素:
本公开的内容部分用于以简要的形式介绍构思,这些构思将在后面的具体实施方 式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必 要特征,也不旨在用于限制所要求的保护的技术方案的范围。 本公开的一些实施例提出了文本生成方法、装置、电子设备和计算机可读介质,来 解决以上
分享到:
收藏