
技术摘要:
本申请公开了视频风格迁移方法和装置,涉及计算机视觉技术领域。该方法的一具体实施方式包括:获取视频中相邻两帧的在先图像帧进行风格迁移的中间特征;获取相邻两帧的光流,基于光流,对在先图像帧进行风格迁移的中间特征进行扭曲处理,得到相邻两帧中的在后图像帧进 全部
背景技术:
生成对抗网络(generative adversarial networks,GAN)能够将一种风格的图片 转化为另外一种风格的图片,比如能将真人的自拍照片转为卡通风格。目前的GAN网络通常 都是针对单帧图像生成的,其速度通常都比较慢,当用来生成视频的时候难以在移动端上 达到实时的效果。
技术实现要素:
本申请实施例提供了一种视频风格迁移方法、装置、电子设备以及计算机可读介 质。 根据第一方面,提供了一种视频风格迁移方法,上述方法包括:获取视频中相邻两 帧的在先图像帧进行风格迁移的中间特征;获取相邻两帧的光流;基于光流,对在先图像帧 进行风格迁移的中间特征进行扭曲处理,得到相邻两帧中的在后图像帧进行风格迁移的中 间特征;采用在后图像帧进行风格迁移的中间特征更新在先图像帧进行风格迁移的中间特 征,得到在后图像帧进行风格迁移后的风格化帧。 根据第二方面,提供了一种视频风格迁移装置,上述装置包括:特征获取模块,被 配置成获取视频中相邻两帧的在先图像帧进行风格迁移的中间特征;光流获取模块,被配 置成获取相邻两帧的光流;扭曲处理模块,被配置成基于光流,对在先图像帧进行风格迁移 的中间特征进行扭曲处理,得到相邻两帧中的在后图像帧进行风格迁移的中间特征;风格 迁移模块,被配置成采用在后图像帧进行风格迁移的中间特征更新在先图像帧进行风格迁 移的中间特征,得到在后图像帧进行风格迁移后的风格化帧。 根据第三方面,提供了一种电子设备,该电子设备包括:一个或多个处理器;存储 装置,其上存储有一个或多个程序;当一个或多个程序被一个或多个处理器执行,使得一个 或多个处理器实现如第一方面任一实现方式描述的方法。 根据第四方面,提供了一种计算机可读介质,其上存储有计算机程序,该程序被处 理器执行时实现如第一方面任一实现方式描述的方法。 本申请的实施例提供的视频风格迁移方法和装置,首先获取视频中相邻两帧的在 先图像帧进行风格迁移的中间特征;然后获取相邻两帧的光流,再后基于光流,对在先图像 帧进行风格迁移的中间特征进行扭曲处理,得到相邻两帧中的在后图像帧进行风格迁移的 中间特征;最后采用在后图像帧进行风格迁移的中间特征更新在先图像帧进行风格迁移的 中间特征,得到在后图像帧进行风格迁移后的风格化帧。由此,无需在后图像帧进行全路径 的风格迁移运算,只需在后图像帧进行风格迁移的中间特征进行后续路径风格迁移运算, 节省了计算量,减少了视频进行风格迁移时的耗时,在不损失风格迁移效果的情况下提高 4 CN 111556244 A 说 明 书 2/11 页 了视频风格迁移时的帧率。 应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特 征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。 附图说明 附图用于更好地理解本方案,不构成对本申请的限定。其中: 图1是根据本申请视频风格迁移方法的实施例的示例性流程图; 图2是根据本申请实施例的获取相邻两帧的光流的方法的一种示例性流程图; 图3是根据本申请实施例的得到在后图像帧进行风格迁移的中间特征的方法的一 种示例性流程图; 图4是根据本申请实施例的得到平滑后的中间特征的方法的一种示例性流程图; 图5是根据本申请视频风格迁移方法中的在先图像帧的一个示例图; 图6是根据本申请视频风格迁移方法中的在先图像帧进行风格迁移后的风格化帧 的示例图。 图7是根据本申请视频风格迁移方法中的在后图像帧的一个示例图; 图8是根据本申请视频风格迁移方法中相邻两帧的光流的示例图; 图9是根据本申请视频风格迁移方法中的在后图像帧进行风格迁移后的风格化帧 的示例图。 图10是根据本申请视频风格迁移装置的实施例的结构示意图; 图11是用来实现本申请实施例的视频风格迁移方法的电子设备的框图。