技术摘要：
本申请的公开一种神经网络训练及运动轨迹确定方法、装置、设备和介质。该方法可以包括，获取至少两个图像序列，上述至少两个图像序列可以包括第一图像序列，以及与上述第一图像序列相邻的第二图像序列。根据上述第一图像序列以及上述第二图像序列，对上述神经网络进行  全部
背景技术：
在相关技术中，在进行神经网络训练时通常运用单一场景下的样本进行预训练。 然而，由于实际场景和预训练时使用的场景往往有较大的区别，进行过预训练的神经网络 在实际使用时，其性能往往会大幅下降。因此，在实际使用中，当针对不同场景时，上述神经 网络的泛化性将变得较差。
技术实现要素：
有鉴于此，本申请至少公开一种神经网络训练及运动轨迹确定方法、装置、设备和 介质。 根据本申请实施例的第一方面，本申请提出一种神经网络训练方法，上述方法可 以包括： 获取至少两个图像序列，上述至少两个图像序列可以包括第一图像序列，以及与 上述第一图像序列相邻的第二图像序列； 根据上述第一图像序列以及上述第二图像序列，对上述神经网络进行训练，以得 到目标网络参数； 采用上述目标网络参数配置上述神经网络。 在示出的一实施例中，上述根据上述第一图像序列以及上述第二图像序列，对上 述神经网络进行训练，以得到目标网络参数，可以包括： 根据上述第一图像序列以及上述第二图像序列，对上述神经网络进行迭代训练， 直至上述神经网络收敛，得到上述目标网络参数； 其中，在一次迭代训练中，通过上述神经网络，获取上述第一图像序列中相邻两帧 图像之间的相对位姿，上述相邻两帧图像可以包括第一图像以及采集时刻位于上述第一图 像之后的第二图像； 根据上述第一图像序列中上述第一图像对应的深度图像，以及上述第一图像与上 述第二图像之间的相对位姿，得到上述第二图像对应的合成图像； 根据上述第一图像序列中多帧上述第二图像以及与多帧上述第二图像对应的上 述合成图像，确定第一训练误差； 基于上述第一训练误差，得到第一中间网络参数。 在示出的一实施例中，在上述得到第一中间网络参数后，上述方法还可以包括： 通过采用上述第一中间网络参数配置的上述神经网络，获取上述第二图像序列中 相邻两帧图像之间的相对位姿，上述相邻两帧图像可以包括第三图像以及采集时刻位于上 述第三图像之后的第四图像； 6 CN 111583305 A 说　明　书 2/23 页 根据上述第二图像序列中上述第三图像对应的深度图像，以及上述第三图像与上 述第四图像之间的相对位姿，得到上述第四图像对应的合成图像； 根据上述第二图像序列中多帧上述第四图像以及与多帧上述第四图像对应的上 述合成图像，确定第二训练误差； 基于上述第二训练误差，得到第二中间网络参数。 在示出的一实施例中，上述基于上述第一训练误差，得到第一中间网络参数，可以 包括： 基于梯度下降法，以及上述第一训练误差，对上述神经网络进行一次梯度下降，得 到第一中间网络参数； 和/或， 上述基于上述第二训练误差，得到第二中间网络参数，可以包括： 基于梯度下降法，以及上述第二训练误差，对上述神经网络进行一次梯度下降，得 到第二中间网络参数。 在示出的一实施例中，上述神经网络可以包括深度神经网络，上述深度神经网络， 可以包括卷积神经网络、以及卷积长短时序记忆网络；其中，上述卷积神经网络的输出为上 述卷积长短时序记忆网络的输入。 在示出的一实施例中，上述根据上述神经网络，获取上述第一图像序列中相邻两 帧图像之间的相对位姿，可以包括： 将上述第一图像序列中的相邻两帧图像的深度图像，以及上述相邻两帧图像，输 入上述神经网络，确定上述相对位姿； 其中，在确定上述相对位姿的过程中，输入上述卷积长短时序记忆网络记忆的上 述相邻两帧图像之前的至少部分图像的图像特征； 和/或， 上述根据采用上述第一中间网络参数配置的神经网络，获取上述第二图像序列中 相邻两帧图像之间的相对位姿，可以包括： 将上述第二图像序列中的相邻两帧图像的深度图像，以及上述相邻两帧图像，输 入采用上述第一中间网络参数配置的神经网络，确定上述相对位姿； 其中，在确定上述相对位姿的过程中，输入上述卷积长短时序记忆网络记忆的上 述相邻两帧图像之前的至少部分图像的图像特征。 在示出的一实施例中，在根据上述第一图像序列中上述第一图像对应的深度图 像，以及上述第一图像与上述第二图像之间的相对位姿，得到上述第二图像对应的合成图 像之前，上述方法还可以包括： 将上述第一图像序列中上述第一图像，输入上述神经网络，确定第一图像序列中 上述第一图像的深度图像； 其中，在确定上述深度图像的过程中，输入上述卷积长短时序记忆网络记忆的上 述第一图像之前至少部分图像的图像特征； 和/或， 在根据上述第二图像序列中上述第三图像对应的深度图像，以及上述第三图像与 上述第四图像之间的相对位姿，得到上述第四图像对应的合成图像之前，上述方法还可以 7 CN 111583305 A 说　明　书 3/23 页 包括： 将上述第二图像序列中上述第三图像，输入采用上述第一中间网络参数配置的神 经网络，确定上述第三图像的深度图像； 其中，在确定上述深度图像的过程中，输入上述卷积长短时序记忆网络记忆的上 述第三图像之前至少部分图像的图像特征。 在示出的一实施例中，上述神经网络可以包括若干卷积层； 上述方法还可以包括： 在一次迭代训练中，在将上述第一图像序列中的多帧图像作为训练样本，输入上 述神经网络后，通过上述神经网络可以包括的各卷积层输出的特征图，得到上述各卷积层 输出的特征图对应的分布情况； 在将上述第二图像序列中的多帧图像作为训练样本，输入采用上述第一中间网络 参数配置的神经网络的情况下，基于得到的上述分布情况，对上述第一中间网络参数配置 的上述神经网络的各卷积层输出的特征图进行特征对齐处理； 通过采用上述第一中间网络参数配置的上述神经网络，基于特征对齐后的各特征 图，输出上述第二图像序列中相邻两帧图像之间的相对位姿，和/或上述第二图像序列中图 像的深度图像。 在示出的一实施例中，在确定第一估计训练误差之前，上述方法还可以包括： 根据上述第二图像以及与上述第二图像对应的上述合成图像，构建残差图； 基于上述残差图，确定上述第二图像对应的掩膜区域； 和/或， 在确定第二估计训练误差之前，上述方法还可以包括： 根据上述第四图像以及与上述第四图像对应的上述合成图像，构建残差图； 基于上述残差图，确定上述第四图像对应的掩膜区域。 在示出的一实施例中，上述第一图像序列与上述第二图像序列在时序上相邻，且 上述第一图像序列的最后一帧图像的拍摄时间，在上述第二图像序列的第一帧图像的拍摄 时间之前。 在示出的一实施例中，上述第一图像序列可以包括训练样本，上述第二图像序列 可以包括测试样本。 在示出的一实施例中，上述神经网络用于构建视觉里程计。 根据本申请实施例的第二方面，本申请公开一种运动轨迹确定方法，上述方法可 以包括： 获取移动设备采集的待处理连续图像序列； 将上述待处理连续图像序列输入神经网络，以得到上述移动设备的运动轨迹； 其中，上述神经网络为根据上述第一方面中任意一项进行训练得到的神经网络。 在示出的一实施例中，上述将上述待处理连续图像序列输入神经网络，以得到上 述移动设备的运动轨迹，可以包括： 根据上述神经网络，获取上述待处理连续图像序列中相邻两帧图像之间的相对位 姿； 对获取到的上述待处理连续图像序列中所有相邻两帧图像之间的相对位姿进行 8 CN 111583305 A 说　明　书 4/23 页 累加，得到上述移动设备的运动轨迹。 根据本申请实施例的第三方面，本申请提出一种神经网络训练装置。上述装置可 以包括： 获取模块，获取至少两个图像序列，上述至少两个图像序列可以包括第一图像序 列，以及与上述第一图像序列相邻的第二图像序列； 训练模块，根据上述第一图像序列以及上述第二图像序列，对上述神经网络进行 训练，以得到目标网络参数； 配置模块，采用上述目标网络参数配置上述神经网络。 在示出的一实施例中，上述训练模块，可以包括： 迭代训练子模块，根据上述第一图像序列以及上述第二图像序列，对上述神经网 络进行迭代训练，直至上述神经网络收敛，得到上述目标网络参数； 其中，在一次迭代训练中，通过上述神经网络，获取上述第一图像序列中相邻两帧 图像之间的相对位姿，上述相邻两帧图像可以包括第一图像以及采集时刻位于上述第一图 像之后的第二图像； 根据上述第一图像序列中上述第一图像对应的深度图像，以及上述第一图像与上 述第二图像之间的相对位姿，得到上述第二图像对应的合成图像； 根据上述第一图像序列中多帧上述第二图像以及与多帧上述第二图像对应的上 述合成图像，确定第一训练误差； 基于上述第一训练误差，得到第一中间网络参数。 在示出的一实施例中，上述迭代训练子模块，还可以包括： 在上述得到第一中间网络参数后，通过采用上述第一中间网络参数配置的上述神 经网络，获取上述第二图像序列中相邻两帧图像之间的相对位姿，上述相邻两帧图像可以 包括第三图像以及采集时刻位于上述第三图像之后的第四图像； 根据上述第二图像序列中上述第三图像对应的深度图像，以及上述第三图像与上 述第四图像之间的相对位姿，得到上述第四图像对应的合成图像； 根据上述第二图像序列中多帧上述第四图像以及与多帧上述第四图像对应的上 述合成图像，确定第二训练误差； 基于上述第二训练误差，得到第二中间网络参数。 在示出的一实施例中，上述迭代训练子模块，进一步可以包括： 基于梯度下降法，以及上述第一训练误差，对上述神经网络进行一次梯度下降，得 到第一中间网络参数； 和/或， 上述基于上述第二训练误差，得到第二中间网络参数，可以包括： 基于梯度下降法，以及上述第二训练误差，对上述神经网络进行一次梯度下降，得 到第二中间网络参数。 在示出的一实施例中，上述神经网络可以包括深度神经网络，上述深度神经网络， 可以包括卷积神经网络、以及卷积长短时序记忆网络；其中，上述卷积神经网络的输出为上 述卷积长短时序记忆网络的输入。 在示出的一实施例中，上述迭代训练子模块，进一步可以包括： 9 CN 111583305 A 说　明　书 5/23 页 将上述第一图像序列中的相邻两帧图像的深度图像，以及上述相邻两帧图像，输 入上述神经网络，确定上述相对位姿； 其中，在确定上述相对位姿的过程中，输入上述卷积长短时序记忆网络记忆的上 述相邻两帧图像之前的至少部分图像的图像特征； 和/或， 上述根据采用上述第一中间网络参数配置的神经网络，获取上述第二图像序列中 相邻两帧图像之间的相对位姿，可以包括： 将上述第二图像序列中的相邻两帧图像的深度图像，以及上述相邻两帧图像，输 入采用上述第一中间网络参数配置的神经网络，确定上述相对位姿； 其中，在确定上述相对位姿的过程中，输入上述卷积长短时序记忆网络记忆的上 述相邻两帧图像之前的至少部分图像的图像特征。 在示出的一实施例中，上述迭代训练子模块，进一步可以包括： 在根据上述第一图像序列中上述第一图像对应的深度图像，以及上述第一图像与 上述第二图像之间的相对位姿，得到上述第二图像对应的合成图像之前，将上述第一图像 序列中上述第一图像，输入上述神经网络，确定第一图像序列中上述第一图像的深度图像； 其中，在确定上述深度图像的过程中，输入上述卷积长短时序记忆网络记忆的上 述第一图像之前至少部分图像的图像特征； 和/或， 在根据上述第二图像序列中上述第三图像对应的深度图像，以及上述第三图像与 上述第四图像之间的相对位姿，得到上述第四图像对应的合成图像之前，将上述第二图像 序列中上述第三图像，输入采用上述第一中间网络参数配置的神经网络，确定上述第三图 像的深度图像； 其中，在确定上述深度图像的过程中，输入上述卷积长短时序记忆网络记忆的上 述第三图像之前至少部分图像的图像特征。 在示出的一实施例中，上述神经网络可以包括若干卷积层。上述装置还可以包括： 统计分布模块，在一次迭代训练中，在将上述第一图像序列中的多帧图像作为训 练样本，输入上述神经网络后，通过上述神经网络可以包括的各卷积层输出的特征图，得到 上述各卷积层输出的特征图对应的分布情况。 特征对齐模块，在将上述第二图像序列中的多帧图像作为训练样本，输入采用上 述第一中间网络参数配置的神经网络的情况下，基于得到的上述分布情况，对上述第一中 间网络参数配置的上述神经网络的各卷积层输出的特征图进行特征对齐处理。 输出模块，通过采用上述第一中间网络参数配置的上述神经网络，基于特征对齐 后的各特征图，输出上述第二图像序列中相邻两帧图像之间的相对位姿，和/或上述第二图 像序列中图像的深度图像。 在示出的一实施例中，上述迭代训练子模块，进一步可以包括： 根据上述第二图像以及与上述第二图像对应的上述合成图像，构建残差图； 基于上述残差图，确定上述第二图像对应的掩膜区域； 和/或， 在确定第二估计训练误差之前，上述方法还可以包括： 10 CN 111583305 A 说　明　书 6/23 页 根据上述第四图像以及与上述第四图像对应的上述合成图像，构建残差图； 基于上述残差图，确定上述第四图像对应的掩膜区域。 在示出的一实施例中，上述第一图像序列与上述第二图像序列在时序上相邻，且 上述第一图像序列的最后一帧图像的拍摄时间，在上述第二图像序列的第一帧图像的拍摄 时间之前。 在示出的一实施例中，上述第一图像序列可以包括训练样本，上述第二图像序列 可以包括测试样本。 在示出的一实施例中，上述神经网络用于构建视觉里程计。 根据本申请实施例的第四方面，本申请公开一种神经网络训练装置，上述装置可 以包括： 获取模块，获取移动设备采集的待处理连续图像序列； 输入模块，将上述待处理连续图像序列输入神经网络，以得到上述移动设备的运 动轨迹； 其中，上述神经网络为根据上述第一方面中任意一项进行训练得到的神经网络。 在示出的一实施例中，上述输入模块可以包括： 根据上述神经网络，获取上述待处理连续图像序列中相邻两帧图像之间的相对位 姿； 对获取到的上述待处理连续图像序列中所有相邻两帧图像之间的相对位姿进行 累加，得到上述移动设备的运动轨迹。 根据本申请实施例的第五方面，本申请提出一种计算机可读存储介质，上述存储 介质存储有计算机程序，上述计算机程序用于执行上述第一方面中任一上述的神经网络训 练方法。 根据本申请实施例的第六方面，本申请公开一种计算机可读存储介质，上述存储 介质存储有计算机程序，上述计算机程序用于执行上述第二方面中任一项上述的运动轨迹 确定方法。 根据本申请实施例的第七方面，本申请提出一种神经网络训练设备。上述设备可 以包括： 处理器； 用于存储上述处理器可执行指令的存储器； 其中，上述处理器被配置为调用上述存储器中存储的可执行指令，实现上述第一 方面中任一项上述的神经网络训练方法。 根据本申请实施例的第八方面，本申请公开一种运动轨迹确定设备，该设备可以 包括处理器； 用于存储上述处理器可执行指令的存储器； 其中，上述处理器被配置为调用上述存储器中存储的可执行指令，实现上述第二 方面中任一项上述的运动轨迹确定方法。 由上述技术方案可知，在训练上述神经网络时，由于根据相邻的至少两个图像序 列，对上述神经网络进行训练，以得到目标网络参数，并采用上述目标网络参数配置上述神 经网络，因此，配置完成的上述神经网络在适应新场景的同时，仍对历史场景有较好的估 11 CN 111583305 A 说　明　书 7/23 页 计，从而提升了上述神经网络的泛化性能与实用性。 在确定运动轨迹时，由于根据上述第一方面中任意一项进行训练得到的神经网络 的泛化性能和实用性能均有提高，因此，将待处理连续图像序列，输入上述神经网络中确定 移动设备的运动轨迹，可以提升运动轨迹确定精确度。 应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不 能限制本申请。 附图说明 为了更清楚地说明本申请一个或多个实施例或相关技术中的技术方案，下面将对 实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附 图仅仅是本申请一个或多个实施例中记载的一些实施例，对于本领域普通技术人员来讲， 在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。 图1为本申请示出的一种神经网络训练方法的方法流程图； 图2为本申请示出的一种神经网络的结构示意图； 图3为本申请示出的一种神经网络的结构示意图； 图4为本申请示出的一种深度图像估计网络的结构示意图； 图5为本申请示出的一种相对位姿估计网络的结构示意图； 图6为本申请示出的一种运动轨迹确定方法的方法流程图； 图7为本申请时候粗的一种神经网络训练装置的结构图； 图8为本申请时候粗的一种运动轨迹确定装置的结构图； 图9为本申请示出的一种神经网络训练设备的硬件结构图； 图10为本申请示出的一种运动轨迹确定设备的硬件结构图。