
技术摘要:
本发明公开了一种基于广义协方差的主成分分析方法,包括以下步骤:给定高维输入数据,利用非线性映射函数将原始样本的特征向量映射到新的空间,然后在此基础上,计算广义协方差;利用特征值分解求解投影方向。本发明可以学习不同特征之间的非线性关系,突破传统样本间 全部
背景技术:
在模式识别和计算机视觉领域,诸如主成分分析、线性鉴别分析、典型相关分析等 成分分析方法被广泛用于回归、分类、聚类以及视觉任务的数据表示学习。成分分析方法旨 在从原始高维数据集中提取有用的低维成分用于所给任务的鉴别表示。学习低维成分和表 示十分重要,其可以有效地提升计算机视觉任务的性能。 现有的成分分析方法可大致分为三类:无监督的、监督的以及半监督的方法。无监 督的方法在紧凑表示学习中不使用训练数据的类别标签信息。与无监督成分分析方法相 反,监督的成分分析方法在学习紧凑表示的过程中使用训练数据的标签信息。在现实生活 中,由于获取大量带标签数据的代价十分高昂,通常情况是只有少量的带标签数据,大量数 据都是无标签的。半监督成分分析方法的目标则是充分利用这样的数据来学习有用的低维 特征表示。 尽管现有的基于协方差的成分分析方法已经被成功应用到了许多科学应用中,但 他们只能描述不同特征之间的线性关系,同时,在小样本情况下,协方差矩阵是奇异的,使 得一些成分分析方法表现不佳。
技术实现要素:
本发明的目的是克服现有缺陷,提供一种基于广义协方差的主成分分析方法,解 决了现有技术中协方差不能描述特征之间非线性关系以及在小样本场景下协方差矩阵奇 异的问题。 本发明的目的是这样实现的:一种基于广义协方差的主成分分析方法,包括以下 步骤: 步骤1:给定高维输入数据,利用非线性映射函数将原始样本的特征向量映射到新 的空间,计算广义协方差; 步骤2:利用特征值分解求解投影方向。 作为本发明的进一步限定,所述步骤1具体包括: 对于已经给出的训练数据 其中D为样本特征的维度,N为 样本的数量,定义 为X的第i行向量,代表所有样本的第i个特征,定义 一个非线性映射函数ψ(·),将特征向量fi映射到一个新的空间 其中M表示ψ(fi)在新空间中的维度; 对于X中任意两个特征向量fi和fj,广义协方差cij定义如下: cij=ψ(f Ti)ψ(fj) ,i,j=1,2,…,D, 3 CN 111612092 A 说 明 书 2/4 页 且广义协方差矩阵C定义为: 作为本发明的进一步限定,所述步骤2具体包括: 对于定义的广义协方差矩阵C,基于广义协方差的主成分分析方法旨在求解如下 最优化问题(1): 其中Tr(·)代表矩阵的迹,I为单位矩阵,W为待求解的投影方向; 对于上述最优化问题(1),定义投影ψ(·)为某些核映射,因此上述最优化问题(1) 可变为: 其中 为核矩阵,其第(i,j)项为ψ(fi)Tψ(fj)=k(fi,fj),且k(·,·)表示 一种核函数;求解得到的广义协方差的主成分分析方法投影矩阵 包含了Kw=λw的 前d个最大特征值对应的d个特征向量。 与现有技术相比,本发明的有益效果在于:本发明给定高维输入数据,利用非线性 映射函数将原始样本的特征向量映射到新的空间,然后在此基础上计算广义协方差;再通 过特征值分解求解投影方向;本发明可以学习不同特征之间的非线性关系,突破传统样本 间的关系学习的限制,能够改善模式分类特别是在小样本问题下的分类性能表现。 附图说明 图1是本发明的流程图。 图2是本发明在AT&T数据集上采用多项式核函数的人脸识别率随两个核参数(n和 θ)变化的三维柱状图。