
技术摘要:
本发明提供了一种针对自动驾驶汽车安全性的评价方法,将安全性测试所得到的试验结果按照逻辑场景参数空间的边界进行对称化处理,将对称处理之后的试验数据进行标准化处理;初步计算试验数据的聚类中心,当聚类中心只有一个时使用单高斯模型聚类方法对试验数据进行聚类 全部
背景技术:
随着深度学习、云计算、大数据等技术的不断提高,实现自动驾驶汽车的量产已具 备了技术可能性。由于自动驾驶在减少污染、提升安全、降低拥堵等方面的优势,自动驾驶 已成为汽车产业的未来趋势。然而,如何保证自动驾驶汽车的安全性成为制约自动驾驶进 一步发展的障碍。由于自动驾驶功能的不断提高,其可应用的场景逐渐变得复杂,影响自动 驾驶安全性的因素也变得越来越多。 现有的自动驾驶测试多着重于测试方法,以发明专利《一种自动驾驶测试场景再 现模拟方法、装置及系统》(申请号201910223012.3:)、发明专利《一种自动驾驶车辆测试仿 真场景生成方法》(申请号:201910443763.6)、发明专利《一种自动驾驶仿真测试场景的生 成方法及生成系统》(申请号:201910797521.7) 这类测试方法类专利为例,其首先通过收 集自动驾驶的行驶环境信息,然后分析其发生事故或存在危险的关键场景,提取场景中要 素及参数变化范围,最后通过一定的装置及方法在仿真的环境中进行重现。 这些相关专利对于如何评价其安全性则稍显薄弱,大多只分析了测试场景的生成 方法,而对于后续如何评价自动驾驶的安全性未进行详细的描述。由于自动驾驶汽车应用 场景的复杂性,使用简单的单一测试用例的通过性评价不能表现其整体性能,应基于统计 数据的方式,从统计分析的角度出发,才能对其进行评价。
技术实现要素:
为了解决现有评价方法的缺失,本发明提供一种自动驾驶汽车安全性评价方法。 本发明是采用如下技术方案实现的: 一种针对自动驾驶汽车安全性的评价方法,用于测试和评价自动驾驶算法的安全 性,基于一种基于场景的自动驾驶汽车测试方法,基于场景的测试方法根据客户需要自行 选择自动驾驶汽车测试逻辑场景,按照被测算法的功能自行设定逻辑场景参数空间范围, 考虑传感器精度、算法效率、算法精度、测试平台运行频率、测试平台性能将逻辑场景中的 连续参数进行离散化处理获得具体测试用例,使用穷举法将得到的所有具体测试用例在仿 真环境下进行测试,所有具体测试用例的试验结果中发生碰撞的情况所对应的具体测试用 例参数形成数据集合X1,数据集合X1为一个数据矩阵,矩阵的每一行为一个具体测试用例所 对应的一组场景要素参数,矩阵的每一列为一类场景要素参数的所有值,基于这种测试方 法获得具体场景要素数据集合X1,本方法设定具体场景要素数据集合X1的数据处理流程并 设定安全性评价指标,对自动驾驶汽车安全性进行评价,其特征在于,本方法的具体步骤如 下: 步骤一、将具体场景要素数据集合X1按照如下数据处理流程进行处理: 7 CN 111580500 A 说 明 书 2/12 页 将试验数据对称化处理:以所选逻辑场景的场景要素参数类型建立坐标系,各个 坐标轴所对应的内容即为逻辑场景中不同的场景要素参数类型;逻辑场景中不同场景要素 参数对应的参数空间均存在上限和下限,危险边界为理论情况下容易发生危险的参数空间 位置的上限或下限;将具体场景要素数据集合X1在建立的坐标系下根据不同的场景要素危 险边界数值形成的坐标轴按顺序进行对称化处理,即具体场景要素数据集合X1以列为单位 发生改变,每次对称时发生对称的列以该类型参数的危险边界数值为对称轴产生新数据, 其他未发生对称的列数值不变,其他未发生对称的列复制并且其数值按照之前的对应顺序 与复制后的列形成新的对称后的数据;每次对称后将对称得到的新数据和原始数据一起作 为下次对称的原始数据;对称化处理完成后得到对称化处理后的数据集合X2,X2的矩阵定义 与X1相同; 将对称化处理后的试验数据集合X2进行标准化处理,得到标准化处理后的坐标系 中的试验数据集X:采用Z-score归一化方法对危险参数进行标准化处理,如式(1)所示: 式中,xf是标准化处理后的数据集合X的第f维参数列向量,bf是对称化处理后数据 集合X2矩阵的第f维参数列向量,bf_mean是对称化处理后数据集合X2矩阵的第f维参数的均 值,sf是对称化处理后数据集合X2矩阵的第f维参数的标准差,下角标f代表逻辑场景的第f 个维度即X1矩阵的第f列也就是第f类场景要素,d为所选逻辑场景的变量维度总数即X1矩阵 的列数也就是场景要素类型的数量; 初步计算标准化处理后的坐标系中的试验数据集合X的聚类中心数目:采用计算 组内残差平方和的方式计算危险参数聚类中心数量,组内残差平方和是指所有聚类中每个 类内的要素距离其聚类中心的误差的平方的总和,如式(2) 所示;采用K-means聚类方法对 数据集合进行聚类,聚类中心g设置为1到10 分别聚类10次,分别计算这10次聚类结果的组 内残差平方和;当组内残差平方和变化速率变慢时,即认为增大聚类数目也不能对聚类结 果进行有效的提高,该速率变化的拐点数即为聚类中心数目; 式中,Y为组内残差平方和,m为所有数据点的数量即标准化处理后的坐标系中的 试验数据集合X的行数,x’为使用初步聚类得到的不同聚类的聚类中心; 选择后续聚类方式:当计算得到的聚类中心只有一个时,使用单高斯模型聚类方 法对试验数据进行聚类,当聚类中心存在多个时,使用高斯混合模型进行聚类; 单高斯模型聚类:单高斯模型聚类方法的公式如(3)所示: 式中,P(x|θs)为单一高斯模型概率密度函数,θs为高斯模型的参数,包括均值和标 准差,Σ为用来描述各维变量相关度的协方差矩阵,μ为危险参数向量的均值,由于数据已 8 CN 111580500 A 说 明 书 3/12 页 经经过了对称化和标准化处理,所以若只存在单高斯型的情况下经过处理后分布的均值为 0,标准差为1; 高斯混合模型聚类:高斯混合模型聚类又名EM聚类算法,通过迭代进行 E-step和 M-step来获得如式(4)所示的高斯混合模型; 式中,G(x|θ)为高斯混合模型概率密度函数,φ(x|θk)为高斯混合模型中的不同 高斯分布,θ为高斯混合模型的参数,包括第k个单高斯模型的权重αk和模型参数θk,θk包括 均值μk和标准差σk,K为单个高斯模型的总个数即计算得到的聚类中心数量; 统计得到的高斯模型参数:统计单高斯模型聚类或高斯混合模型聚类的聚类后的 所有高斯分布的均值、标准差; 删除因对称处理产生的多余高斯分布:删除除坐标原点位置处其他因对称处理产 生的多余高斯分布,这些需要删除的多余的高斯分布的特点是均值存在对称、标准差相同, 这类高斯分布只需要保留原始的一个; 步骤二、确定自动驾驶安全性评价指标,定义逻辑场景中发生碰撞的具体测试用 例参数聚类得到的连续分布参数范围即聚类得到的高斯分布范围为被测自动驾驶算法在 该逻辑场景下的危险域,本方法提出的安全性评价指标包括危险域离散度、危险域范围和 场景危险率: 危险域离散度:本方法使用危险域离散度用来表示进行测试时发现危险的困难程 度,包括两部分,一是不同危险域相对于逻辑场景中最危险边界点的距离,最危险边界点为 给定的逻辑场景参数空间中各个参数维度的危险边界的交点,二是不同危险域之间的相对 距离;由于数据经过对称化及标准化处理,逻辑场景中最危险边界点转化成为标准化处理 后的坐标系内的坐标原点,不同聚类中心相对于标准化处理后的坐标系的坐标原点的欧氏 距离db即为不同危险域相对于最危险边界点的距离;其他不同危险域之间的相对距离用类 间距离ds表示,下标k表示不同的高斯分布,db-k为不同高斯分布的欧式距离,ds-k为不同高 斯分布的类间距离,如式(5)和(6)所示; 式中,μk为聚类中心的位置即高斯分布的均值,μmean为除原点外的聚类中心的均 值,下标k表示不同的聚类; 第k个危险域的危险域离散度dh_k为: dh_k=a·db_k c·ds_k (7) 式中,a和c均为权重系数,a和c的具体数值根据测试所选逻辑场景任意定义,a和c 的和为1; 危险域范围:本方法使用危险域范围作为自动驾驶安全性另一个评价指标,用来 9 CN 111580500 A 说 明 书 4/12 页 描述被测逻辑场景中发生碰撞的具体测试用例形成的连续分布的危险域的覆盖范围;危险 域范围Sk综合考虑参数的危险程度及其分布范围,采用高斯分布标准差表示,第k个危险域 的危险域范围Sk为: 式中,ω为不同维度参数的重要程度系数,σk为高斯分布的标准差,f代表逻辑场 景的第f个维度即X1矩阵的第f列也就是第f类场景要素,ω采用层次分析法确定,通过建立 参数判别矩阵并计算矩阵最大特征值和其对应的加权向量,在检验经过一致性通过后,最 大特征值对应的加权向量即为不同参数的重要程度ω; 场景危险率:本方法将危险域离散度和危险域范围两个指标进行耦合,建立可量 化的聚类评价指标——场景危险率Rd; 场景危险率Rd如式(9)所示: 式中,S1为标准化处理后的坐标系中的坐标原点处的危险域范围,Smin为理论最小 危险域范围,即在给定场景下,假设自动驾驶汽车以理想状态进行操作计算得到的危险域 范围,该计算流程与公式(1)至(8)的流程相同且为保证数据的可比性,计算Smin值的标准化 过程即公式(1)时,其标准化过程应将理想危险参数映射到测试危险参数域进行修正,修正 过程如(10)所示: 式中sk_v为理论最优算法数据处理计算标准化过程中使用的标准差参数即具体场 景要素数据集合X1不同列数值的标准差,sk_t为被测算法试验结果在标准化过程中使用的 标准差参数即理想情况测试结果中发生碰撞的具体场景要素数据集合不同列数值的标准 差; 由式(9)可知,场景危险率Rd的值越小,则表示所测试的自动驾驶算法在给定的多 维度逻辑场景下安全性越好,其下限值为1,如果场景危险率Rd的值超过1.5,则表示所测试 的自动驾驶算法的安全性就比较差,需要进一步优化。 进一步的技术方案包括: 高斯混合模型聚类的具体过程为: 高斯混合模型聚类别称为EM聚类算法,其将数据参数集合分解为多个高斯概率密 度函数分布组成的模型,如公式(4)所示: 式中,G(x|θ)为高斯混合模型概率密度函数,φ(x|θk)为高斯混合模型中的不同 高斯分布,θ为高斯混合模型的参数,包括第k个单高斯模型的权重αk和模型参数θk,θk包括 10 CN 111580500 A 说 明 书 5/12 页 均值μk和标准差σk,K为单个高斯模型的个数; 通过极大似然法对θ进行估计: θ*=argmaxL(θ) (11) 应用迭代算法对上式进行求解,EM算法的E-step为计算Q函数,Q函数代表给定第p 轮迭代的参数θp之后高斯混合模型G(x|θp)与给定数据之间的相似程度,如公式(14)所示; 式中, 称为后概率事件,即表示第j个观测数据来自第k个高斯密度函数的概率, 其如公式(5)所示: EM算法中的M-step为最大化Q函数,当计算第(p 1)步的参数θp 1时,对第p步的αk、 μk、σk求偏导并使其等于0,就可以使得Q函数极大化; 重复进行EM算法的E-step和M-step直至模型收敛即可得到高斯混合模型 G(x| θ),即为所求的高斯混合模型。 K-means聚类算法的过程如下: (1)自行确定g值,即希望得到的聚类数量,本方法中g的值设定为1到 10; (2)从数据集合X2中随机选择g个数据点作为聚类中心; (3)对数据集X2中每一个点,计算其与每一个聚类中心的欧式距离,将其划分到欧 式距离最近的聚类中心所属的聚类; (4)将所有数据归好聚类后,共有g个聚类,重新计算这g个聚类的聚类中心; (5)如果新计算出来每个聚类的聚类中心和原来选择的各个聚类的聚类中心之间 的欧式距离小于等于设置的阈值,则表示重新计算的质心的位置变化不大,结果收敛,即聚 类已经达到期望的结果,算法终止; (6)如果新计算出来每个聚类的聚类中心和原来选择的各个聚类的聚类中心之间 的欧式距离大于设置的阈值,则表示算法结果差,将新计算得到的聚类中心作为初始聚类 中心,重新进行3-5步。 与现有技术相比本发明的有益效果是: 本发明提供的一种针对自动驾驶汽车安全性的评价方法,可充分考虑自动驾驶汽 车在真实环境行驶时的统计学规律,不但可以描述发现自动驾驶汽车设计缺陷的困难程 度,还可以描述自动驾驶汽车设计缺陷的影响范围,并能通过量化的方式描述自动驾驶汽 车在逻辑场景中的安全性。该评价方法可以满足自动驾驶评价领域对自动驾驶汽车安全性 评价的需求,具有广泛的应用前景。 11 CN 111580500 A 说 明 书 6/12 页 附图说明 下面结合附图对本发明作进一步的说明: 图1为本发明提供的一种针对自动驾驶汽车安全性的评价方法的流程框图; 图2为本发明实施例提供的本方法步骤一的数据处理流程示意图; 图3为本发明实施例提供的一种被测逻辑场景的示意图; 图4为本发明实施提供的一种该测试场景下某种自动驾驶算法的试验结果图; 图5为将图3中的实验结果经过本发明实施提供的数据处理所得到的结果示意图; 图6为本发明实施例测试场景示例下的理想算法的减速度与时间曲线。 图7为本发明实施提供的一种该测试场景下理想算法的试验结果图。