
技术摘要:
本申请公开了分类模型评价指标的确定方法、装置、设备及介质,涉及深度学习技术领域。具体实现方案为:获取分类模型的当前样本集;将所述当前样本集以及与所述当前样本集连续获取的固定数量个历史样本集,作为当前滑动窗口;根据所述当前滑动窗口确定所述分类模型的当 全部
背景技术:
分类任务是机器学习任务中最典型、应用面最广的一种任务。而二分类,即只有正 样本和负样本两种类别的任务,又是分类任务中最常见的场景。基于此,如何对二分类任务 的结果进行评价就显得尤为重要。常用的二分类任务的评价指标有Precision、Recall、F1- score、AUC等。其中,AUC(Area Under Curve,曲线下面积)是最常用,也是最重要的评价指 标。 具体的,AUC被定义为ROC曲线下与坐标轴围成的面积,AUC值越大,也即越接近1的 分类器分类效果越好。其中,ROC(Receiver Operating Characteristic,受试者工作特征) 曲线是根据一系列不同的二分类方式(分界值或决定阈),以真阳性率为纵坐标,假阳性率 为横坐标绘制的曲线。 现有技术中,在使用动态采集的样本对二分类模型进行训练后,对训练结果进行 评价时,要么仅利用新采集样本的预测值结果计算分类模型的AUC值,要么使用所有样本的 预测值结果重新计算分类模型的AUC值,这样会导致最终计算得到的模型评价结果并不准 确,可信度低。
技术实现要素:
提供了一种分类模型评价指标的确定方法、装置、设备以及介质,以提高模型评价 结果的准确性和可信度。 根据第一方面,提供了一种分类模型评价指标的确定方法,包括: 获取分类模型的当前样本集; 将所述当前样本集以及与所述当前样本集连续获取的固定数量个历史样本集,作 为当前滑动窗口; 根据所述当前滑动窗口确定所述分类模型的当前评价指标值。 根据第二方面,提供了一种分类模型评价指标的确定装置,包括: 样本集获取单元,用于获取分类模型的当前样本集; 窗口滑动单元,用于将所述当前样本集以及与所述当前样本集连续获取的固定数 量个历史样本集,作为当前滑动窗口; 指标值确定单元,用于根据所述当前滑动窗口确定所述分类模型的当前评价指标 值。 根据第三方面,提供了一种电子设备,包括: 至少一个处理器;以及 与所述至少一个处理器通信连接的存储器;其中, 4 CN 111582351 A 说 明 书 2/14 页 所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一 个处理器执行,以使所述至少一个处理器能够执行本申请实施例中任一项所述的方法。 根据第四方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其 特征在于,所述计算机指令用于使所述计算机执行本申请实施例中任一项所述的方法。 本申请实施例通过在获取到分类模型的当前样本集时,将当前样本集以及与当前 样本集连续获取的固定数量个历史样本集,作为当前滑动窗口,确定该当前滑动窗口下分 类模型的当前评价指标值,利用滑动窗口的方式动态输出评价指标值,解决了现有技术中 由于仅对新样本或对所有样本均进行计算,而导致的模型评价结果不准确,可信度低的问 题,提高了模型评价结果的准确性和可信度,进而增加了模型训练的稳定性。 应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特 征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。 附图说明 附图用于更好地理解本方案,不构成对本申请的限定。其中: 图1是根据本申请实施例的一种分类模型评价指标的确定方法的流程图; 图2是根据本申请实施例的又一种分类模型评价指标的确定方法的流程图; 图3a是根据本申请实施例的又一种分类模型评价指标的确定方法的流程图 图3b是根据本申请实施例的构建负样本前缀计数数组的过程示意图; 图4是根据本申请实施例的一种分类模型评价指标的确定装置的结构示意图; 图5是用来实现本申请实施例的分类模型评价指标的确定方法的电子设备的框 图。