技术摘要：
本发明实施例公开了一种基于神经网络的多模型协同暴力检测方法及系统，所述方法包括：步骤1：训练神经网络模型A、神经网络模型B及构造运动检测模型；步骤2：接入监控摄像头；步骤3：实时读取下一帧图像；步骤4：对图像进行预处理；步骤5：输入神经网络模型A；步骤6：输  全部
背景技术：
在公共场所，暴力行为可能为人民生命和财产安全带来极大威胁，是破坏社会稳 定和谐的一个重要影响因素。由于近年来监控摄像头的广泛部署，通过使用计算机视觉技 术捕获、识别和分析监控摄像头中的视频流以实现暴力检测成为可能。然而目前的相关方 法存在准确率较低、误报率较高、泛化能力较弱等问题。此外，在基于计算机视觉的暴力检 测领域，公开数据集（特别是含有真实暴力信息的数据集）较少，也成为了掣肘一些暴力检 测方法（如基于深度学习的方法）有效研究和应用的一个关键原因。
技术实现要素：
本发明实施例所要解决的技术问题在于，提供一种基于神经网络的多模型协同暴 力检测方法及系统，以克服数据集规模的限制，并提高暴力检测的准确率，降低暴力检测的 误报率，以及提高暴力检测方法的泛化能力。 为了解决上述技术问题，本发明实施例提出了一种基于神经网络的多模型协同暴 力检测方法，包括： 步骤1：训练神经网络模型A、神经网络模型B及构造运动检测模型，其中，神经网络模型 A检测单帧图像中的个体，其输出为单帧图像中的人数；神经网络模型B检测一组连续图像 中的暴力行为，其输出为一组连续图像中暴力行为存在的概率；运动检测模型检测多帧图 像中物体的运动幅度，其输出为物体运动幅度值； 步骤2：接入监控摄像头； 步骤3：实时读取监控摄像头中的下一帧图像； 步骤4：对所读取的图像进行预处理，使该图像成为神经网络模型A输入的标准格式； 步骤5：将该帧图像输入神经网络模型A，神经网络模型A输出该帧图像中的人数，若输 出结果大于预设的阈值A，则执行步骤6；否则令暴力检测概率为0，执行步骤9； 步骤6：将该帧图像输入到运动检测模型，若输出结果大于预设的阈值B，则将该帧图像 保留至神经网络模型B的输入集合中，并执行步骤7；否则清空神经网络模型B的输入集合， 令暴力检测概率为0，执行步骤9； 步骤7：检查神经网络模型B的输入集合，当神经网络模型B的输入集合中视频帧的数量 大于预设的阈值C时，则将该集合中的视频帧进行预处理，使其成为神经网络模型B输入的 标准格式，然后执行步骤8；否则执行步骤3； 步骤8：将步骤7处理后的数据输入神经网络模型B，神经网络模型B输出该组图像中存 在暴力行为的概率； 步骤9：展示实时暴力检测概率。 4 CN 111582031 A 说　明　书 2/6 页 进一步地，所述步骤1还包括： 子步骤1：构造神经网络模型A的数据集A，使用构造的数据集A训练神经网络模型A； 子步骤2：构造神经网络模型B的数据集B，使用构造的数据集B训练神经网络模型B； 子步骤3：载入神经网络模型A，并设定阈值A，阈值A为触发运动检测模型的临界值； 子步骤4：载入运动检测模型，并设定阈值B，阈值B为存储视频帧到神经网络模型B输入 集合的临界值； 子步骤5：载入神经网络模型B，并设定阈值C，阈值C为触发神经网络模型B的临界值； 子步骤6：选取视频数据测试神经网络模型A、运动检测模型和神经网络模型B，以检测 其是否正常载入。 进一步地，所述步骤9中，将暴力检测概率按照曲线的形式实时绘制并展示。 进一步地，所述神经网络模型A采用基于卷积神经网络的体系结构，其输入为一帧 图像，其输出为数字，该数字表示所输入视频帧内的人数；神经网络模型B采用基于卷积神 经网络和长短期记忆网络融合的体系结构，其输入为一组图像，其输出为该组图像中是否 包含暴力行为的概率。 进一步地，所述运动检测模型为帧差模型、光流模型、梯度模型中的一种。 进一步地，采用相隔固定帧或固定时间的方法从监控摄像头中读取图像。 进一步地，所述预处理包括对图像进行降采样、尺度变换、灰度化处理。 相应地，本发明实施例还提供了一种基于神经网络的多模型协同暴力检测系统， 包括神经网络模型A训练子系统、神经网络模型B训练子系统、摄像头管理子系统、暴力行为 预测子系统，其中， 神经网络模型A训练子系统包括数据集构造模块A、数据预处理模块A、模型训练模块A、 模型管理模块A，数据集构造模块A将不同来源的原始数据集进行标准化；数据预处理模块A 将数据集构造模块A所输出的数据集数据进行预处理操作，并将其转换为训练神经网络模 型A要求的数据输入格式；模型训练模块A将数据预处理模块A的输出数据输入到神经网络 中进行训练，生成相应的训练结果；模型管理模块A负责载入与保存神经网络模型A，以及对 模型训练模块A输出的训练结果进行保存和展示； 神经网络模型B训练子系统包括数据集构造模块B、数据预处理模块B、模型训练模块B、 模型管理模块B，数据集构造模块B将不同来源的原始数据集进行标准化；数据预处理模块B 将数据集构造模块B所输出的数据集数据进行预处理操作，并将其转换为训练神经网络模 型B要求的数据输入格式；模型训练模块B将数据预处理模块B的输出数据输入到神经网络 中进行训练，生成相应的训练结果；模型管理模块B负责载入与保存神经网络模型B，以及对 模型训练模块B输出的训练结果进行保存和展示； 摄像头管理子系统包括摄像头接入模块、摄像头视频帧读取模块、摄像头视频帧预处 理模块、摄像头视频帧发送模块，摄像头接入模块用于连接监控摄像头，支持多种型号摄像 头同时接入，并支持多种数据传输协议；摄像头视频帧读取模块从连接的摄像头中按帧顺 序读取图像；摄像头视频帧预处理模块读取摄像头视频帧模块输出的图像数据，并按照暴 力行为预测子系统要求，对图像进行初步处理（如尺度变换）；摄像头视频帧发送模块将视 频帧预处理模块输出数据发送到暴力行为预测子系统进行分析； 暴力行为预测子系统包括模型管理模块C、图像处理模块、图像预测模块和暴力行为预 5 CN 111582031 A 说　明　书 3/6 页 测可视化模块，模型管理模块C负责载入用于暴力行为预测子系统的神经网络模型A、运动 检测模型、神经网络模型B；图像处理模块接收摄像头管理子系统输出的视频帧，并依据不 同模型的不同输入要求，对视频帧进行进一步处理；图像预测模块根据规则调用模型以分 析图像处理模块输出数据，并输出暴力检测概率；暴力行为预测可视化模块负责将暴力检 测概率按照曲线的形式实时绘制并展示。 进一步地，数据预处理模块A和数据预处理模块B的预处理操作均包括降采样、尺 度变换、灰度化处理。 本发明的有益效果为：本发明采用多种模型从不同维度协同解决暴力检测问题， 在一定程度上克服了数据集规模的限制，并提高暴力检测的准确率，降低暴力检测的误报 率，以及提高暴力检测方法的泛化能力。 附图说明 图1是本发明实施例的基于神经网络的多模型协同暴力检测方法的流程图。 图2是本发明实施例的基于神经网络的多模型协同暴力检测系统的结构示意图。