技术摘要：
本发明提出了一种盾构机司机工作状态实时监测报警方法及装置，方法的步骤如下：在盾构机主控室安装视频监控装置，将所有司机的面部信息存入数据库；实时采集司机位置的视频画面并进行预处理，基于类Haar的特征点提取算法提取司机面部特征；通过特征人脸法将得到的面部  全部
背景技术：
盾构法隧道施工工艺由于具有安全性高、效率高、经济适用等优点，现在广泛应用 于现代城市地下隧道的施工。盾构法的主要原理是由盾构机在地下掘进时切割岩体完成挖 掘，然后在盾尾拼接好管片并注浆成型，以此往复完成整个隧道的施工。而掘进机在前进的 过程中，由于盾构司机长期在地下主控室操作，且需要长时间集中注意力解决掘进过程中 出现的故障，因此在掘进过程中司机可能出现疲劳、接打手机、分神等不规范行为，对隧道 的安全准确施工存在着安全隐患。因此，对盾构司机实行有效的实时监测和行为报警，能够 有效的规范司机的操作流程，提高掘进过程的安全程度。 综上所述，现有的盾构机掘进过程中缺乏有效的对司机工作状态的监测与提醒装 置。相应地，本领域存在着发展一种能够准确地检测掘进机司机实时工作状态的技术需求， 由视频监控装置实时拍摄司机的面部状态，通过人脸识别、面部特征提取及异常行为分类 等技术，根据司机面部特征及头部位姿等关键参数，对掘进机司机的工作状态进行实时监 测，同时对于司机的不规范行为发出异常报警并传输回地面监控室进行及时反馈。
技术实现要素：
针对现有盾构机掘进过程中不能有效监测司机的实时工作状态及异常行为，影响 施工时的安全和精确度的技术问题，本发明提出一种盾构机司机工作状态实时监测报警方 法及装置，采用多输入层卷积神经网络与支持向量机对司机状态进行监测识别，并通过报 警模块与数据传输模块将盾构司机状态与监控进行通信传输，从而有效实现了对盾构司机 工作状态的实时监测，能够有效的规范司机的操作流程，提高掘进过程的安全程度。 为了达到上述目的，本发明的技术方案是这样实现的：一种盾构机司机工作状态 实时监测报警方法，其步骤如下： 步骤一：在盾构机主控室的司机驾驶位置安装视频监控装置，用于采集盾构机司 机的面部状态，并预先录入司机的面部信息，将所有司机的面部信息存入数据库； 步骤二：通过视频监控装置实时采集司机位置的视频画面，对采集得到的图像进 行预处理，然后基于类Haar的特征点提取算法对预处理后的图像进行处理提取司机面部区 域特征点，对面部区域进行定位；通过特征人脸法将得到的面部特征与数据库中的司机信 息进行对比，判断司机身份信息是否正确； 步骤三：经过步骤二确定当前司机在岗信息正确后，将预处理后的图像输入卷积 神经网络模型进行特征提取，得到人脸面部的关键特征点，基于决策树的SVM多分类算法判 断司机的工作状态； 步骤四：当判断司机当前工作状态处于疲劳、接打手机、分神不规范行为后，触发 6 CN 111582129 A 说　明　书 2/11 页 报警模块进行报警提醒； 步骤五：通过数据传输模块将司机实时状态发送回地面监控室，当发生报警时提 醒监控室进行相应的反馈，确保盾构机司机的正常操作驾驶。 所述步骤中二中预处理用来处理包含面部特征点阈值的区域，预处理包括对采集 的视频图像进行线性化灰度的处理，其中线性化灰度的处理方法为： 其中，Gray为图像的灰度值，G1和G2为设定的线性化限值； 所述预处理还包括对线性化灰度处理后的图像进行滤波、分割、增强，滤波处理采 用opencv库提供的高斯滤波法cv2 .GaussianBlur ( )；增强采用直方图均衡化法 cv2.equalizeHist( )。预处理提高图片中特征点的边界特征信息，便于后续的面部定位。 所述基于类Haar的特征点提取算法对预处理后的图像进行人脸特征提取，检测分 析图像中是否存在人脸面部正视图像，若检测结果显示驾驶位无人脸特征，则判断此时驾 驶位置无人操控并发出警报信息；当能够捕捉到人脸特征后，将当前面部特征点与数据库 中司机面部特征进行人脸识别比对，分析视频的图像中人脸是否为司机； 特征人脸法直接将人脸特征与图像中的人脸特征进行模板匹配，判断图像中是否 存在于与数据库中相符合的司机面部信息模板中相似的区域位置；且特征人脸法的相似程 度的测度采用误差平方和法： 其中，P(x,y)为摄像头采集的帧图片经类Haar算法提取的人脸特征矩阵在(x，y) 处的像素值，M(j,k)为预先采集的司机面部图像经特征提取后矩阵在位置(j,k)处的像素 值，j,k分别为遍历图像时的每一个像素点的位置坐标，h、w分别为图像的高和宽；T(x,y)表 示数据库中的司机面部信息模板中的面部图像与当前采集到面部图像特征误差值； 所述特征人脸法是基于opencv库的Template  Matching( )方法实现的。特征人脸 法减少搜索人脸特征时间并提高分辨率。 所述步骤三中对司机的工作状态实时监测是在Python Keras环境下，利用卷积神 经网络模型训练提取司机面部及关键特征，并导入支持向量机SVM中进行状态的分类；所述 卷积神经网络的输入层为步骤二预处理后的多种司机状态的图片，包括正常驾驶、疲劳驾 驶、分神、接打手机各个状态；所述卷积神经网络模型为多输入层卷积神经网络模型，即由 多层输入层、两层卷积层、两层池化层及一层全连接层共同组成；经过多输入层卷积神经网 络模型的两层卷积、池化计算后输入到全连接层，得到司机面部的关键点位置信息，包括眼 睛上下左右关键点坐标、头部姿态及朝向关系、以及镜头内是否捕捉到手机信息。通过卷积 神经网络模型得到的上述司机面部关键位置信息后，需要经过处理从而组成司机的眨眼频 率及闭合状态、头部位姿信息的特征向量。 将当前实时拍摄的、预处理后的原始司机面部图像与前几帧图像由2D格式转为1D 信息后共同作为输入层输入卷积神经网络模型，对每一层的图像信息加以不同的权重，进 7 CN 111582129 A 说　明　书 3/11 页 行特征融合，特征融合的模型为： F＝q1F1 q2F2 ··· qnFn， 其中，F1、F2、……、Fn分别为每层特征矩阵的值，q1、q2、……、qn为影响权重；F表示 各层矩阵融合后的特征矩阵； 所述特征融合的步骤如下： S1：根据原始样本数据即输入的图像二维矩阵，通过信号处理方法即将二维矩阵 转置为一维矩阵，并赋予不同的影响权重，构造多维数据矩阵M； S2：将多维数据矩阵M输入到卷积神经网络模型中，逐维进行第一层卷积运算，得 到featuremap； S3：将每一维的featuremap通过特征融合模型进行特征融合，之后进入第一层池 化层； S4：S3池化之后的低纬度数据再次进行卷积与池化处理，逐层提取图像特征，最后 从全连接层输出提取了特征的高维向量。 所述卷积神经网络模型中卷积神经网络的训练过程分为两个阶段：第一个阶段是 数据由低层次向高层次传播的阶段，即前向传播阶段；另外一个阶段是当前向传播得出的 结果与预期不相符时，将误差从高层次向低层次进行传播训练的阶段，即反向传播阶段；卷 积神经网络的训练过程为： 1、卷积神经网络进行各项参数的初始化，包括循环迭代次数，初始学习率； 2、输入图片数据经过卷积层、池化层、全连接层的前向传播得到输出值； 3、求出网络的输出值与目标值之间的误差，即损失函数的值； 4、当误差大于预设的期望值时，将误差传回网络中，依次求得全连接层、池化层、 卷积层的误差；当误差等于或小于预设的期望值时，结束训练； 5、根据优化器的计算，求得误差进行权值更新；然后再进入到步骤2； 其中，卷积神经网络的损失函数为交叉熵损失函数，优化器采用的是RMSProp( )， 交叉熵损失函数计算公式为： 其中，输入样本x为多维数据矩阵M，样本标签y为训练图片中司机的各种状态，N为 样本的总数，为输入样本x的预测输出；L为计算得到的损失函数值，P(y|x)为模型预测正 确的概率，y(i)和 分别为训练总样本N中第i个样本的标签与预测输出。 对得到眼睛上下左右关键点的坐标进行处理，计算眼睛的纵横比，眼睛上下左右 四个关键点的坐标分别记为(U,L,D,R)，则眼睛的横纵比P计算公式为： 其中，je、ke分别为眼睛特征点的编号，U,L,D,R分别为眼睛上、下、左、右、四个关 键点，P为眼睛的横纵比，x与y为关键点的x坐标和y坐标； 将得到的分析结果P与预设眼睛闭合度阈值pe进行比较时长超过预设值后，确定 司机面部图像的眼睛闭合状态，获取司机疲劳状态信息。实现对司机面部图像的眼睛闭合 8 CN 111582129 A 说　明　书 4/11 页 度分析。 采用特征点预估法来对司机面部姿态及朝向关系进行确定：以面部区域的两眼及 嘴巴形成特征三角形，当面部进行左右或上下偏移时，特征三角形的坐标信息也会发生相 应的位置角度改变，低头与扭头分别改变的是特征三角形的底边长与高，当司机低头或扭 头时，低头角度α与扭头角度β分别为： 其中，a和h分别为面部正视时的两眼间距与特征三角形的高，a'和h'分别为面部 侧视时的两眼间距与特征三角形的高； 当特征三角形的改变持续时长超过正常状态的阈值时，即低头角度α超过40°超过 20s，或扭头角度β超过60°超过30s，则可判定司机处于分神状态； 当匹配到司机面部区域后，以肩部以上为搜索区域，搜索区域中手机模型是否出 现，支持向量机SVM中设定为当手机模型出现时长超过阈值时判定为接打手机。 所述司机的工作状态有正常操作、疲劳驾驶、接打手机、分神四种，所述基于决策 树的SVM多分类算法的步骤如下： a .分别计算输入样本Xo的中心与其他所有类别Xp的中心距离dop；输入样本Xo为用 来分类的特征图片矩阵，其他类别Xp为训练好的分类模型，中心距离dop为欧氏距离； b.对于任意第o个类，定义与其他类别的距离最小值为Lo，则Lo为： c.将距离最小值Lo的顺序从大到小进行排列，将距离最大对应的类分离出去，构 建此类与剩余其他类的超平面； d .当存在两个类的距离最小值Lo相等时，比较距离第二小的距离，用来判断类的 距离情况； e .重复步骤c、d，按各类的顺序构建k-1个支持向量机，将所有类别分离出来；其 中，k为需要区分的类别总数； SVM的分类模型为： 其中，K(xi,x)为核函数，αi为拉格朗日乘子，样本x为卷积神经网络模型的输出层 提取的特征，样本标签yi为训练时手工标注的图像中司机工作状态，即正常操作、疲劳驾 驶、接打手机、分神中的一种，b为偏置参数；f(x)为分类模型的结果，sign( )为符号函数，n 为拉格朗日乘子的数量。由于SVM只能进行二分类情况，针对四种不同的司机工作状态，采 用基于决策树的SVM多分类算法。 一种盾构机司机工作状态实时监测报警装置，包括视频监控装置，视频监控装置 与主控制器相连接，主控制器与数据库相连接，数据库内存储有所有盾构机司机面部信息 的照片；所述主控制器上设有数据处理模块和报警模块，视频监控装置与数据处理模块相 连接，数据处理模块分别与报警模块和数据传输模块相连接，数据传输模块与地面监控室 9 CN 111582129 A 说　明　书 5/11 页 的上位机相连接，数据处理模块对视频监控装置实时采集的图像进行处理得到司机实时状 态，报警模块对司机实时状态的不规范行为进行报警提醒，数据传输模块将司机实时状态 传送至地面监控室。 所述视频监控装置包括摄像头，摄像头安装在盾构机主控室的司机驾驶位置，用 于实时采集包含司机的面部特征点和面部姿态朝向的图像信息； 所述数据处理模块包括司机身份判定单元、卷积神经网络模型、状态识别单元和 SVM分类单元，司机身份判定单元、卷积神经网络模型均与摄像头相连接，卷积神经网络模 型与状态识别单元相连接，状态识别单元与SVM分类单元相连接； 司机身份判定单元基于类Haar的特征点提取算法提取司机面部区域特征，并将提 取的司机面部区域特征与数据库中存储的司机面部信息照片进行对比，判断司机身份信 息。 卷积神经网络模型用于提取采集的视频中的图像的面部关键点的特征向量； 状态识别单元根据面部关键点的特征向量对司机的工作状态进行识别； SVM分类单元基于决策树的SVM多分类算法对状态识别单元得到的司机的工作状 态进行分类判断。 所述报警模块包括灯光报警模块与语音播报模块，灯光报警模块与语音播报模块 并联连接，灯光报警模块包括警报器和闪光灯，警报器和闪光灯并联连接，警报器、闪光灯 和语音播报模块均设置在盾构机主控室内； 所述数据传输模块采用RS232协议进行通讯传输，通过有线通信网络与地面监室 建立通信。 与现有技术相比，本发明的有益效果： 1.本发明解决了现有技术缺少对盾构机司机工作状态的实时监测，且简单、有效、 易用，易于安装操作，工程实用性较强。 2.监测系统装置使用的主要仪器为视频采集模块、图像处理与识别模块、灯光报 警模块、语音播报模块、数据传输模块，在不需要人工辅助的情况下即可实现实时的监测与 报警，实现了盾构机司机状态的实时自动监控识别，并在司机人员出现离岗、疲劳、分神、接 打手机等异常行为时进行灯光及语音报警提示，使得掘进机司机长时间作业后的状态能够 得到有效的保证，大大保证了掘进施工的安全性。 附图说明 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本 发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以 根据这些附图获得其他的附图。 图1为本发明方法的流程图。 图2为本发明装置的结构布局示意图。 图3为本发明多输入层卷积神经网络的原理图。 图4为本发明基于特征三角形的面部状态分析示意图。 图5为本发明基于决策树的SVM分类原理图。 10 CN 111582129 A 说　明　书 6/11 页 图中，1为盾构机司机，2为视频监控装置，3为图像处理及分类模块，4为报警模块， 5为数据传输模块，6为地面监控室接收模块。