
技术摘要:
本发明涉及影像医学领域,具体涉及一种新冠肺炎磨玻璃病灶造影解析方法、系统及存储介质,包括以下步骤:S1.基于影像组学的磨玻璃影勾画;S2.基于深度学习的新冠肺炎患病概率预测:S21.将S1得到的磨玻璃影进行预处理,提高卷积神经网络的收敛速度和预测速度;S22.搭建 全部
背景技术:
本发明的目的在于克服现有技术中传统影像组学方法对新型冠状肺炎的检测 准 确度不高的问题,提供一种新冠肺炎磨玻璃病灶造影解析方法、系统及存储介 质。 本发明通过的目的通过以下技术方案予以实现: 一种新冠肺炎磨玻璃病灶造影解析方法,包括以下步骤: S1.基于影像组学的磨玻璃影勾画: S11.用DICOM文件还原CT图片得到真实CT值,选取肺野目标区域的CT 值; S12.生成肺部轮廓mask; S13.对生成的肺部轮廓mask进行修补; S14.将S11目标区域的CT值与S12对应的mask做逻辑与运算,得到双肺野 图片; S15.分割磨玻璃影; S16.去除假阳性; S2.基于深度学习的新冠肺炎患病概率预测: S21 .将S1得到的磨玻璃影进行预处理,提高卷积神经网络的收敛速度和预测 速 度; S22.搭建基于WRN和混合域注意力模块的神经网络; S23.将S21预处理之后的磨玻璃影图片堆叠作为输入,放进S22的神经网络得 出 患新冠肺炎的概率。 优选地,所述S11用DICOM文件还原CT图片得到真实CT值,具体过程如 下: 步骤一:读取DICOM文件中的像素矩阵值;把CT值等于-2000的值置为0, 去除出界 CT值; 步骤二:再根据DICOM文件中的缩放截距和缩放斜率两个属性还原真实CT 值; 4 CN 111612764 A 说 明 书 2/7 页 步骤三:保留在区间[-1000 ,400]内的CT值,低于-1000的CT值置为-1000, 高于 400的CT值置为400; 步骤四:最后把图片作归一化处理,并保存为png格式。 优选地,所述S12中生成肺部轮廓mask的具体过程如下: 步骤一:用在区间[-400,-320]中的一个值作为阈值对CT值矩阵进行分割,生 成 二值矩阵,大于该阈值的像素值置为2,小于该阈值的像素值置为1; 步骤二:对所述二值矩阵进行三维连通域标记,生成标签矩阵,并分别在CT 立方 矩阵的左上角和右下角采点作为背景标签; 步骤三:在二值矩阵中把标签等于背景标签的值置为2; 步骤四:再对二值矩阵中的每个像素值-1,并填充最大连通域内的像素值; 步骤五:把二值矩阵反转,并保留最大连通域,此时像素值为1的区域为肺 部区 域; 步骤六:把二值矩阵乘以255,逐层保存为png格式图片输出。 优选地,所述S13中对生成的肺部轮廓mask进行修补采用滚球法进行修补具 体过 程如下: 步骤一:选定轮廓点,在当前点的法线方向,向肺外延伸在区间[15,60]个像素 值 N作为滚球球心位置,N个像素值为半径作当前点的相切球;优选,向肺外延 伸30个像素值 作为滚球球心位置,30个像素值为半径作当前点的相切球; 步骤二:如果相切球与后续肺部轮廓点存在多于一个的交点,则选取交点中 与当 前点距离最近的点,并删除当前点与最近点之前的轮廓点;否则返回处理下 一个轮廓点。 优选地,S14提取双肺野,把第一步处理后的图片和第二步对应的mask作逻 辑与 运算,并把结果保存为png格式。 优选地,所述S15分割磨玻璃影的具体过程如下: 步骤一:把S14生成的双肺野图片进行中值模糊,核大小在区间[3,20]内, 目的是 去除双肺野中钙化程度过高和过低的噪音散点; 步骤二:对步骤1的结果进一步用高斯模糊,以边长为K的正方形作为核, K的大小 在区间[3,10]内,目的是使同组织区域内的像素值方差尽量小,变化尽 量平缓; 步骤三:对步骤2的结果进行双阈值分割,使得在区间[49,116]内的像素值 置为 255,其余像素值置为0; 步骤四:对步骤3的结果进行孔洞填充处理,得到磨玻璃影的mask,并用png 格式 保存。 优选地,所述S16去除假阳性的具体过程如下: 步骤一:用输入为12乘以12,输出为是否磨玻璃影的二分类的卷积神经网络 学习 磨玻璃影和血管的图片片段; 步骤二:对原图的磨玻璃影区域以区域中心为中心,边长为12的正方形区域 放进 步骤一的网络并进行10-crop预测,若最大的概率超过50%,则判断原磨玻璃 影候选区域 为真实磨玻璃影区域; 步骤三:在原图中去除步骤2中不是磨玻璃影的候选区域,并用opencv库对 磨玻 璃影区域进行描边,以png格式保存。 5 CN 111612764 A 说 明 书 3/7 页 优选地,所述S21磨玻璃影进行预处理,以提高卷积神经网络的收敛速度和 预测 速度,具体过程: 步骤一:在含有磨玻璃影的双肺野图片中用最小矩形相切框割取图片,并把 割取 后的图片大小统一为长416,宽320; 步骤二:把割取后的图片除双肺野外的区域用48来填充。 优选地,S22.搭建基于WRN和混合域注意力模块的神经网络;此网络主干网 络基 于前激活的ResNet-34结构,放大比例为2;分支部分基于残差注意力网络。 训练时输入为 第一步预处理后的图片,输出为患新冠肺炎的置信度。 优选地,S23患病概率的预测具体过程如下: 步骤一:把S21预处理的图片堆叠作为输入,放进S22训练好的网络中进行 预测; 步骤二:对预测结果进行排序并以列表保存; 步骤三:如果列表中没有值,则新冠患病概率为0;如果列表中少于7个值, 则列表 的平均数记为新冠患病概率;如果列表中值的个数为7,则去掉最高分,去 掉最低分,剩下 的值取平均数记为新冠患病概率。 一种新冠肺炎磨玻璃病灶造影解析系统,包括DICOM文件的预处理模块、肺 部轮 廓mask的生成模块、肺部轮廓mask的修补模块、双肺野的提取模块、磨玻 璃病灶分割模块、 假阳性的去除模块、数据预处理模块、基于WRN和混合域注意 力模块的神经网络、患病概率 的预测模块; 其中,DICOM文件的预处理模块用于还原CT图片得到真实CT值,选取肺 野目标区 域的CT值; 肺部轮廓mask的生成模块用于生成肺部轮廓mask; 肺部轮廓mask的修补模块用于对生成的肺部轮廓mask进行修补; 双肺野的提取模块用于将目标区域的CT值与对应的mask做逻辑与运算,得 到双 肺野图片; 磨玻璃病灶分割模块用于分割磨玻璃影; 假阳性的去除模块用于去除假阳性; 数据预处理模块用于将得到的磨玻璃影进行预处理,提高卷积神经网络的收 敛 速度和预测速度; 基于WRN和混合域注意力模块的神经网络用于基于WRN和混合域注意力模 块的卷 积神经网络进行训练; 患病概率的预测模块用于计算患新冠肺炎的概率。 一种存储介质,其内部存储有程序,所述程序运行时执行上述新冠肺炎磨玻 璃病 灶造影解析方法。 与现有技术相比,本发明具有以下技术效果: 本发明提供的上述新冠肺炎磨玻璃病灶造影解析方法中基于WRN和混合域 注意 力模块的神经网络结构,与DenseNet相比,ResNet占用内存较少,这使得 ResNet对于输入 数据比较大的情况比较友好,而本网络输入数据单张相片大小为 320乘以416,属于数据比 较大的情况,使用基于ResNet的模型能避免训练时的 内存溢出,同时使用ResNet能减少训 练周期。WRN可取得比细高的原残差网络 更高的分类精度,同时也拥有着更快的训练速度。 6 CN 111612764 A 说 明 书 4/7 页 在本网络结构中,主干网络使 用放大系数K为2的Wide ResNet34模型,能平衡训练效果和 内存花销的矛盾。 由于输入中肺野的全图占比小于50%,而且患病磨玻璃病灶的全图占比 小于10%, 所以本发明的分支网络使用了混合域的注意力模块,能加快训练速度和提高预 测 精确度。 由于新冠磨玻璃影病灶沿外周带分布,易浸染胸膜下轮廓,使用传统阈值分 割算 法会造成肺部轮廓缺失,针对上述情况,本发明用滚球法对胸膜下轮廓而不 是全肺轮廓进 行修补,更有利于提高预测的准确度。 本发明利用中位数模糊去除磨玻璃影中钙化程度高的噪点,利用高斯模糊去 除 使同区域内像素方差尽量小,再利用双阈值分割对磨玻璃影进行勾画。本方法 能快速、实 用且无遗漏的勾画出磨玻璃影。 传统方法利用磨玻璃影的纹理特征和形态特征,计算量大,比较繁琐,而且 假阳 性较高。本发明利用小型卷积神经网络,输入为以磨玻璃影候选区域中心为 中心,边长为 12的小型正方形框,具有训练周期短、准确度高、预测时间短的优 点。 传统神经网络把整张图片直接放进去训练,无用特征过于庞大,会导致模型 收敛 慢,训练周期长。本发明对肺野进行最小矩形相切框的提取,并统一输入为320乘以416,并 把非肺野区域用48来填充,能在保证区分磨玻璃影的前提下, 最大限度缩小图片大小和减 少图片像素间的方差。 在获得新冠患病概率列表后,本发明利用7作为阈值,选取最高的7个概率, 并去 掉最高分和最低分,剩下的求平均作为患者最终的患病概率。而传统方法只 是对全部患病 概率取平均然后输出,会拉低单发磨玻璃影的新冠患者的患病概率, 从而造成漏判。 附图说明 图1本发明实施例方法的流程图; 图2本发明实施例中S1基于影像组学的磨玻璃影勾画的具体流程图; 图3本发明实施例中S2基于深度学习的新冠肺炎患病概率预测的具体流程图; 图4本发明实施例中基于WRN和混合域注意力模块的神经网络结构流程图; 图5本发明实施例中Identity_Block网络结构流程图; 图6本发明实施例中Attention_block_v1网络结构流程图; 图7本发明实施例中Attention_block_v2网络结构流程图; 图8本发明实施例中Attention_block_v3网络结构流程图。
技术实现要素:
为使本发明的目的、技术方案和优点更加清楚,下面结合具体实施例和对比 例将 对本发明的技术方案进行详细的描述。显然,所描述的实施例仅仅是本发明 一部分实施 例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术 人员在没有做出创造 性劳动的前提下所得到的所有其它实施方式,都属于本发明 所保护的范围。 实施例 本发明通过的目的通过以下技术方案予以实现: 一种新冠肺炎磨玻璃病灶造影解析方法,如图1所示,S1.基于影像组学的磨 玻璃 7 CN 111612764 A 说 明 书 5/7 页 影勾画;S2.基于深度学习的新冠肺炎患病概率预测。 如图2所示,S1的具体过程如下: S11.用DICOM文件还原CT图片得到真实CT值,选取肺野目标区域的CT 值; S12.生成肺部轮廓mask; S13.对生成的肺部轮廓mask进行修补; S14.将S11目标区域的CT值与S12对应的mask做逻辑与运算,得到双肺野 图片; S15.分割磨玻璃影; S16.去除假阳性。 如图3所示,S3的具体过程如下: S21 .将S1得到的磨玻璃影进行预处理,提高卷积神经网络的收敛速度和预测 速 度; S22.搭建基于WRN和混合域注意力模块的神经网络; S23.将S21预处理之后的磨玻璃影图片堆叠作为输入,放进S22的神经网络得 出 患新冠肺炎的概率。 优选地,所述S11用DICOM文件还原CT图片得到真实CT值,具体过程如 下: 步骤一:读取DICOM文件中的像素矩阵值;把CT值等于-2000的值置为0, 去除出界 CT值; 步骤二:再根据DICOM文件中的缩放截距和缩放斜率两个属性还原真实CT 值; 步骤三:保留在区间[-1000 ,400]内的CT值,低于-1000的CT值置为-1000, 高于 400的CT值置为400; 步骤四:最后把图片作归一化处理,并保存为png格式。 优选地,所述S12中生成肺部轮廓mask的具体过程如下: 步骤一:用在区间[-400,-320]中的一个值作为阈值对CT值矩阵进行分割,生 成 二值矩阵,大于该阈值的像素值置为2,小于该阈值的像素值置为1; 步骤二:对所述二值矩阵进行三维连通域标记,生成标签矩阵,并分别在CT 立方 矩阵的左上角和右下角采点作为背景标签; 步骤三:在二值矩阵中把标签等于背景标签的值置为2; 步骤四:再对二值矩阵中的每个像素值-1,并填充最大连通域内的像素值; 步骤五:把二值矩阵反转,并保留最大连通域,此时像素值为1的区域为肺 部区 域; 步骤六:把二值矩阵乘以255,逐层保存为png格式图片输出。 优选地,所述S13中对生成的肺部轮廓mask进行修补采用滚球法进行修补具 体过 程如下: 步骤一:选定轮廓点,在当前点的法线方向,向肺外延申30个像素值作为滚 球球 心位置,30个像素值为半径作当前点的相切球; 步骤二:如果相切球与后续肺部轮廓点存在多于一个的交点,则选取交点中 与当 前点距离最近的点,并删除当前点与最近点之前的轮廓点;否则返回处理下 一个轮廓点。 优选地,S14提取双肺野,把第一步处理后的图片和第二步对应的mask作逻 辑与 运算,并把结果保存为png格式。 8 CN 111612764 A 说 明 书 6/7 页 优选地,所述S15分割磨玻璃影的具体过程如下: 步骤一:把S14生成的双肺野图片进行中值模糊,核大小在区间[3,20]内, 目的是 去除双肺野中钙化程度过高和过低的噪音散点; 步骤二:对步骤1的结果进一步用高斯模糊,以边长为K的正方形作为核, K的大小 在区间[3,10]内,目的是使同组织区域内的像素值方差尽量小,变化尽 量平缓; 步骤三:对步骤2的结果进行双阈值分割,使得在区间[49,116]内的像素值 置为 255,其余像素值置为0; 步骤4:对步骤3的结果进行孔洞填充处理,得到磨玻璃影的mask,并用png 格式保 存。 优选地,所述S16去除假阳性的具体过程如下: 步骤一:用输入为12乘以12,输出为是否磨玻璃影的二分类的卷积神经网络 学习 磨玻璃影和血管的图片片段; 步骤二:对原图的磨玻璃影区域以区域中心为中心,如表1所示,边长为12 的正方 形区域放进步骤一的网络并进行10-crop预测,若最大的概率超过50%,则 判断原磨玻璃 影候选区域为真实磨玻璃影区域; 步骤三:在原图中去除步骤2中不是磨玻璃影的候选区域,并用opencv库对 磨玻 璃影区域进行描边,以png格式保存。 表1: 优选地,所述S21磨玻璃影进行预处理,以提高卷积神经网络的收敛速度和 预测 速度,具体过程: 步骤一:在含有磨玻璃影的双肺野图片中用最小矩形相切框割取图片,并把 割取 后的图片大小统一为长416,宽320; 步骤二:把割取后的图片除双肺野外的区域用48来填充。 优选地,S22.搭建基于WRN和混合域注意力模块的神经网络;网络结构如图 4所 示,其中的Identity_Block、Attention_block_v1、Attention_block_v2、 Attention_ block_v3如图5、6、7、8所示。此网络主干网络基于前激活的ResNet-34 结构,放大比例为2; 分支部分基于残差注意力网络。训练时输入为第一步预处理 后的图片,输出为患新冠肺炎 的置信度。 优选地,S23患病概率的预测具体过程如下: 步骤一:把S21预处理的图片堆叠作为输入,放进S22训练好的网络中进行 预测; 步骤二:对预测结果进行排序并以列表保存; 9 CN 111612764 A 说 明 书 7/7 页 步骤三:如果列表中没有值,则新冠患病概率为0;如果列表中少于7个值, 则列表 的平均数记为新冠患病概率;如果列表中值的个数为7,则去掉最高分,去 掉最低分,剩下 的值取平均数记为新冠患病概率。 最后应当说明的是,以上实施例仅用以说明本发明的技术方案,而非对本发 明保 护范围的限制,尽管参照较佳实施例对本发明作了详细地说明,本领域的普 通技术人员应 当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱 离本发明技术方案的实 质和范围。 10 CN 111612764 A 说 明 书 附 图 1/7 页 图1 11 CN 111612764 A 说 明 书 附 图 2/7 页 图2 12 CN 111612764 A 说 明 书 附 图 3/7 页 图3 13 CN 111612764 A 说 明 书 附 图 4/7 页 图4 14 CN 111612764 A 说 明 书 附 图 5/7 页 图5 15 CN 111612764 A 说 明 书 附 图 6/7 页 图6 16 CN 111612764 A 说 明 书 附 图 7/7 页 图7 图8 17