
技术摘要:
本发明公开了一种基于多尺度卷积神经网络的脑神经元自动检测方法,首先建立数据库,构建对应真值图,随机将其分为训练集和测试集。然后,对原始彩色图像进行预处理;再次,构建多尺度卷积神经网络,预测神经元质心概率。在训练集上运用反向传播和随机梯度下降法,根据 全部
背景技术:
目前,用于细胞检测的相关算法大多是针对特定的解剖区域,在这些区域中,几乎 没有黏连的细胞,或者细胞密度较低。因此,应用传统的阈值分割、数学形态学方法、基于凹 点检测的方法、区域生长法、分水岭算法、主动轮廓模型、混合高斯模型等方法,可以很好地 检测单个细胞。但是,在高密度解剖区域中,如海马体齿状回区域,成千上万个神经元相互 黏连,上述方法不再适用,很容易导致神经元的过检测和欠检测现象。而近年来广泛应用在 组织学显微图像中的深度学习方法(CNN、FCRN、U-net等)可以有效地解决部分黏连神经元 的自动检测问题,但是由于这些网络结构采用固定尺寸的感受野,因此,对于高密度解剖区 域中大量黏连的神经元检测仍有一定的局限性。而本发明能够很好地解决上面的问题,自 动检测高密度解剖区域中大量黏连的神经元。
技术实现要素:
本发明的目的是提供一种基于多尺度卷积神经网络的脑神经元自动检测方法,解 决了现有技术中存在的神经元检测方法局限性大的问题。 本发明所采用的技术方案是,基于多尺度卷积神经网络的脑神经元自动检测方 法,具体按照以下步骤实施: 步骤1、建立数据库,将该数据库中的图像随机分成训练集和测试集,并构建对应 的训练集真值图和测试集真值图; 步骤2、对步骤1建立的训练集和测试集进行预处理,得到归一化的训练集图像和 测试集图像; 步骤3、构建多尺度卷积神经网络:采用步骤2的训练集图像和步骤1 的训练集真 值图分别作为多尺度卷积神经网络的输入和输出,训练、更新网络参数,从而得到多尺度卷 积神经网络的模型; 步骤4、预测神经元质心概率:将步骤2的测试集图像送入步骤3训练好的多尺度卷 积神经网络模型的输入端,该网络得到的输出结果即为预测的测试集中神经元质心的概率 图; 步骤5、检测神经元质心:根据步骤4的神经元质心的概率图,对图中的每个像素, 提取以该像素为中心、半径为R的圆盘内概率大于T且为局部最大值的像素,T=0.15,计算 提取的全部像素的连通分量,其重心即为本发明检测到的神经元的质心。 本发明的特点还在于, 步骤1具体如下: 从数据库M张图像中随机选取N张图像作为训练集,使用剩余M-N张图像作为测试 6 CN 111553873 A 说 明 书 2/9 页 集,在上述M张图像中每个神经元中心位置即质心处手动标记一个圆盘识别每个神经元,构 建真值图。 圆盘半径为5像素。 步骤2具体如下: 对步骤1建立的数据库图像进行预处理,得到归一化的图像I: I(x,y)=(R(x,y) G(x,y) B(x,y))/3/255 (1) 式中,I(x,y)为图像I中像素(x,y)的灰度归一化值,I(x,y)的范围为0-1,步骤1的 数据库图像为彩色图像,由红色R、绿色G、蓝色B分量构成,R(x,y)为像素(x,y)在R分量中的 灰度级,G(x,y)为像素(x,y)在G分量中的灰度级,B(x,y) 为像素(x,y)在B分量中的灰度 级。 步骤3具体如下: 步骤3.1、构建多尺度编码器网络; 步骤3.2、构建解码器网络; 步骤3.3、将步骤2的训练集图像作为步骤3.1中构建的多尺度编码器网络的输入 端,将步骤1的训练集真值图作为步骤3.2中构建的多尺度解码器网络的输出端,使用反向 传播和随机梯度下降法,根据最小化交叉熵原理,训练、更新网络参数,得到多尺度卷积神 经网络模型。 步骤3.1中多尺度编码器网络由最大池化层、卷积层和ReLU层构成,具体如下: 步骤3.1.1、首先构建3个尺度提取神经元特征,具体如下: a1 .直接对步骤2的训练集图像进行最大池化运算操作,作为第一个尺度,得到特 征图 其中,m和n代表特征图的长和宽,d代表特征图第三维度的长度,即特征图数 量,步骤a1的特征图为 a1为该特征图的编号; a2.使用大小为3×3像素的64个卷积核对步骤2的训练集图像进行一次卷积操作, 该64个卷积核的权重即为需要训练的多尺度卷积神经网络的参数之一,然后再执行一次最 大池化操作,作为第二个尺度,得到特征图 a2为该特征图的编号; a3.使用大小为3×3像素的64个卷积核对步骤2的训练集图像进行两次连续的卷 积操作,这两次卷积操作采用的共128个卷积核的权重即为需要训练的多尺度卷积神经网 络的参数之一,然后再执行一次最大池化操作为第三个尺度,得到特征图 a3 为该特征图的编号; 步骤3 .1 .2 、将步骤3 .1 .1中得到的三个尺度的特征图 级联在一起,得到特征图 m1为该特征图的编 号,至此,感受野尺寸为2×2像素、4×4像素和6×6像素; 步骤3.1.3、然后继续构建3个尺度提取神经元特征,具体如下: b1 .使用大小为1×1像素的1个卷积核对步骤3.1 .2得到的特征图 进行一次卷积操作,该卷积核的权重即为需要训练的多尺度卷积神经网络的参数之一,然 7 CN 111553873 A 说 明 书 3/9 页 后执行一次最大池化操作,作为第一个尺度,得到特征图 b1为该特征图的编 号; b 2 .使用大小为3× 3像素的25 6个卷积核对步骤3 .1 .2得到的特征图 进行一次卷积操作,该256个卷积核的权重即为需要训练的多尺度卷积神经 网络的参数之一,然后执行一次最大池化操作,为第二个尺度,得到特征图 b2为该特征图的编号; b 3 .使用大小为3× 3像素的25 6个卷积核对步骤3 .1 .2得到的特征图 进行两次连续的卷积操作,这两次卷积操作采用的共512个卷积核的权重即 为需要训练的多尺度卷积神经网络的参数之一,然后执行一次最大池化操作为第三个尺 度,得到特征图 b3为该特征图的编号; 步骤3 .1 .4 、将步骤3 .1 .3中得到的三个尺度的特征图 级联在一起,得到特征图 m2为该特征图的 编号,至此,感受野尺寸为4×4像素、6×6像素、8×8像素、10×10 像素、12×12像素、14× 14像素和16×16像素; 步骤3.1 .5、对步骤3.1 .4得到的特征图 使用大小为3×3像素的 1024个卷积核执行两次卷积操作,这两次卷积操作采用的共2048个卷积核的权重即为需要 训练的多尺度卷积神经网络的参数之一,用来加强神经元质心细节特征的提取,得到特征 图 c为该特征图的编号,至此,得到感受野尺寸分别为20×20像素、22×22 像素、24×24像素、26×26 像素、28×28像素、30×30像素和32×32像素的7个不同尺度构 成的多尺度编码器网络。 步骤3.2中解码器网络由两组对应编码器网络的上采样层、卷积层和 ReLU层组 成,具体如下: 步骤3.2.1、对步骤3.1的结果进行一次上采样,得到特征图 q为 该特征图的编号; 步骤3 .2 .2、使用大小为2×2像素的512个卷积核对步骤3 .2 .1得到的特征图 进行一次卷积操作,得到特征图 e为该特征图的编号,该512 个卷积核的权重即为需要训练的多尺度卷积神经网络的参数之一; 步骤3 .2 .3、使用大小为3×3像素的512个卷积核对步骤3 .2 .2得到的特征图 进行一次卷积操作,得到特征图 g为该特征图的编号,该512 个卷积核的权重即为需要训练的多尺度卷积神经网络的参数之一; 步骤3.2.4、对步骤3.2.3得到的特征图 进行一次上采样,得到特征 图 h为该特征图的编号; 8 CN 111553873 A 说 明 书 4/9 页 步骤3 .2 .5、使用大小为2×2像素的256个卷积核对步骤3 .2 .4得到的特征图 进行一次卷积操作,得到特征图 k为该特征图的编号,该256 个卷积核的权重即为需要训练的多尺度卷积神经网络的参数之一; 步骤3 .2 .6、使用大小为3×3像素的256个卷积核对步骤3 .2 .5得到的特征图 进行一次卷积操作,得到特征图 l代表为该特征图的编号,该 256个卷积核的权重即为需要训练的多尺度卷积神经网络的参数之一; 至此,步骤3.2.6得到特征图 的尺寸恢复为步骤2的训练集图像的尺 寸512×512,此时,特征图数量为256; 步骤3.2.7、采用内核大小为3×3像素的2个卷积核对步骤3.2.6的结果进行一次 卷积操作,得到特征图 n为该特征图的编号,这2个卷积核的权重即为需要训 练的多尺度卷积神经网络的参数之一,特征图数量 2对应于步骤1的真值图中的2个类别, 即神经元质心和非质心; 步骤3.2.8、对步骤3.2.7的结果应用sigmoid激活函数,得到步骤2的训练集图像I 对应的神经元的质心概率图P,该质心概率图P尺寸为512×512 像素,在质心概率图P中,像 素的概率值越大,该像素为神经元质心的可能性越大。 步骤3.3具体如下: 设置学习率为0 .0001,选择Ada m作为优化器,损失函数设为 bi na ry _ crossentropy,使用反向传播和随机梯度下降法最小化损失函数,得到训练好的网络参数, 即所有卷积核的权重,所有卷积核的权重即构成多尺度卷积神经网络模型。 本发明的有益效果是,在海马体区域中构建数据集,手动标注该数据集中神经元 质心的位置作为真值图,为深度学习在医学领域中的应用扩充了数据库;构建的多尺度卷 积神经网络,可以自动、有效、准确地检测尤其是高密度解剖区域中大量黏连的神经元;构 建的多尺度卷积神经网络,便于直接应用训练好的模型处理新的图像,能有效的缩短大尺 寸脑显微图像中神经元的检测时间。 附图说明 图1是本发明的流程示意图; 图2是本发明构建的多尺度卷积神经网络结构; 图3(a)为本发明实验使用图像; 图3(b)为本发明使用实验图像的真值图; 图4(a1)为具有少量神经元的低密度图像; 图4(a2)为具有许多黏连神经元的较高密度的图像; 图4(a3)为具有大量黏连神经元的极高密度的图像; 图4(b1)为对图4(a1)应用多尺度卷积神经网络得到的神经元质心的概率图; 图4(b 2)为对图4(a2)应用多尺度卷积神经网络得到的神经元质心的概率图; 图4(b 3)为对图4(a3)应用多尺度卷积神经网络得到的神经元质心的概率图; 图4(c1)为在图4(a1)中检测到的神经元质心图; 9 CN 111553873 A 说 明 书 5/9 页 图4(c 2)为在图4(a2)中检测到的神经元质心图; 图4(c 3)为在图4(a3)中检测到的神经元质心图。