技术摘要：
一种图像数据处理方法是用于配准两个四维图像数据集，每个四维图像数据集表示三维图像帧的时间系列。所述方法包括初始预配准步骤，其中，两个图像数据集的3D图像帧相对于彼此被旋转和平移(16)以便使得针对每个识别(14)的相应主要运动向量对齐，所述主要运动向量是表示  全部
背景技术：
多视角医学成像，例如在超声成像领域中，是频繁应用的成像方法。该方法是基于 对对象的身体的相同的共同解剖区域进行成像，但是从两个不同的视点。这允许关于成像 区域的更多细节被获得。此外它允许(例如由于遮挡)从一个视点不可见的区域的部分仍然 被呈现在最终图像中，由于从另外的视点采集的额外图像信息。 为了从在每个视点采集的图像数据集获得单个最终图像，必须执行图像配准的过 程。配准包括对齐在每个数据集中的采集的图像数据，使得在每个中捕获的共同视觉特征 被彼此对齐(例如它们与彼此交叠)地绘制。两者然后能够被组合或融合。 该过程具有特殊适用性的一个领域是超声成像领域。 两个实时3D超声体积(也被称为4D体积或4D图像数据集)的配准或融合是在多角 度回波描记术中的关键步骤，允许成像视场被延伸，并且允许一个捕获的图像数据集的丢 失信息通过在另一个捕获的图像数据集中捕获的信息来补充。此外，融合的回波描记术提 供了改善的图像质量和外科手术设备可见性。 用于实现4D超声体积的配准的现有技术方法通常利用基于来自体积的选定2D切 片的强度归一化的2D图像的组合相似性得分的优化过程来获得4D体积的正确对齐。这种优 化过程可以进一步使用每个4D体积的在不同细节水平下的表示(如在所谓的尺度空间中表 示的)，以便增加收敛到有意义解的可能性。 然而，这种已知方法的性能已经证明在实践中远不尽如人意，因为它经常导致4D 体积的不准确对齐并且因此差的质量的最终融合图像。 因此寻求能够实现改善的结果的用于配准4D图像数据集的方法。
技术实现要素：
本发明由权利要求限定。 根据本发明的一方面，提供了一种用于空间配准两个图像数据集的图像数据处理 方法，包括： 获得两个不同的四维图像数据集，每个四维图像数据集包括表示共同解剖区域的 三维图像帧的时间系列的图像数据； 针对每个四维图像数据集识别相应的三维运动向量，所述三维运动向量指示识别 出的三维子区域的运动，所述识别出的三维子区域在帧的相应时间系列的至少部分内表现 出最大空间位移； 执行所述四维图像数据集中的一个或两者的旋转和平移，从而使得它们相应的三 维运动向量对齐；以及 4 CN 111587449 A 说　明　书 2/12 页 基于图像配准流程对已经对齐了三维运动向量的所述图像数据集中的一个或两 者执行进一步的变换，例如以使所述两个图像数据集空间配准。 本发明是基于执行初始‘粗略对齐’步骤的概念，其中，两个四维图像数据集根据 在每个中识别的单个主要运动向量的方向被旋转地和平移地对齐。主要运动向量对应于在 每个图像数据集中识别的在被包括在该集中的三维图像帧的集合的过程中经历成像视场 中的最大位移的子区域的运动。 通过首先根据表示在场内发生的最主要运动的这种单个向量对齐图像数据集，发 明人已经发现最终配准的鲁棒性和准确性被显著地改变。选择具有最大运动分量的单个向 量(例如相比于确定对应于多个点的运动的运动向量)提高了在旋转对齐方面的准确性的 可能性，因为这种最大分量可能是表示显著结构特征的运动，而非例如无关的特征或甚至 噪声伪影。因此，每个图像数据集中的所导出的运动向量给出了对每个4D体积中的解剖结 构的最主要元数的运动的良好估计。 通过四维图像数据集意味着表示三维图像帧的时间系列(即三个空间尺寸加上时 间)的图像数据。这在本领域中要不然被称为四维体积。 在范例中，图像数据集可以是超声图像数据集，或可以是使用能够从两个截然不 同的角度视点采集解剖区域的3D图像帧的系列的不同成像方法或模态采集的图像数据集。 通过‘向量’可以意味着存在于通过图像数据集表示的图像的空间内三维(坐标) 空间(即在每个图像(3D图像帧)内捕获或表示的物理区域或区的三维空间)内的向量。 通过‘旋转’意味着在存在于通过如上面定义的图像数据集的3D图像帧表示或捕 获的物理空间中的该3D坐标空间内的旋转。通过‘平移’类似地意味着该3D坐标空间内的平 移。 在4D图像数据集内识别最大空间位移的子区域。通过此意味着识别在构成4D图像 数据的3D图像帧的系列的至少一部分的过程中被认为经历最大空间位移的三维(即空间) 区域。 子区域可以通过存在或位于该区域内或被该区域包含的具体图像特征来表征。区 域的位移因此可以有效地通过那些图像特征的位移来表征或表现在那些图像特征的位移， 使得通过它们表征的区域也被认为移动。 因此，所述方法的该步骤可以包括识别4D图像数据集的帧内的三维子区域，其特 征在于一个或多个图形或视觉特征特征，其借助于在帧的系列的过程中的那些特征的位移 被认为其本身移位最大量，即存在于在3D图像帧中表示或捕获的(物理)空间内的3D坐标空 间内的最大空间位移。 ‘变换’在数学意义上被使用，并且包括例如平移、旋转和反射的线性变换。所述变 换也是在通过图像数据集的图像(3D图像帧)定义的三维坐标空间执行，如上面讨论的。 在范例中，使得运动向量对齐可以意味着旋转和平移图像数据集中的一个或两者 (即相对旋转和相对平移图像数据集)以便致使其相应的所导出的运动向量彼此平行(或基 本上平行)且一致(或基本上一致)。 使得空间配准可以包括使两个图像数据集更完全或使彼此更准确(空间)对齐，例 如产在一起在每个图像数据集的图像(3D图像帧)中捕获的共同图像特征，即以使得所述共 同特征彼此对齐，或者例如，关于两个图像数据集的强度型式。 5 CN 111587449 A 说　明　书 3/12 页 使得空间配准可以包括例如关通过图像数据集表示的3D图像帧的视觉或图形特 征的空间定位使两个图像数据集(例如完全或更准确)彼此空间一致。 使得空间配准可以包括例如关于存在于两个图像数据集的帧中的共同视觉特征 或强度值执行变换以致使图像数据集彼此交叠。 所述进一步变换基于图像配准流程。图像配准是本发明的技术领域中的很好地理 解的概念，并且包含许多不同的算法方法。图像配准流程可以是基于图像匹配流程，例如图 像匹配算法。在具体范例中，图像匹配算法可以是强度匹配算法或特征匹配算法。在强度匹 配中，两个图像数据集的3D帧的强度特性(例如强度分布)可以通过变换而彼此匹配，由此 使图像配准。 在任何范例中，所述进一步变换可以是线性变换，或可以例如是弹性或非刚性变 换。 在具体范例中，四维图像数据集的获得可以包括经由通信信道例如从远程计算机 (例如服务器)接收图像数据集。在其他范例中，获得四维图像数据集可以包括从一个或多 个图像采集设备(例如一个或多个成像探头)接收图像数据集。在范例中，这些例如可以是 一个或多个超声成像探头。 在仅一个成像探头被使用的情况下，两个图像数据集在不同的时间被获得。在两 个或更多个成像探头被使用的情况下，图像数据集可以同时被获得。 根据一个或多个范例，识别所述三维运动向量可以包括，针对所述四维图像数据 集中的至少一个：处理所述图像数据集以导出对应的降低分辨率图像数据集；以及在所述 降低分辨率图像数据集内识别在通过所述图像数据集表示的帧的所述系列的至少一部分 内表现出最大空间位移的所述三维子区域。 借助于通过原始四维图像数据集(原始四维体积)的降低分辨率版本的处理或分 析来检测最大空间位移的子区域，实现了针对噪声伪影的改善的鲁棒性。噪声通常影响在 图像数据集中捕获的3D和4D两者(这表现在图像看起来粒状)。更低分辨率图像帧通常包括 更少噪声伪影。因此通过识别降低分辨率图像数据集内的最大位移的子区域，存在对子区 域的错误识别的更小可能性，由于例如实际上为仅噪声伪影的表现的明显的大的区域运 动。对齐的鲁棒性因此被改善。 通过‘对应的’图像数据集可以意味着表示三维图像帧的相同系列(即表示相同视 觉内容)的图像数据集，但是其中，每个帧具有比最初获得的图像数据集更低的分辨率。 为了避免疑义，‘分辨率’指的是图像分辨率。这是数字成像和图像处理的领域内 的很好理解的技术术语。它可以例如指的是像素分辨率(例如通过图像数据集中的每个表 示的3D图像帧内的像素的密度)，或可以指的是空间分辨率或图像分辨率的任何其他度量 或量度。 通过‘降低分辨率’意味着相对于最初获得的四维图像数据集降低。此外，通过降 低分辨率图像数据集意味着包括3D图像帧的时间系列的图像数据集，其中，所包括的3D图 像帧具有相比于被原始4D图像数据集包括的3D图像帧降低的分辨率。 根据具体范例，所述方法还包括识别原始图像数据集内的对应于在所述降低分辨 率数据集中识别的所述子区域的三维子区域，并且其中，识别所述三维运动向量包括识别 指示所述原始图像数据集中的所述对应区域的运动的向量。 6 CN 111587449 A 说　明　书 4/12 页 为了避免疑义，‘原始图像数据集’指的是最初通过该方法获得的四维图像数据 集，即在本申请的权利要求1中提及的四维图像数据集。 在这组范例中，在降低分辨率图像数据集(即降低分辨率图像数据集的3D帧)中识 别的3D子区域被有效地映射到原始图像数据集(即原始4D图像数据集的3D帧)。表示该区域 的运动的3D运动向量然后基于在原始4D图像数据集的3D图像帧的过程中的对应区域的检 测到的运动来确定。 在替代范例中，3D运动向量可以关于在降低分辨率图像数据集的3D帧的过程中的 子区域的所确定的运动来确定，并且所确定的运动向量和识别出的子区域然后被映射到原 始4D图像数据集。 通过‘对应于’可以意味着原始4D图像数据集的3D图像帧内的三维子区域，其通过 相同视觉特征来表征或包含或包括或涵盖相同视觉特征，在降低分辨率图像中识别的子区 域也是如此。 根据一个或多个范例，所述方法可以包括处理所述至少一个四维图像数据集以导 出多个降低分辨率图像数据集，每个降低分辨率图像数据集具有不同的相应分辨率，并且 在具有最低分辨率的所述降低分辨率图像数据集内识别表现出最大空间位移的所述三维 子区域。 通过不同的相应分辨率可以意味着降低分辨率图像数据集中的一个具有不同的 相对分辨率或不同的绝对分辨率。 更具体地，在这些情况下，识别所述原始数据集内的所述对应子区域可以包括继 而在所述降低分辨率图像数据集之间顺序地映射识别出的最大空间位移的子区域，从所述 最低分辨率数据集开始并且随后前进到所述原始数据集。 在这些范例中，在最低分辨率4D图像数据集中识别最大位移的子区域。由于噪声 对于更低分辨率图像是降低的，通过选择最低分辨率图像数据集用于识别最大位移子区 域，抵抗由于噪声伪影的子区域的识别方面的潜在错误的鲁棒性被增加最大量。 通过然后相继地向上映射或传播识别出的子区域通过不同分辨率图像数据集，图 像数据的质量被改善(由于改善的分辨率)而不损失识别出的子区域的准确性和噪声鲁棒 性。 除了从最低分辨率4D图像数据集识别识别并映射最大位移的子区域之外，根据一 个或多个范例，三维运动向量可以关于最低分辨率数据集中的识别出的子区域进行识别， 并且这也被向上映射通过多个不同分辨率数据集。 通过‘继而在降低分辨率图像数据集之间映射识别出的子区域’可以意味着在每 个相应的降低分辨率图像数据集中简单地识别对应于识别出的子区域的子区域。 具体地，在范例中，多个降低分辨率4D图像数据集被有效地排序或者以增加的分 辨率的顺序被堆叠，并且识别出的子区域被逐渐‘向上’映射通过相继地增加分辨率4D数据 集直至到达原始4D图像数据集。 根据一个或多个范例，所述多个降低分辨率图像数据集中的每个可以表示具有降 低的总尺寸的3D图像帧的相应时间系列，并且其中，从一个数据集到另一个数据集的所述 映射包括与所述两个图像数据集的3D图像帧的相对尺寸的差成比例地增加识别出的最大 位移的子区域的尺寸。 7 CN 111587449 A 说　明　书 5/12 页 通过尺寸意味着空间尺寸，即如通过区域的空间尺寸来表征的。 在这些范例中，除了包括具有相比于原始4D图像数据集降低的分辨率的3D图像帧 之外，降低分辨率图像数据集的3D图像帧也在尺寸上小于原始图像数据集的3D图像帧。 在这些范例中，将识别出的区域从第一4D图像数据集映射到第二4D图像数据集可 以简单地包括与第一4D图像数据集和第二4D图像数据集之间的尺寸增加成比例地扩大识 别出的区域的尺寸。这可以被完成，例如同时维持图像帧内的相应区域的中心点静止。 这提供了实现映射的简单且有效的手段，而无需复杂的处理或分析被执行。 在具体范例中，通过‘减小的总尺寸’可以意味着3D图像帧在总面积上更小或者尺 寸更小。减小的尺寸可以意味着在像素尺寸方面或在任何其他度量或量化方面减小。 所述图像配准流程可以是基于最大化在由所述图像数据集中的每个包括的一个 或多个帧之间确定的相似性度量。 具体地，可以针对不同可能的变换确定两个图像数据集的相继帧之间的相似性得 分，并且变换针对最大相似性得分进行优化。这因此确保两个图像数据集的3D图像帧之间 最好可能的对齐或配准，因为好的相似性得分指示视觉或图形特征的良好空间对齐。在具 体范例中，相似性度量可以是基于两个图像数据集的3D图像帧的强度分布或强度特征的相 似性。 根据一个或多个范例，所述进一步变换可以包括平移。 根据一个或多个范例，所述两个四维图像数据集可以包括表示所述解剖区域的不 同空间视点的图像数据。 在这些范例中，构成每个4D图像数据集的3D图像帧可以表示所述共同解剖区域， 但是每个3D图像帧表示如从不同空间视点或角度‘观察’或成像的区域。 在范例中，两个4D图像数据集可以例如包括从被定位在相对于解剖区域的不同位 置或角度处的一个或多个成像探头捕获或采集的图像数据。 根据一个或多个范例，对应于所述两个空间视点的观察方法可以被分开至少25度 的角度。 本发明的方法特别有利地适于两个4D图像数据集包括从相对于彼此具有大角度 位移的不同视点捕获的图像数据的情况。在此类情况下，现有技术方法通常导致错误的配 准。 相比之下，本发明的方法能够借助于新颖性预配准步骤实现显著改善的结果，其 中，两个图像数据集首先被旋转和平移以便使其运动向量对齐。该旋转和平移步骤确保视 点之间的任何大角度位移在最终变换步骤中执行的更精细对齐调整之前被修正。 根据一个或多个范例，生成所述(一个或多个)降低分辨率图像数据集可以包括利 用带通空间滤波器处理所述四维图像数据集。在范例中，这可以是高斯滤波器。 在范例中，所述方法可以是超声图像数据处理方法。 在更具体的范例中，所述方法可以是心脏超声图像数据处理方法。 在此类情况下，任选地通过所述两个四维图像数据集表示的所述共同解剖区域可 以对应于被心脏的心尖四腔观包含的区域。 在心脏区域被成像的情况下，图像数据集的捕获优选地根据心动周期在时间上被 同步。在具体范例中，两个4D图像数据集的捕获可以是ECG门控的，使得图像集均在相同的 8 CN 111587449 A 说　明　书 6/12 页 心脏时相处开始。 心尖四腔观是本领域术语，并且指的是在得到的图像数据中捕获心脏的所有四个 腔(右和左心室以及右和左心房)的视点。 根据本发明的又一方面，提供了一种图像处理设备，包括： 处理器，其适合于 获得两个不同的四维图像数据集，每个四维图像数据集包括表示共同解剖区域的 三维图像帧的时间系列的图像数据； 针对每个四维图像数据集识别相应的三维运动向量，所述三维运动向量指示识别 出的三维子区域的运动，所述识别出的三维子区域在帧的相应时间系列的至少部分内表现 出最大空间位移； 执行对所述四维图像数据集中的一个或两者的旋转和平移，诸如以使其相应的三 维运动向量对齐；以及 执行对已经基于图像配准流程对齐三维运动向量的所述图像数据集中的一个或 两者的进一步变换，例如以使所述两个图像数据集空间配准。 根据本发明的又一方面，提供了一种超声成像系统，包括： 一个或多个超声换能器单元；以及 一个或多个超声换能器单元；以及 处理器组件，其适于： 处理从所述一个或多个超声换能器单元接收的信号数据以获得两个不同的四维 图像数据集，每个四维图像数据集包括表示共同解剖区域的三维图像帧的时间系列的图像 数据； 针对每个四维图像数据集识别相应的三维运动向量，所述三维运动向量指示识别 出的三维子区域的运动，所述识别出的三维子区域在帧的相应时间系列的至少部分内表现 出最大空间位移； 执行对所述四维图像数据集中的一个或两者的旋转和平移，例如以使其相应的三 维运动向量对齐；并且 执行对已经基于图像配准流程对齐三维运动向量的所述图像数据集中的一个或 两者的进一步变换，例如以使所述两个图像数据集空间配准。 在范例中，所述处理器组件可以包括单个处理器，或可以利用例如执行专门任务 的多个处理器。详细的范例将会在随后的章节中进行描述。 根据一个或多个范例，所述系统可以包括两个超声换能器单元，并且其中，所述两 个不同的四维图像数据集是使用从所述两个超声换能器单元中的不同超声换能器单元接 收的信号数据来获得的。优选地，在使用中，当收集相应四维图像数据集时，所述换能器单 元可以被定位在相对于解剖区域的不同角度位置处。 在替代地范例中，所述系统可以包括单个超声换能器单元，并且其中，所述两个不 同的四维图像数据集使用由所述单个换能器单元在不同的相应时间段内捕获的信号数据 来获得。再次，在优选范例中，在使用中，当捕获两个相应四维图像数据集时，所述单个换能 器单元被定位在相对解剖区域的不同角度位置处。 关于本发明的一个方面(例如上面描述的处理方法)概述的范例和实施例的特征 9 CN 111587449 A 说　明　书 7/12 页 可以在有利的实施例中与其他范例中的本发明的任何其他方面进行组合，或被包含到其他 范例中的本发明的任何其他方面内。 附图说明 本发明的具体实施例将会仅通过范例的方式参考附图详细地进行描述，其中： 图1以方框图形式示出了根据本发明的一个或多个实施例的范例方法； 图2示意性地图示了两个四维图像数据集的采集的范例； 图3示出了通过不同分辨率4D图像数据集的范例集合的3D帧的2D切片； 图4图示了3D图像帧的范例3D子区域的识别和相继帧之间的子区域的位移；并且 图5图示了根据本发明的一个或多个实施例的范例超声成像系统。