计算机视觉跨界荧光显微!暗通道计算光学层切结合生物荧光成像

现代显微成像技术的基石,建立在去除荧光在样品中的散射技术上,典型如共聚焦、多光子、光片成像、三维结构光、组织透明化等。然而,基于光学的层切技术常常会带来系统成本、时间分辨率与光毒性的提高,基于生物的层切技术又会带来样品处理复杂性的提高。此外,即使是最先进的光学成像技术,在面对深层样本的成像中,依然会由于深层散射而产生离焦背景,影响精细生物结构的观察。

为了提升各种场景下荧光成像的光学层切性能,北京大学席鹏/深圳大学屈军乐合作团队另辟蹊径,通过计算机视觉与荧光显微的融合提出了一种暗通道光学层切算法(Dark sectioning),相关成果在Nature Methods杂志以长文(Article)的形式发表,题为《暗通道光学层切算法助力荧光图像离焦背景去除》(“Dark-based optical sectioning assists background removal in fluorescence microscopy”)的研究论文。Dark sectioning仅用单帧图像即可高效去除图像的离焦背景,使显微成像的信背比(SBR)和结构相似性(SSIM)得到大幅提升,为深部生物组织研究、病理诊断及深层活体动态观测开辟全新可能。

Dark sectioning的提出受到自然图像的暗通道去雾启发。研究者发现,荧光图像中的离焦背景与自然图像的雾霾呈现出分布的相似性,他们均表现为对于有效信息的低频加性模糊。其中暗通道先验理论被广泛应用于自然图像去雾任务中,暗通道被定义为图像局部块的最小值组成的图像。在无雾图像中,暗通道图像几乎为0,而在含雾图像中,暗通道图像呈全白分布。研究者发现,暗通道先验还能区分单色图像的在焦与离焦信息,如图所示的黄色花朵,花朵部分的暗通道为全0,而背景树枝的暗通道为波动分布;同理,暗通道先验也能区分荧光图像的背景与在焦信息,这是由于在焦与离焦图像点拓展函数大小的差异,如图1。然而荧光图像中的离焦背景和自然图像的雾霾又有着不同:雾霾呈现全局均一性,且自然图像的像素灰度值代表图像信息;而离焦背景呈现局部波动性,且荧光图像的像素灰度值代表荧光强度。自然图像的暗通道去雾技术直接用于荧光图像会带来弱信号的丢失与背景的不完全去除,因此其并不直接适用于荧光图像当中。

接着,研究者开发了适用荧光图像的背景去除技术——暗通道光学层切(Dark sectioning)。Dark sectioning首先通过高低频分离以保留图像的弱小信号,仅将低频部分进行去背景处理,并利用物理参数驱动生成的点扩展函数优化图像块尺寸,在背景去除的过程中,通过更低一级的低通滤波器模拟初始背景分布,从而定量化初始背景,最后通过迭代滤除进行单次或多次的背景去除以适用不同程度的背景场景。通过宽场-共聚焦,宽场-光层切,二维-三维结构光,单光子-双光子的联合交叉验证(图2),研究者证明了Dark sectioning能够基于宽场图像达到共聚焦/光层切/双光子的成像效果,并且能够在深层组织成像时进一步提升共聚焦/光层切/双光子的光学层切能力。

接着,研究者展现了Dark sectioning技术在不同显微成像中的应用如图3。在高通量的光片成像中,由于组织不完全的透明化,呈现严重的离焦背景,而Dark sectioning能够显著提升小鼠全脑成像质量。在活体小动物成像当中,Dark sectioning技术能够通过降低散射背景,提升小鼠身体组织的血管成像清晰度。在650 μm的深层神经元成像中,Dark sectioning能够显著提升基于深度学习的神经元分割提取度,原先难以分辨的神经元得以显现。在病理组织成像中,光片成像对200 μm的深层前列腺组织进行三维荧光成像,但由于组织透明化的非均一性,离焦背景严重。Dark sectioning不仅能够高效去除离焦背景,而且通过风格化迁移后,能够将荧光图像转化的HE染色图像变得更为清晰,从而获得全组织的清晰三维病理信息,协助医生进行综合且全面的病理诊断,获得更为精确的细胞核计数。

最后,研究者系统探索了Dark sectioning在多种不同光学显微镜硬件模态与重建/后处理算法中的应用场景,如图4所示。研究者发现Dark sectioning不仅能够适用于宽场成像,光片/光场成像,受激发射损耗成像,偏振成像等硬件模态,能够提高光学层切与偏振解析能力;更适用于深度学习超分,荧光涨落成像、二维/三维结构光照明成像,反卷积等重建/后处理算法,能够显著降低二维/三维结构光照明成像伪影,并提升荧光涨落成像(SOFI/SACD),和反卷积的重建分辨率。

通过计算机视觉与荧光显微成像的组合创新,Dark sectioning无需额外的成像成本,极大地提升了各类荧光成像模态的层切性能。在未来,其有望集成于各类显微技术当中实现实时去离焦成像,并成为结构光/光场/分割/解卷积/荧光涨落/深度学习等重建技术的通用预处理手段。

资源下载: