技术说明
通过深度学习提高图像质量
利用残差通道注意力网络(RCAN)还原和增强容积延时荧光显微镜数据
Authors
作者
Luciano Lucas博士
总监——Aivia
徕卡显微系统,德国韦茨拉尔
Quyen Tran博士
科学应用与市场经理——Aivia
徕卡显微系统,美国贝尔维尤
Hoyin Lai
内容营销经理/高级应用专员——Aivia
徕卡显微系统,美国贝尔维尤
AIVIA - IMAGE RESTORATION WITH 3D RCAN NETWORKS
AIVIA - 利用3D RCAN还原图像
双色共焦图像的分辨率增强。训练用的原始图像在Leica SP8系统上拍摄,(A)共焦模式的核孔复合物(白色)和微管(绿色);(B)STED模式拍摄的图像。(C)使用深度学习模型将共焦图像的空间分辨率提升到接近STED质量。
对于收集到的活细胞3D数据,3D RCAN可以有效避免光漂白,允许我们拍摄长时间的超分辨率3D图像数据。 实际应用中,图像分辨率非常好,我们甚至能够在3D图像中长时间观察到线粒体和囊泡的相互作用。 3D RCAN的图像去模糊效果也比其他测试方法更好。
我们还使用受激发射损耗(STED)拍摄的实验数据来训练RCAN模型,用以测试RCAN的性能。相比共聚焦的空间分辨率,RCAN在多个固定或活细胞样品中实现了2.5倍的提升,与STED的提升效果类似。值得注意的是,反卷积共聚焦数据无法实现类似的分辨率提升。
研究人员还开发了将RCAN与膨胀显微术(expansion microscopy)相结合以提升iSIM分辨率的方案。 在细胞爬片样本,线粒体和微管动力学的4D研究中,这种方法可以实现1.9倍的横向分辨率和3.6倍的轴向分辨率提升。 需要注意的是,膨胀显微术不能应用于活体样本成像。
基于这些结果,作者认为,相比现有方法(例如光片显微镜和转盘共聚焦成像设备),3D RCAN与高分辨率、多噪点的共聚焦显微镜或iSIM相结合可以成为3D活细胞成像的精妙方案。作者还在考虑使用这种方法进一步改善其他显微成像模式。
表达EGFP-Tomm20的U20S活细胞图像。高放大倍率视图,原始iSIM、去卷积iSIM和 RCAN预测进行比较。红色剪头表明RCAN可以比iSIM更好地解析线粒体。图片来源:Nature Methods
如何使用3D RCAN模式
在GitHub和我们的网页上可以找到代码、数据以及经过训练的深度学习模式。此外,我们还在Aivia中部署了所有预训练模型,因此每个人都能将其轻松用于自己的数据。Aivia用户还可以添加训练数据,以针对自己的成像/采样工作优化我们的预训练模型。
本项研究刊载于2021年6月出版的《Nature Methods》杂志上。