北京大学未来技术学院教授席鹏领导的研究团队,开发出了一种名为LargePNet的先进AI网络,旨在解决当前AI辅助荧光成像技术中“管中窥豹”的局限性。该技术使AI能够“全局视角”地理解并复原图像,从而实现更清晰、更全面的活细胞成像。
席鹏解释说,传统显微成像面临一个困境:为了获得清晰图像,需要提高光照强度,但这会损伤活细胞,限制了长时间观察的可能性。近年来,深度学习技术通过从低光照、模糊的图像中计算出高清画面,显著降低了光照需求,延长了观测时间。然而,以往的AI模型大多沿用了处理自然图像的方法,将大于512×512像素的大图分割成小块(如64×64或128×128像素)进行训练。这种方法如同让AI通过“碎片照片”学习摄影,每块小图包含的信息量极为有限。
席鹏指出,自然图像内容丰富,不同小块之间差异明显,适合切块训练。但荧光成像的情况截然不同,由于荧光染料通常特异性标记细胞内的特定结构,在小视野下观察到的往往是重复的细线状结构。区分“结构”与“噪声”的关键信息,实际上隐藏在更大尺度的全局关联之中。由“碎片照片”训练出的AI,在处理完整大图时,由于缺乏对全局的认知,常常表现出保真度不足和抗噪能力差的问题,因为它从未学习过“整只豹子”的形态。他进一步说明,荧光图像中,生物结构在广阔视野内存在长程关联,例如一根微管蛋白纤维可能贯穿整个图像。当AI模型仅接触过图像碎片,就无法理解这种全局结构。
该团队的创新之处在于提出了全新的通用型荧光成像复原网络LargePNet。其核心理念非常简洁:不再分割图像,而是直接使用大于512×512像素的大视野图像来训练AI,使模型在训练阶段就能完整学习细胞结构的上下文关联和全局统计信息。然而,直接将大尺寸图像输入传统神经网络会遇到两个挑战:一是如何建立足够大的“感受野”让AI理解全局结构;二是如何控制大视野计算量,避免GPU内存溢出。为此,团队构建了LargePNet,一个高效的大视野通用型荧光成像复原网络,它能够融合全局“骨架”与局部“细节”,实现既能看全又能看清。
这一技术的成效显著:在涉及不同显微成像模式的降噪、去模糊等八项典型任务中,LargePNet相比当前最先进的复原网络,在峰值信噪比上提升了0.5至2分贝,大图推理效率提高了4至20倍。基于该技术,团队成功实现了长达30小时、分辨率达200纳米的活细胞亚细胞器动态成像,稳定地捕捉了细胞骨架的动态变化。同时,内质网、线粒体和微管这三种细胞器在同一画面中的相互作用也得以纤毫毕现地展现。
更重要的是,团队还提供了“适用范围说明”。他们发现,当小图块与大视图的统计信息差异越大时,LargePNet相对于传统小图训练网络所展现的复原优势就越明显。席鹏表示,这意味着研究人员可以根据自身数据的特点,判断何时更适合使用这套具备“大局观”的模型。目前,团队已将全部Python源代码、训练数据及模型进行了开源,供全球科研人员免费使用。