據麥姆斯咨詢報道，1月21日，中國科學院生物物理所、廣州生物島實驗室研究員李棟課題組，與清華大學自動化系、腦與認知科學研究院教授戴瓊海課題組，在Nature Methods上以長文(Article)形式發表了題為Evaluation and development of deep neural networks for image super-resolution in optical microscopy的論文，該研究綜合測評了現有超分辨卷積神經網絡模型在顯微圖像超分辨任務上的表現，提出傅立葉域注意力卷積神經網絡(DFCAN，Deep Fourier Channel Attention Network)和傅立葉域注意力生成對抗網絡(DFGAN，Deep Fourier Generative Adversarial Network)模型，在不同成像條件下實現最優的顯微圖像超分辨預測和結構光超分辨重建效果，并觀測到線粒體內脊、線粒體擬核、內質網、微絲骨架等生物結構的動態互作新行為。

為測評現有多種超分辨神經網絡在顯微圖像超分辨任務中的表現，以及建立基于深度學習的顯微圖像超分辨算法研究生態，李棟/戴瓊海聯合課題組利用自主開發了多模態結構光超分辨顯微鏡系統，集成了TIRF-SIM、Nonlinear-SIM(Science，2015)和GI-SIM(Cell，2018)等多種超分辨成像模態，并利用這一系統建立了一個包含四種不同復雜度的生物結構、九檔信噪比，以及提高2倍(Linear-SIM)、3倍(Nonlinear-SIM)分辨率的高質量超分辨顯微圖像數據集，命名為BioSR。

傅立葉域注意力生成對抗網絡將寬場熒光圖像重建成超分辨圖像，準確解析了微絲細胞骨架微結構。

以此為基礎，該團隊測試了多個現有超分辨神經網絡模型的性能，如SRCNN、EDSR、Pix2Pix、RCAN等，并提出測評矩陣(assessment matrix)方法，將超分辨神經網絡模型與傳統Linear-SIM和Nonlinear-SIM的效果進行比較，得到了不同模型的優越區域(priority region)，即給出了不同模型實現足夠好的超分辨成像效果，能夠用于日常生物成像實驗的成像條件。

通過分析評測矩陣結果發現，現有超分辨神經網絡模型的優越區域主要集中在低復雜度生物結構和提升2倍分辨率(即Linear-SIM)的成像條件下，而在生物成像實驗通常使用的中、高信噪比條件下的性能則低于傳統超分辨成像方法。

為進一步拓展卷積神經網絡在顯微圖像超分辨中的適用范圍，提升超分辨成像和重建效果，李棟/戴瓊海聯合課題組基于高、低分辨率圖像頻譜覆蓋范圍的顯著差異，提出了傅立葉域注意力卷積神經網絡模型(DFCAN)和傅立葉域注意力生成對抗網絡模型(DFGAN)，實現了比其它超分辨神經網絡模型更魯棒的顯微圖像超分辨成像效果，依據測評矩陣結果，其優越區域可以拓展至中、高信噪比成像條件，可在實際生物成像實驗中替代現有超分辨成像方法，拓展了深度學習超分辨成像方法的適用范圍。

上圖為傅立葉域注意力機制深度學習算法框架圖。下圖是基于DFCAN和DFGAN結構光超分辨重建活細胞內的線粒體內膜結構(綠色)和內質網(紫紅色)，撲捉到線粒體在內質網與線粒體接觸位點線粒體融合的動態過程。

應用DFCAN和DFGAN單張顯微圖像超分辨率預測和結構光照明超分辨重建方法，研究人員能夠以更低的激光功率、更快的成像速度、更長的成像時程和超越衍射極限的分辨率來觀測亞細胞尺度生物結構的動態演變過程。

例如：(1)細胞中的線粒體內膜和線粒體擬核之間的相互作用。成像時程(>1200張超分辨圖像)達到傳統活細胞超分辨成像方法的10倍以上，首次觀察到伴隨著線粒體內脊形變的擬核分離和聚合現象;(2)細胞中環形線粒體的旋轉行為。揭示環形線粒體會在細胞質流的推動下進行雙向旋轉，表明除植物細胞外，動物細胞一定程度上也用渦旋細胞質流來調節胞內穩態;(3)細胞內吞過程中細胞微絲(F-actin)和網格蛋白小窩(CCPs)的相互作用。觀察到在內吞過程伊始時F-actin與CCPs接觸較少，而在內吞即將結束時F-actin頻繁接觸CCPs，以幫助其脫離細胞膜;(4)細胞中線粒體和內質網之間的相互作用。觀察到線粒體的分裂和融合發生在其與內質網的接觸位點附近。