應(yīng)用

技術(shù)

物聯(lián)網(wǎng)世界 >> 物聯(lián)網(wǎng)新聞 >> 物聯(lián)網(wǎng)熱點(diǎn)新聞
企業(yè)注冊(cè)個(gè)人注冊(cè)登錄

RNN 用于生物醫(yī)學(xué)全息成像,速度加快50倍

2021-06-24 15:17 機(jī)器之心

導(dǎo)讀:近日,加州大學(xué)洛杉磯分校的研究團(tuán)隊(duì)開發(fā)出一種新的全息相位檢索技術(shù),可以快速重建樣品的微觀圖像,與現(xiàn)有方法相比,可加速50倍。

數(shù)字全息成像是生物醫(yī)學(xué)成像中常用的顯微鏡技術(shù)。用于揭示樣本的豐富光學(xué)信息。常見的圖像傳感器只對(duì)入射光的強(qiáng)度做出響應(yīng)。因此,重建涉及光學(xué)相位檢索的傳感器以數(shù)字方式記錄的全息圖的完整 3D 信息,一直是數(shù)字全息術(shù)中一項(xiàng)耗時(shí)且計(jì)算量大的挑戰(zhàn)性任務(wù)。

近日,加州大學(xué)洛杉磯分校的研究團(tuán)隊(duì)開發(fā)出一種新的全息相位檢索技術(shù),可以快速重建樣品的微觀圖像,與現(xiàn)有方法相比,可加速50倍。研究結(jié)果首次證明了使用循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)進(jìn)行全息成像和相位恢復(fù),所提出的框架將廣泛適用于各種相干成像模式。

該研究于5月26 日以「使用循環(huán)神經(jīng)網(wǎng)絡(luò)進(jìn)行相位恢復(fù)和自動(dòng)對(duì)焦的全息圖像重建」(Holographic Image Reconstruction with Phase Recovery and Autofocusing Using Recurrent Neural Networks)為題發(fā)表在《ACS光子學(xué)》(ACS Photonics)雜志上。

全息術(shù)(holography)又稱全息照相術(shù),指在照相膠片或干板上通過記錄光波的振幅和位相分布并再現(xiàn)物體三維圖像的技術(shù)。全息術(shù)作為一種強(qiáng)大的生物樣品成像工具,只需最少的樣品制備,無需染色、固定或標(biāo)記。

過去幾十年,數(shù)字全息術(shù)取得了令人矚目的進(jìn)步,尤其是在圖像重建和定量相位成像 (QPI) 方法方面。

最近,基于深度學(xué)習(xí)的相位檢索算法被證明可以使用訓(xùn)練有素的神經(jīng)網(wǎng)絡(luò)重建全息圖。此外,還通過端到端神經(jīng)網(wǎng)絡(luò)推理過程直接在原始全息圖上實(shí)現(xiàn)了基于深度學(xué)習(xí)的相位檢索。與傳統(tǒng)的迭代相位恢復(fù)方法相比,基于深度學(xué)習(xí)的算法通過神經(jīng)網(wǎng)絡(luò)在單次(即沒有迭代)傳遞中創(chuàng)建無斑點(diǎn)和雙圖像偽影的對(duì)象重建。

現(xiàn)在,研究人員提出了一種新的基于深度學(xué)習(xí)的全息圖像重建和相位檢索算法,該算法基于循環(huán)神經(jīng)網(wǎng)絡(luò) (RNN),使用生成對(duì)抗神經(jīng)網(wǎng)絡(luò)(GAN)進(jìn)行訓(xùn)練。

用于RH-M和RH-MD培訓(xùn)的GAN框架

該技術(shù)利用深度學(xué)習(xí)訓(xùn)練的循環(huán)神經(jīng)網(wǎng)絡(luò),并結(jié)合了多個(gè)全息圖的空間特征,以數(shù)字方式創(chuàng)建樣本的全息顯微鏡圖像,例如人體組織載玻片。提高了圖像質(zhì)量、加快了重建速度,同時(shí)還增強(qiáng)了重建樣本的景深。

兩種方法

RH-M:循環(huán)全息 (recurrent holographic,RH) 成像框架使用多元 (multiple,M) 輸入全息圖,這些全息圖使用零相位反向傳播到公共軸平面上,在其輸出推斷中同時(shí)執(zhí)行自動(dòng)聚焦和相位檢索。

RH-MD:通過使用擴(kuò)張 (dilated,D) 卷積核增強(qiáng) RH-M,相同的自動(dòng)聚焦和相位檢索性能,而無需任何自由空間反向傳播 (FSP) 步驟;也就是說,獲取的對(duì)象的原始全息圖直接用作訓(xùn)練 RNN 輸入,用于在其輸出處進(jìn)行對(duì)焦圖像重建,稱為 RH-MD。更適用于相對(duì)稀疏的樣本,巴氏 (Pap) 涂片樣本的全息成像證明了它的成功。

RH-M方法

RH-MD方法

與現(xiàn)有的相位檢索和全息圖像重建算法相比,RH-M 和 RH-MD 框架的優(yōu)勢(shì)體現(xiàn)在:卓越的重建質(zhì)量和速度,以及通過自動(dòng)對(duì)焦功能擴(kuò)展景深(DOF)。

研究表明,對(duì)于肺組織切片成像,相比現(xiàn)有的基于深度學(xué)習(xí)的全息重建方法,RH-M 在幅度均方根誤差(RMSE) 方面質(zhì)量提高了 40%。與使用相同輸入全息圖的迭代相位檢索算法相比,RH-M 的推理速度快了 15 倍。

使用 RH-M 的全息成像

為了證明 RH-M 在相位恢復(fù)和自動(dòng)聚焦方面的功效,研究人員使用人肺組織切片訓(xùn)練和測(cè)試了 RNN,并使用無透鏡的在線全息顯微鏡對(duì)其進(jìn)行成像。采用三張訓(xùn)練載玻片和一張測(cè)試載玻片。(所有這些組織樣本均取自不同的患者)在訓(xùn)練階段,RH-M隨機(jī)取M=2個(gè)輸入全息圖,隨機(jī)樣本到傳感器的距離范圍為350-550 μm;然后將這些隨機(jī)選擇的全息圖中的每一個(gè)傳播到z2= 450 μm。所得復(fù)雜場的實(shí)部和虛部用作 RH-M 模型的訓(xùn)練輸入。

在盲測(cè)階段,為了證明訓(xùn)練的 RNN 模型的可行性,在 423.7 μm和 469.7 μm 的樣本到傳感器距離處捕獲了測(cè)試載玻片的 M = 2 個(gè)全息圖(來自不同的患者,未在訓(xùn)練期間使用)。

肺組織切片的全息成像

為了進(jìn)一步分析 RH-M 推理性能,研究人員在訓(xùn)練后的RNN中輸入M = 2個(gè)不同散焦距離組合的全息圖(Δz2,1和 Δz2,2),研究結(jié)果表明,首先,當(dāng) Δz2,1 = Δz2,2對(duì)應(yīng)于兩個(gè)輸入全息圖相同的情況時(shí),所提出的框架是成功的。其次,兩個(gè)輸入全息圖之間的軸向距離更有利于對(duì)RH-M進(jìn)行更好的推斷。

超參數(shù) M 是影響 RH-M 性能的關(guān)鍵因素之一。通常,具有較大 M 的網(wǎng)絡(luò)學(xué)習(xí)輸入全息圖的高階相關(guān)性以更好地重建樣本的復(fù)雜場,但也容易在小訓(xùn)練數(shù)據(jù)集上過度擬合并收斂到局部最小值??偠灾?,RH-M 受益于更高多樣性和更大 M 的訓(xùn)練集。

使用 RH-MD 的全息成像

RH-MD擴(kuò)大了神經(jīng)網(wǎng)絡(luò)的感受野,RH-MD能夠在不增加可訓(xùn)練參數(shù)數(shù)量的情況下處理更大范圍的衍射圖案,同時(shí)也開辟了直接從原始輸入全息圖進(jìn)行相位恢復(fù)和自動(dòng)聚焦的可能性。

為了證明這種能力,研究人員在相同的無透鏡全息顯微鏡平臺(tái)成像的巴氏涂片樣本上訓(xùn)練和測(cè)試了 RH-MD 框架。結(jié)果表明:與 RH-M 不同的是,RH-MD 使用原始輸入全息圖,而無需在上進(jìn)行任何自由空間反向傳播。

當(dāng)在相同的高度(Δz2,1 = Δz2,2)獲得輸入全息圖時(shí),RH-MD比RH-M更具魯棒性。

RH-M和RH-MD的巴氏涂片全息成像(M = 2)

值得注意的是,RH-MD 的這些優(yōu)點(diǎn)是相對(duì)于較稀疏的樣本(例如此處報(bào)道的巴氏涂片載玻片);然而,對(duì)于連接的組織切片,RH-MD 推理性能與 RH-M 相比顯著降低。因此,與 RH-M 不同,樣本稀疏性是使用 RH-MD 進(jìn)行盲相位檢索、全息圖像重建和自動(dòng)對(duì)焦的要求。

廣泛適用性

論文一作 Luzhe Huang表示:「我們的結(jié)果在圖像質(zhì)量、自由度和推理速度方面優(yōu)于現(xiàn)有的相位檢索和全息圖像重建方法。這種基于 RNN 的圖像重建方法為各種相干顯微鏡模式和相關(guān)應(yīng)用開辟了新的機(jī)會(huì)?!?/p>

加州大學(xué)洛杉磯分校電子和計(jì)算機(jī)工程的校長教授、加州納米系統(tǒng)研究所的副主任、該研究的高級(jí)通訊作者 Aydogan Ozcan說:「該框架可廣泛適用于各種生物醫(yī)學(xué)成像模式,例如熒光顯微鏡,以有效利用一系列獲得的圖像來快速準(zhǔn)確地創(chuàng)建樣本體積的 3D 重建?!?/p>

論文鏈接:https://pubs.acs.org/doi/10.1021/acsphotonics.1c00337

參考內(nèi)容:https://techxplore.com/news/2021-06-faster-holographic-imaging-recurrent-neural.html