戴瓊海院士團隊研發集成顯微鏡，只需皮膚圖片就能生成診斷報告

近日，清華大學戴瓊海院士團隊制備一款集成顯微鏡，其光學性能比同規格商用顯微鏡高出 5 倍，數值孔徑為 0.1，體積和重量僅為 0.15 立方厘米和 0.5 克，尺寸比傳統顯微鏡縮小 5 個數量級，景深擴大 10 倍以上。

造價總成本不超過 10 美元，非常適合大規模生產，并在各種樣本中均表現出良好的適用性。

(相關資料圖)

（來源：Nature Communications）

針對這款集成顯微鏡在手機顯微鏡中的應用，課題組進行了一系列探索。

首先，他們將基于集成顯微鏡所研發的手機顯微鏡用于皮膚水分的檢測中，通過將皮膚狀態劃分為缺水、適度及過飽和三種情況，成功實現準確率超過 80% 的皮膚水分檢測。

其次，他們利用手機顯微鏡拍攝得到的高清晰度圖像，進行皮膚病的診斷探索。結果顯示，用戶僅需使用手機拍攝自己的皮膚，借助本次集成顯微鏡就能生成詳盡的皮膚診斷報告。

（來源：Nature Communications）

此外，他們還計劃將手機顯微鏡用于快速的水源篩查工作。屆時，只需將水源樣本承載在載玻片上，使用手機顯微鏡拍攝之后，就能自動分析樣本中是否含有可能致病的微生物，從而確保野外環境或資源匱乏地區的飲用水安全問題得到妥善解決。

（來源：Nature Communications）

擔任相關論文第一作者的清華大學博士后張元龍表示：“我們的審稿人收到論文之后感到很興奮。其中一位審稿人開門見山地表示我們的方法很好地啟發了高性能微型成像設備的設計。他還表示這項工作將傳統光學設計、計算成像和深度學習很好地結合在一起。”

圖 | 張元龍（來源：張元龍）

日前，相關論文以《基于漸進優化和深度學習設計的大景深緊湊顯微鏡》（Large depth-of-field ultra-compact microscope by progressive optimization and deep learning）為題在 Nature Communications 上發表 [1]。

清華大學博士后張元龍是第一作者，清華大學吳嘉敏助理教授、方璐副教授以及戴瓊海院士擔任共同通訊作者。

圖 | 相關論文（來源：Nature Communications）

作為生物學、系統神經科學以及臨床診斷等領域研究的關鍵工具，光學顯微鏡的重要性不言而喻。

然而，眾多傳統的臺式顯微鏡因其復雜的組成結構、巨大的體積和高昂的成本，導致在資源有限的環境中無法得到有效應用，這極大地限制了它們在各領域的應用規模和范圍。

然而，微型化集成技術和深度光學技術的興起，無疑為研發小型、低成本且高性能的成像系統提供了新的可能。

盡管如此，在簡化光學系統的同時，對于現有的微型顯微鏡來說，其依然面臨著難以實現大視野、大景深以及高性能顯微成像的巨大挑戰。針對這一問題，課題組開展了本次研究。

據介紹，本次工作最早起源于 2020 年底該團隊與一家外部公司（下稱“合作公司”）的“頭腦風暴”。當時，合作公司期待在手機顯微成像這一全新領域取得突破，旨在解鎖對更微小物體的拍攝能力，為用戶帶來超越微距鏡頭的攝影體驗。

然而，傳統顯微鏡在設計過程中無法實現視場、分辨率和景深三大關鍵要素的平衡，不能完全滿足用戶的拍攝需求。

為解決這一難題，課題組與合作公司的產學研團隊深入研究顯微鏡頭的設計方法，提出了球面透鏡模型、非球面與球面透鏡混合模型、以及全非球面透鏡模型等解決方案，以期逐步減小鏡頭所需體積。然而，這種方法依然比較傳統，無法滿足所需的性能指標。

與此同時，他們注意到一項新的深度光學技術：并行優化光學設計和圖像處理算法。該技術已被證明在實現大視場、高動態范圍和高光譜成像等方面具有顯著優勢。

然而，他們發現在簡化型光學系統中，當前的深度光學技術會受到限制，并且面對微觀應用中日益擴大的解空間和像差，該類技術在小工作距離和大視場角的應用中依舊面臨巨大挑戰。

此外，大多數用于恢復百萬像素級顯微圖像的深度神經網絡，需要大量的存儲空間和計算資源，而這些資源在實際使用的集成系統中難以得到配置。

面對兩條難以前行的道路，他們當時便想到：何不汲取兩者的優勢，將它們融合在一起？

于是，他們開始采用傳統方法構建大框架，利用深度光學技術進行微調，并將系統與神經網絡進行統一優化，借此提出了新的設計方案：一種漸進優化的策略。

使用該策略時，他們先是通過基于光線追蹤的優勢，將復雜設計空間中的嚴重非線性問題約束在可行范圍內。

然后，通過集成具有立方相位分布的衍射光學元件，來增強點擴散函數的深度不變性，進而聯合深度神經網絡，對衍射光學元件參數配置做出共同優化。

在圖像恢復任務上，本次研究采用一種名為“仿真-監督”的方法。即通過圖像融合技術，來獲取全焦清晰圖像作為目標圖像，借此建立一個物理感知模型，以便模擬集成顯微鏡的前向成像過程。其中，生成模糊圖像作為輸入圖像，以供神經網絡訓練使用。

此外，通過對神經網絡模型進行剪枝和壓縮，可以讓模型變得更加輕量化，從而便于在移動平臺上部署。

圖 | 集成顯微鏡漸進優化原理總覽（來源：Nature Communications）

基于這種漸進優化的研發路線，以及運用先進的光學設計技術和基于物理先驗的深度學習圖像恢復算法，在滿足微型化、大視場和大景深的要求下，課題組希望可以實現高質量的成像。

最終，遵循這一漸進型的優化路線所開發出來的集成顯微鏡，具備體積小巧、重量輕等特點，能夠輕松嵌入手機之中，無需任何額外配件即可實現移動診斷應用的便攜化。

（來源：Nature Communications）

張元龍表示：“我的博士導師戴瓊海教授，一直特別喜歡看到實驗室開發的新方法和新技術能夠投入實際應用并解決實際問題，他以及其他老師對本項目的推進給予了大力支持。”

（來源：Nature Communications）

目前，課題組正在持續拓寬手機鏡頭設計的性能邊界，也正在深入挖掘手機顯微鏡的潛力，以期設計一顆可以同時實現顯微與微距成像的變焦鏡頭。

屆時，用戶既能通過微距焦段發現拍攝對象、構筑相應的構圖，也能利用顯微焦段捕捉無與倫比的細節。

最終，他們期望設計出這樣一款或一系列鏡頭：既能實現如人眼般的視角和色彩再現，同時又能支持多種放大倍率，讓普通用戶也能擁有觀察微觀世界的細致能力。

另據悉，擔任本次論文一作的張元龍，自本科來到清華以來已有 11 年之久。其于 2012 年進入清華大學航天航空學院學習并輔修數學雙學位。隨后在戴瓊海指導之下完成博士研究及博士后項目。

“身在院士團隊中，這既意味著巨大的壓力，也預示著更高的期望。我身邊的同儕都是卓越的人才，這迫使我投入更多的精力，以期更加卓越。”張元龍說。

未來，他將持續專注于生物醫學工程交叉研究，致力于突破傳統設備的極限，積極在交叉領域的科研挑戰中尋求突破。

參考資料：

1. Zhang, Y., et al., Large depth-of-field ultra-compact microscope by progressive optimization and deep learning. Nature Communications, 2023. 14(1).

關鍵詞：