應用方向：

本研究展示了高光譜成像技術在腫瘤病理診斷領域，特別是膀胱癌分級預測中具有重要應用價值。該技術可獲取組織切片的高維光譜信息，不僅保留顯微圖像的空間結構特征，還揭示不同病變程度組織在光譜反射特性上的微小差異，此外，高光譜成像具備無損、無標記和定量分析的優勢，可用于病理切片中癌變區域的自動識別與特征提取，為數字病理診斷提供新的技術手段。

背景：

膀胱癌是常見的泌尿系統惡性腫瘤之一，其發病率和死亡率近年來持續上升，已成為嚴重的公共衛生問題。腫瘤分級是膀胱癌診療中的關鍵環節，能夠為個體化治療方案制定和患者預后評估提供重要依據。然而，目前臨床上膀胱癌的分級主要依賴病理學家對組織切片的顯微觀察與主觀判斷，這種傳統方法存在診斷主觀性強、依賴經驗、效率低且易出錯等問題，難以滿足臨床對快速、客觀、高精度診斷的需求。

為克服這些局限，人工智能技術尤其是深度學習在醫學影像分析中得到廣泛應用，已在病灶檢測、圖像分割及腫瘤分類等任務中展現出優異表現。然而，現有研究多依賴單一模態影像，未能充分融合多模態數據的互補信息，從而限制了診斷的全面性與穩定性。

高光譜成像（HSI）作為一種能夠同時獲取空間形態與光譜信息的新興技術，能夠揭示組織在不同波段下的光譜特征變化，對早期癌變組織具有高靈敏度和高分辨率，在皮膚癌、乳腺癌及肺癌等早期檢測中已展現潛力。但其在膀胱癌分級中的應用尚處于起步階段，尤其是結合深度學習與多模態融合的研究仍然不足。

基于此，本文提出了一種融合高光譜成像與病理圖像的多模態深度學習模型，用于膀胱癌分級診斷。通過整合組織的光譜與空間結構信息，并利用深度特征融合機制，實現了對膀胱癌組織的精準分級與智能識別，為提升診斷的客觀性、精度與臨床可行性提供了新思路。

作者信息： 楊小青，山東*一醫科大學*一附屬醫院/山東千佛山醫院病理科

期刊來源：Journal of Biophotonics

研究內容

本文提出了一種基于深度學習的多模態融合模型RVCK-net，該系統集成了HSI和病理圖像以實現精確的膀胱癌分級。通過利用來自兩種模態的空間和光譜信息并采用自適應融合機制，實現了膀胱癌的準確分級。本研究通過將高光譜成像與深度學習的結合，實現了膀胱癌組織病理分級的快速、客觀、非侵入式識別，為臨床早期診斷與個體化治療提供智能輔助決策依據。

實驗設計

本研究的研究對象為在山東*一醫科大學附屬醫院泌尿外科住院的非肌層浸潤性膀胱癌（NMIBC）患者。病理切片采用3DHISTECH公司（匈牙利）的Pannoramic 250 掃描儀進行數字化，放大倍數為40×，共獲得120張全切片圖像（WSIs），其中包括50例低分級（LG）和70例高分級（HG）膀胱癌樣本，用于后續數字病理分析。

實驗中嚴格遵循標準化數據采集流程，使用20×物鏡的顯微高光譜系統采集高光譜數據。根據組織樣本面積，每張切片采集5–8幅高光譜圖像。雖然GaiaMicro-V10系統的原始空間分辨率為2048×2048像素，但研究人員手動裁剪出1392×1550像素的感興趣區域（ROI），以聚焦于腫瘤富集區域。為保證一致性與減少采樣偏差，ROI的選擇由病理專家確認，僅包含腫瘤區域，排除了偽影、壞死或質量較差的圖像。各病例采樣數量保持一致，采用分層抽樣以維持50例LG與70例HG樣本在訓練與測試集中的比例。所有高光譜圖像數據通過光譜重采樣標準化為256個光譜波段。經偽彩合成后，醫生對圖像進行診斷性標注：首先標定膀胱癌組織區域，再對不同分級腫瘤細胞進行分類標注。最終獲得標注完備的膀胱癌組織高光譜圖像塊，尺寸為1392×1550×256（寬×高×波段），用于后續數字分析。

本研究中使用的采集設備是GaiaMicro-V10顯微高光譜系統。GaiaMicro系列代表了能夠在寬光譜范圍內捕獲組織光譜信息的高性能顯微高光譜成像系統（400- 1000 nm）。GaiaMicro-V10配備高靈敏度CCD傳感器，并具有 16 bit 的量化深度，可實現高動態范圍與高精度的光譜數據采集。其光學孔徑為 F/2.4，光譜分辨率為 2.8 nm，空間采樣間隔（像素尺寸）為 0.5μm，可在顯微尺度上獲取組織的精細結構特征。系統生成的圖像尺寸為 2048×2048 像素，能夠實現高空間分辨率的樣品精細分析并捕捉微小結構細節。其系統結構示意圖如圖 1 所示。

圖1 顯微高光譜成像系統結構示意圖

研究方法

本研究選用了 Daubechies 4（db4）小波作為去噪基函數。分解層數設為 3 層，該參數通過實驗確定，可在保留主要光譜特征的同時有效抑制噪聲。在去噪過程中采用軟閾值方法，以削弱高頻噪聲而不破壞關鍵光譜信息；閾值選取依據 Donoho 的通用閾值準則，并分別應用于每個光譜。閾值處理完成后，通過小波重構得到去噪后的高光譜圖像。

本文提出一種面向病理圖像的跨模態交互融合網絡——RVCK-net，其架構如圖2所示。模型采用雙分支設計，以 ResNet-34 與 Vision Transformer（ViT）協同完成特征提取，同步捕獲局部紋理、邊緣細節及全局上下文語義。ResNet-34 憑借殘差連接在深層網絡中有效保留局部細微特征，避免梯度消失；ViT 則通過自注意力機制建模長程依賴，提煉高階全局語義。二者互補，為復雜病理結構的精準解析提供全面表征。在此基礎上，模型將兩條分支提取的特征輸入到基于交叉注意力機制的多尺度特征融合模塊中，實現不同模態特征的高效交互與信息互補，從而增強整體特征表達能力。融合后的特征經由多層感知機（MLP）統一變換，并最終通過全連接層進行分類。

為防止模型過擬合，在全連接層前加入Dropout機制以提升模型的泛化性能。訓練過程中采用 Adam 優化器（初始學習率 0.001），批大小為 32，迭代 100 輪，并使用余弦退火（cosine annealing）學習率調度器動態調整學習率。上述參數均通過驗證集實驗優化獲得，以實現收斂性與泛化效果。

圖2  RVCK-net 結構圖

為了客觀地評估各種模型的性能，作者采用了總體準確度、精確度、召回率、F1評分和Brier評分（BS）指標作為膀胱癌分類的評價標準。此外，為了證明模型在不同場景下的魯棒性，這些評估度量與交叉驗證和置信區間相結合，以提供更可靠的性能評估。

結果

為確保高光譜成像（HSI）在膀胱癌分級中的準確性與可靠性，設計了多步預處理流程。圖3 展示了從原始數據到最終去噪結果的演變，并量化各步驟對圖像質量的提升效果。圖3a：原始圖像受噪聲與照明不均影響，癌與正常組織難以區分。圖3b：經反射率校正后，照明均勻性顯著改善，平均信噪比（SNR）提升 21.3%，系統照明偽影被有效抑制，光譜可比性增強。圖3c：進一步采用小波多尺度去噪，在保留關鍵光譜-空間信息的同時抑制高頻噪聲；峰值信噪比（PSNR）再增 3.7 dB，背景方差降低 28.6%，充分保留診斷結構并減少無關變異。

圖3 高光譜圖像預處理結果：(a) 原始高光譜圖像；(b) 反射率校正后圖像；(c) 小波變換去噪后圖像。

圖4 展示了不同分級膀胱癌腫瘤樣本經高光譜成像獲取的光譜特征。(a) 為低級別與高級別腫瘤的光譜強度曲線，(b) 為對應的反射率光譜曲線。兩圖直觀呈現了不同分級腫瘤在光譜維度上的差異，為模型后續分類與分級提供了關鍵的光譜依據。

圖4  膀胱癌光譜曲線：(a) 原始光譜曲線；(b) 校準后光譜曲線

為驗證多模態融合（病理 + 高光譜）在膀胱癌分級診斷中的有效性，作者設計了對照實驗：先分別單獨使用病理圖像與高光譜圖像進行特征提取與分類，以評估各模態的獨立貢獻；隨后采用 RVCK-net 融合兩類特征，驗證多模態協同帶來的性能增益。具體結果見表1。具體來說，病理圖像模型取得了83.6%的準確率（±2.9%），Brier評分為0.69，而高光譜圖像模型的精度達到88.5%（±2.3%），Brier評分降低0.60。這表明高光譜成像在捕獲組織光譜細節方面的優勢，使膀胱癌的診斷更加精確。然而，無論是病理圖像還是高光譜圖像，單模態特征在準確性和魯棒性方面都存在局限性，尤其是病理圖像模型在處理數據復雜度和光譜信息方面存在局限性，而高光譜圖像模型雖然能夠捕捉到豐富的光譜信息，但缺乏詳細的空間結構信息。

相較于單模態模型，多模態融合框架 RVCK-net 在所有指標上均實現顯著提升。通過整合病理圖像的空間細節與高光譜數據的光譜信息，RVCK-net 達到 91.7 % (±1.9 %) 的精確率、90.6 % (±1.7 %) 的召回率、93.7 % (±1.6 %) 的 F1 分數，以及 94.1 % (±1.5 %) 的總體準確率；Brier 分數降至 0.43，表明預測概率更具置信度與可靠性。融合策略不僅大幅提高了分類精度，還在應對復雜病理特征時表現出更強的魯棒性，充分證明多模態互補能夠全面捕獲膀胱癌組織的空間-光譜特性，從而增強對癌變區域的識別能力（見表 2）。

為了進一步驗證特征融合模塊在膀胱癌分級模型中的有效性，作者使用三種不同的特征融合方法進行了消融實驗：簡單連接（Concat），連接后進行卷積（Concat+Conv），實驗結果表明，采用簡單拼接的模型準確率為88.9%（±2.3%），Brier評分為0.58。引入卷積后，準確率提高到90.2%（±2.0%），Brier得分下降到0.53，說明卷積運算起到了增強特征提取能力的作用，但隨著多模態融合策略的使用，模型性能全面提升，準確率達到94.1%（±1.5%），并進一步將Brier評分降至0.43，采用不同融合策略的消融實驗進一步驗證了多模態融合模塊的優*性。

圖5與圖6分別展示了混淆矩陣及核心指標（準確率、精確率、召回率、F1 分數）。綜合可見，RVCK-net 在多項關鍵指標上均表現*優。圖5b的混淆矩陣顯示，RVCK-net僅出現1例假陽性、未發生假陰性，測試階段所有陽性樣本均被檢出，這一特性對亟需高敏感度的早期篩查尤為關鍵。結合圖6的量化指標，RVCK-net在多項評價維度上均居前列，其召回率顯著優于其他模型，提示假陰性率大幅降低，同時在敏感度與精確度之間實現了更佳平衡。

本研究將所提出的 RVCK-net 模型 與多種模型進行了對比，包括 CAFNet（基于通道注意力機制的CNN模型）、UbiSpectNet（結合Transformer結構以增強光譜特征提取的網絡）、AMM-Fusion（融合空間、光譜與形態特征的注意力引導多模態融合模型）以及傳統的多模態融合模型（Concat+ConvBlock）。由圖6可見：CAFNet精確率較高，但召回率顯著落后，混淆矩陣顯示假陰性多，易遺漏真實的癌變樣本。UbiSpectNet同樣假陰性偏高，對高級別腫瘤識別能力不足。簡單多模態拼接+卷積塊（Concat+ConvBlock）各指標均衡，但整體性能不及RVCK-net與AMM-Fusion。AMM-Fusion憑借自適應注意力融合在各項指標上拔得*籌；然而其復雜架構帶來的計算開銷在需要高效診斷的場景下不如RVCK-net有利。

圖5  各模型混淆矩陣。(a) UbiSpectNet；(b) RVCK-net；(c) CAFNet；(d) 多模態融合（Concat+ConvBlock）

圖6  不同網絡性能指標對比

結論

本文提出基于 RVCK-net 的多模態深度學習框架，融合高光譜與病理圖像特征，實現膀胱癌的精準分級。實驗結果表明，相較單模態模型，多模態融合在分類準確率、魯棒性與診斷可靠性上均顯著提升。然而，研究仍存在局限：高光譜成像設備昂貴、操作復雜、采集耗時，可能限制其即時臨床應用。本方法不僅在技術層面拓展了高光譜成像的醫學應用邊界，也為膀胱癌早期檢出與分級提供了新工具。