低光增強這幾年在計算機視覺里一直是熱賽道NTIRE 系列的低光增強挑戰(zhàn)賽更是很多做圖像復原方向的人每年都會盯的靶子。NITRE 2026 Low-light Enhancement 這次的 Twilight Cowboy Challenge名字聽起來帶點敘事感但落到工程上核心還是同一件事把暗光、弱光、復雜光照環(huán)境下拍出來的圖處理成亮度合理、細節(jié)完整、顏色不偏、噪聲可控的干凈結(jié)果。這篇文章不是官方規(guī)則說明而是站在參賽者和實踐者角度把這類挑戰(zhàn)從數(shù)據(jù)準備、環(huán)境搭建、模型選型到評測驗證的完整鏈路拆一遍。先說結(jié)論如果你之前跑過圖像超分、去噪或復原類任務這次挑戰(zhàn)的入門成本并不高。真正拉開差距的地方在于三件事——訓練數(shù)據(jù)怎么處理和增強模型對暗部噪聲和顏色偏移的控制能力以及驗證指標和實際主觀效果是否一致。NTIRE 這類比賽通常不會限定你必須用某個模型所以你的工作重點其實是建立一套穩(wěn)定的實驗流程快速跑通 baseline、反復調(diào)整訓練策略、最后在評測集上拿到穩(wěn)定提升。1. 先搞清楚挑戰(zhàn)任務和評測口徑1.1 這類挑戰(zhàn)到底讓你做什么按往屆 NTIRE 低光增強挑戰(zhàn)的慣例主辦方一般會提供一個訓練集包含成對的低光輸入圖像和對應的正常曝光參考圖。參賽者的任務是訓練一個模型讓它把低光圖映射到接近參考圖的效果。評測階段會提供新的低光測試圖模型輸出后由主辦方統(tǒng)一計算指標排名。Twilight Cowboy 這個名字暗示的場景通常是黃昏、夜景、室內(nèi)暗光這類光照條件復雜的情況。這意味著輸入不只是“整體暗”這么簡單還可能包括大光比場景比如夜景里的路燈區(qū)域和陰影區(qū)域同時存在。暗部噪聲被放大后出現(xiàn)的彩色噪點。白平衡被環(huán)境光帶偏比如暖黃路燈、冷色月光。細節(jié)紋理在暗部幾乎不可見恢復難度更高。單看任務描述它和常見的 low-light enhancement benchmark 沒有本質(zhì)區(qū)別但場景越接近真實拍攝模型的泛化能力就越重要。評測集如果和訓練集的場景分布差異大哪怕訓練指標很好看最終排名也可能不理想。1.2 評測指標直接決定訓練方向這類比賽通常用監(jiān)督指標排序最常見的是 PSNR 和 SSIM部分賽道還會加入 LPIPS 這類感知指標。不同指標對模型結(jié)果的偏好不一樣指標關注點模型容易被帶向的方向PSNR像素級誤差偏保守容易產(chǎn)生平滑結(jié)果SSIM結(jié)構(gòu)亮度對比對局部結(jié)構(gòu)更敏感但也可能過度平滑LPIPS感知特征距離更貼近人眼但訓練時不容易直接當 loss如果你的最終排名主要看 PSNR 和 SSIM那就應該在訓練 loss 里把 L1 或 Charbonnier 損失放重一些。如果評測包含無參考指標或感知指標那生成對抗式訓練、感知損失或高頻細節(jié)恢復的策略權(quán)重就要上調(diào)。這里有個非常現(xiàn)實的建議發(fā)布前先看清楚官方規(guī)則里評測指標到底包含哪些。有些低光增強挑戰(zhàn)為了讓結(jié)果更貼近真實觀感會加入 NIQE、BRISQUE 這類無參考評價這時候只盯著 PSNR 訓練可能會吃虧。2. 環(huán)境和數(shù)據(jù)準備這是最容易被低估的一步2.1 硬件和軟件環(huán)境怎么配低光增強模型多數(shù)是基于卷積網(wǎng)絡或 Transformer 的編解碼結(jié)構(gòu)訓練對硬件有基本要求但不至于高不可攀。我一般會先確認幾項GPU 顯存訓練階段建議至少 8GB 起步如果要在 1K 分辨率上用較大 batch 訓練最好有 16GB 以上顯存。測試階段低顯存也能跑但要注意圖像尺寸和 patch 切分。內(nèi)存和磁盤數(shù)據(jù)集如果是 RAW 或高分辨率 JPEG、PNG磁盤占用會很快漲上去。留出 50GB 以上空間比較穩(wěn)妥。框架選擇PyTorch 在低光增強領域最常用社區(qū)代碼和預訓練模型也最全。TensorFlow 和 Paddle 也能做但查資料和復現(xiàn)時會窄一些。軟件依賴通常包括 PyTorch、NumPy、OpenCV、TensorBoard 或 wandb。如果要用到 Transformer 類模型還要注意 timm、einops 這些庫的版本兼容。經(jīng)常會遇到一種情況代碼本身沒問題但某個依賴庫升了大版本之后接口變了訓練直接報錯。所以我會在項目目錄里固定一個 requirements.txt把關鍵依賴版本鎖住。注意評測環(huán)境和你本地環(huán)境不一定一致。提交前務必確認官方指定的推理框架、GPU 型號和依賴版本否則本地跑得好評測環(huán)境一換就出問題。2.2 數(shù)據(jù)組織方式影響調(diào)試效率很多新手會忽略一個事訓練集不是簡單放進一個文件夾就行。低光增強的數(shù)據(jù)通常有成對關系也就是一個低光圖對應一個參考圖。你需要把數(shù)據(jù)整理成清晰的目錄結(jié)構(gòu)并且寫一個可復現(xiàn)的數(shù)據(jù)加載邏輯。比較推薦的結(jié)構(gòu)data/ train/ low/ 0001.png 0002.png high/ 0001.png 0002.png val/ low/ high/ test/ input/寫數(shù)據(jù)加載時重點關注三件事文件名是否一一對應、圖像 bit depth 是否統(tǒng)一、色彩空間是否一致。很多輸出發(fā)綠、發(fā)紅的問題最后查出來不是模型問題而是訓練數(shù)據(jù)里的色彩空間沒有統(tǒng)一。低光增強領域常用的公開數(shù)據(jù)集包括 LOL、LOLv2、MIT Adobe FiveK、SID 等。如果這次比賽的官方數(shù)據(jù)集還沒有完全公開先用這些公開數(shù)據(jù)集做預訓練或 baseline 驗證是可以的。但最終還是要以官方數(shù)據(jù)為準因為不同數(shù)據(jù)集的光照條件和噪聲分布差異很大。用 SID 訓練的模型直接去跑 LOL 的測試集指標通常會有明顯下降這不是模型壞了而是數(shù)據(jù)分布不一致。2.3 預處理要把位深和動態(tài)范圍處理干凈低光圖像常見的坑是位深不統(tǒng)一。有的圖是 8-bit PNG有的是 16-bit TIFF有的甚至直接給 RAW 數(shù)據(jù)。如果加載時統(tǒng)一用 8-bit 讀16-bit 圖的暗部細節(jié)會直接丟失模型再強也學不回來。我的做法是先統(tǒng)計整個數(shù)據(jù)集的位深、尺寸、通道數(shù)和數(shù)值范圍寫一個統(tǒng)一預處理函數(shù)所有樣本都走同一個入口。這樣能避免很多看起來莫名其妙的輸出異常。動態(tài)范圍方面如果輸入輸出都是線性圖要注意亮度分布可能很集中訓練前可以做一次全局統(tǒng)計決定要不要做 gamma 校正或歸一化方式的調(diào)整。3. 從 baseline 開始不要一上來就搞魔改3.1 先跑通一個可復現(xiàn)的參考模型參加挑戰(zhàn)賽最忌諱一上來就寫一個新模型。正確做法是先找一個在該任務上表現(xiàn)穩(wěn)定的開源 baseline把數(shù)據(jù)加載、訓練、驗證、保存、推理整條鏈路跑通。這個 baseline 不是用來拿高分的而是用來建立對照后面所有改動都要和它比。低光增強領域值得作為 baseline 的幾個方向Retinex 類方法把圖像分解成光照分量和反射分量分別處理后再合成。像 RetinexNet 就是這類思路結(jié)構(gòu)簡單適合理解任務的物理含義。Zero-DCE 系列通過估計一條光照增強曲線來調(diào)亮圖像不需要成對數(shù)據(jù)也能訓練。但挑戰(zhàn)賽有成對數(shù)據(jù)時用監(jiān)督方式訓練效果一般更好。LLFlow 和基于擴散的方法這類方法效果通常更好但訓練成本高推理速度慢適合作為后期提升手段而不是起步方案。通用圖像復原模型比如 Restormer、NAFNet 這類結(jié)構(gòu)在低光增強任務上經(jīng)常表現(xiàn)不錯因為它們對噪聲和細節(jié)恢復的處理能力很強。我建議第一版 baseline 用一個 NAFNet 或 Restormer 類模型的小配置patch size 不要太大先跑 50 個 epoch記錄訓練集 loss 和驗證集指標。只要能穩(wěn)定收斂后面換模型和調(diào)參就有了參照基準。這里不要追求一次到位小配置跑通的意義在于驗證整套流程沒有隱藏問題。3.2 訓練參數(shù)里最關鍵的幾個值低光增強訓練里容易影響結(jié)果的參數(shù)有不少按重要性排序patch size訓練時通常隨機裁剪固定大小的 patch。patch 太小會丟失全局光照信息patch 太大則顯存不夠。常用范圍是 128 到 256。batch size受顯存限制一般 4 到 16。如果 batch 太小BN 層統(tǒng)計會不穩(wěn)定建議使用 LayerNorm 或 GroupNorm或者在多卡訓練時把 batch 湊大一點。學習率編碼器解碼器結(jié)構(gòu)一般從 1e-4 附近開始配合 cosine 或 warmup 策略調(diào)低。loss 權(quán)重L1 損失和感知損失的比重需要實驗。如果只看 PSNRL1 為主如果要畫面更自然加一點感知損失和顏色損失。不要一上來就把 patch size 和 batch size 拉滿。先用小配置跑通確認功能正常再逐步加大。顯存不夠的時候優(yōu)先減 patch size 而不是減 batch size因為 patch size 對最終效果的影響通常更直接。4. 提升效果的幾個實際方向4.1 數(shù)據(jù)增強對低光任務比較敏感低光增強的數(shù)據(jù)增強不能照搬超分或分類任務的套路。常見的隨機翻轉(zhuǎn)和旋轉(zhuǎn)可以用但要注意對比度、亮度、色彩飽和度這類增強如果幅度過大會破壞低光到正常光的對應關系讓模型學到錯誤映射。我比較推薦的數(shù)據(jù)增強包括隨機水平垂直翻轉(zhuǎn)。隨機旋轉(zhuǎn) 90、180、270 度。輕微的顏色抖動幅度控制在 0.1 以內(nèi)。隨機裁剪這個已經(jīng)是訓練標配。不推薦在訓練時做大幅度模糊或加噪除非你明確在做噪聲魯棒性實驗否則容易模糊掉模型對暗部細節(jié)的學習。另外如果官方數(shù)據(jù)量不大可以考慮用公開數(shù)據(jù)集做預訓練再用官方數(shù)據(jù)微調(diào)。這個做法在低光增強里很常見能明顯提升模型在新場景上的泛化能力。4.2 噪聲處理是低光增強的核心難點低光環(huán)境下傳感器為了提升亮度會放大信號同時噪聲也被放大。很多模型調(diào)亮圖像沒問題但會把暗部噪聲一起放大導致輸出滿是噪點。這類結(jié)果在 PSNR 上往往很差因為噪聲像素和參考圖對應位置的像素差異非常大。應對思路有幾個在訓練損失里加入去噪約束比如讓模型對加噪輸入產(chǎn)生與原始輸入一致的輸出。使用兩步策略先做噪聲抑制再做亮度增強。調(diào)整 loss 權(quán)重讓模型在暗部區(qū)域更專注例如按輸入亮度給不同區(qū)域加權(quán)。這些策略的效果不會立竿見影需要配合可視化結(jié)果逐張檢查。我通常的做法是固定驗證集里挑 10 張有代表性的圖每訓練一段時間就輸出一次對比圖直接看暗部細節(jié)、邊緣、顏色和噪聲四個維度。不要只看 PSNR 曲線數(shù)值漲了不代表畫面看著舒服。4.3 顏色偏移經(jīng)常比亮度問題更頭疼低光圖像經(jīng)過增強后最常出現(xiàn)的視覺問題不是不夠亮而是顏色不對。路燈下的暖黃色、陰影里的藍紫色經(jīng)過網(wǎng)絡處理后可能變成奇怪的綠色或品紅色。控制顏色的手段包括在 loss 中加入顏色一致性約束使輸出和參考圖在顏色分布上更接近。在訓練數(shù)據(jù)里盡量覆蓋不同色溫場景。推理后做輕量顏色校正比如調(diào)整通道增益或使用白平衡算法。如果模型的 PSNR 很高但輸出顏色明顯不對那很可能評測里的無參考指標會受影響所以顏色問題不要拖到最后才處理。尤其是 Twilight 這類場景環(huán)境光色溫復雜訓練時最好讓數(shù)據(jù)里包含不同色溫的樣本否則模型很容易記住單一的偏色模式。5. 驗證策略和常見坑5.1 驗證集怎么劃分才靠譜官方通常會提供訓練集和驗證集但很多參賽者會自己再切一部分數(shù)據(jù)做本地驗證。劃分時要注意場景多樣性不要只按文件名順序切否則可能驗證集全是白天室內(nèi)評測集全是夜景。我會這么做先統(tǒng)計訓練數(shù)據(jù)里不同光照條件的分布。按場景或拍攝條件分層抽樣保證驗證集覆蓋不同亮度、不同色溫、不同場景。固定驗證集不做隨機變化這樣才能讓不同實驗之間公平對比。除了數(shù)值指標保存每個實驗在驗證集上的可視化結(jié)果便于快速定位問題。固定驗證集這一點特別重要。如果每次訓練前都重新隨機劃分兩個實驗之間的指標差異可能來自數(shù)據(jù)分布變化而不是模型改動對比就沒有意義了。5.2 常見報錯和排查順序這類挑戰(zhàn)的報錯其實沒有那么多花樣多數(shù)集中在以下幾個方面按排查順序列一下數(shù)據(jù)加載報錯路徑不對、文件名不匹配、圖像讀取出 None。先打印幾條樣本確認輸入和參考圖能對得上。訓練 loss 不下降先看數(shù)據(jù)是否有問題再看學習率是否過大或過小最后檢查模型是否有數(shù)值不穩(wěn)定。驗證指標正常但視覺效果差說明 loss 和評測指標沒有完全對齊這時候要調(diào)整訓練損失不能只盯著數(shù)字。推理時顯存溢出減小測試圖尺寸或使用滑窗推理不要直接降低模型質(zhì)量核心結(jié)構(gòu)。提交后排名和本地驗證不一致通常是評測環(huán)境差異、統(tǒng)一預處理差異或者浮點精度問題。提交前把所有預處理和后處理寫清楚最好和官方示例腳本對齊。排查時有一個順序原則先看數(shù)據(jù)和輸入再看環(huán)境和依賴最后才懷疑模型。很多看起來像是模型能力不足的問題最后查出來是某個庫版本不一致或者某張圖讀取失敗。5.3 把日志和實驗記錄當成第一優(yōu)先級比賽周期通常不長但實驗往往會跑幾十上百次。如果不記錄三天后你可能完全想不起來某個結(jié)果是在什么配置下跑出來的。我見過不少參賽者訓練腳本寫了一堆但每個實驗的配置散落在不同終端里最后想復現(xiàn)最佳結(jié)果都找不到對應權(quán)重。我建議每個實驗至少記錄訓練數(shù)據(jù)和測試數(shù)據(jù)版本。模型結(jié)構(gòu)和參數(shù)量。訓練參數(shù)學習率、batch size、patch size、loss 權(quán)重。訓練輪數(shù)、最終指標、驗證集可視化結(jié)果。和 baseline 的差距以及下一步想嘗試的方向。用 wandb 或 TensorBoard 都可以但重要的是形成習慣。比賽后期你會發(fā)現(xiàn)能快速確定下一步實驗比跑一個效果更好的模型更有價值。因為你只有知道當前結(jié)果是在什么條件下產(chǎn)出的才能判斷下一步改動是否真的有效。6. 比賽策略時間、算力和精力怎么分配6.1 先定一個合理的目標如果你第一次參加 NTIRE 這類挑戰(zhàn)不要上來就指望拿冠軍。更現(xiàn)實的目標是把整條流程跑通在排行榜上進入一個中上的位置同時通過比賽逼自己熟悉一套完整的訓練和評測流程。比賽和論文實驗不一樣論文可以慢慢打磨比賽有明確的截止日期所以節(jié)奏控制很關鍵。前兩周的重點應該是跑通 baseline、確認評測指標、建立驗證和可視化流程。第三周開始嘗試改進模型和訓練策略。最后幾天只做穩(wěn)定復現(xiàn)和提交檢查不要在那個階段嘗試大改動。每次新實驗上線前先估算訓練時長如果單次訓練需要兩天那就不適合在最后四天里反復試。6.2 模型融合和測試時增強是性價比最高的提分手段如果單模型效果已經(jīng)穩(wěn)定提分最快的方式往往不是換更大的模型而是測試時增強 TTA推理時對輸入做翻轉(zhuǎn)或旋轉(zhuǎn)多個結(jié)果取平均。通常能穩(wěn)定提升 0.1 到 0.3 個 dB 的 PSNR。多模型集成訓練兩三個結(jié)構(gòu)差異較大的模型輸出取平均或加權(quán)平均。差異越大集成收益越高。在最終提交前用小驗證集測試不同后處理組合選定最優(yōu)配置。這些手段不需要重新訓練成本低且穩(wěn)定性高。但要注意模型的輸出如果差異過大直接平均可能導致細節(jié)模糊所以需要逐個組合驗證。集成時也不一定全用最高的單模型有時把單模型分數(shù)稍低但視覺互補的模型放進來整體效果反而更好。6.3 提交前最后檢查清單每次提交前我都會按下面這個清單走一遍推理腳本在干凈環(huán)境里能否一鍵運行。輸入輸出路徑、文件名格式是否符合官方要求。輸出圖的位深、色彩空間和保存格式是否和官方示例一致。是否使用固定隨機種子能否在當前配置下復現(xiàn)同樣的結(jié)果。測試時增強和集成邏輯是否已經(jīng)關閉調(diào)試模式。本地驗證集指標是否和提交前最后一次實驗一致。這六項里最容易出錯的反而是文件名和保存格式。很多參賽者辛辛苦苦把模型訓好最后因為輸出文件后綴或命名錯了一位被扣分甚至判無效。這類問題完全可以通過提前檢查避免不值得在提交后懊惱。7. 寫在最后的一些經(jīng)驗低光增強這個方向看起來是“把圖調(diào)亮”實際上考驗的是對噪聲、顏色、細節(jié)和光照之間平衡的控制能力。NTIRE 2026 的 Twilight Cowboy Challenge 從名字上看更偏真實場景這對模型的泛化能力提出了更高要求。你可以把注意力放在一個很小的方向上比如只做暗部噪聲抑制或者只做色偏校正在一個點上做出明顯優(yōu)勢往往比泛泛地追求全面更好。我個人的建議是先不管比賽最終名次把 baseline 跑穩(wěn)把驗證流程做扎實把每個實驗都記錄清楚。在此基礎上再談模型改進和榜單沖刺。很多問題不是模型能力不夠而是數(shù)據(jù)沒處理好、驗證指標沒對齊、日志沒記錄全。踩過幾次之后你會發(fā)現(xiàn)這類比賽真正考驗的是穩(wěn)定推進實驗的能力而不是某個靈光一現(xiàn)的技巧。最后提醒一句具體規(guī)則、數(shù)據(jù)格式和提交要求一定要以官方發(fā)布為準。這篇文章里提到的公開數(shù)據(jù)集、模型和指標都是按往年經(jīng)驗和低光增強領域常見實踐整理的參考方向?qū)嶋H參賽時請以官方通知和評測腳本為準。