1. 項目緣起當通用檢測框遇上旋轉目標在計算機視覺的日常開發中我們經常會遇到一些“特殊”的目標。比如遙感圖像中傾斜停放的車輛、文檔掃描件中帶有角度的文字、或者工業場景中任意方向排列的零件。如果你嘗試用經典的YOLO、Faster R-CNN等水平框檢測器去處理這些目標結果往往會讓你哭笑不得——一個巨大的水平矩形框把目標連同大量無關的背景一起框了進去不僅定位不準后續的IoU計算、NMS非極大值抑制都會出現問題嚴重影響檢測精度。這就是旋轉目標檢測Rotated Object Detection要解決的問題。而MMRotate正是基于強大的PyTorch框架和MMDetection、MMCV生態為旋轉目標檢測量身打造的一個開源工具箱。它不是一個全新的算法而是一個集成了多種主流旋轉檢測算法如Rotated Faster R-CNN, Rotated RetinaNet, RoI Transformer等的“腳手架”和“實驗場”讓你能快速在自己的數據上驗證和部署旋轉檢測模型。我最近的一個項目恰好涉及對航拍圖像中的建筑物進行精細定位傳統的水平框完全無法滿足需求于是便深入折騰了一番MMRotate。整個過程從數據準備、格式轉換、模型訓練到調優部署踩了不少坑也積累了一些實戰心得。這篇文章我就以一個“自定義數據集”的完整流程為線索帶你走通MMRotate并分享那些官方文檔里可能不會細說的細節。2. 理解核心旋轉框的表示法與數據集構建在動手寫代碼之前我們必須先統一“語言”。旋轉框怎么描述你的數據標簽又該如何準備這是所有后續工作的基石理解偏差會導致訓練完全失敗。2.1 旋轉框的幾種表示法旋轉矩形框通常由一個中心點、寬高和旋轉角度來定義。但就是這個“角度”在不同的庫和論文中有著不同的約定MMRotate主要支持兩種OpenCV 表示法 (默認):(x_center, y_center, width, height, angle)。angle的單位是度數。角度范圍(-90, 0]。這是最容易混淆的一點。在這種表示下width被定義為旋轉框邊界框Bounding Box在旋轉后其自身坐標系下的長邊。而angle表示的是這個width邊相對于水平軸x軸順時針旋轉的角度且被限制在-90度到0度之間即-90 angle 0?？梢岳斫鉃榭蚩偸恰罢玖ⅰ钡钠漭^長的邊width與水平線的夾角在-90度到0度這個區間內。這種表示法能唯一確定一個矩形不考慮180度翻轉的歧義。長邊定義法: 另一種常見表示是(x_center, y_center, width, height, angle)但這里的width永遠是旋轉框自身的長邊height是短邊angle是長邊與x軸的夾角范圍通常是[-90, 90)或[0, 180)。MMRotate的部分算法也支持這種模式但需要在配置文件中明確指定angle_version。重要提示MMRotate默認采用OpenCV表示法。你在準備自定義數據集時必須確保你的標注格式與之一致或者在數據加載管道中進行正確的轉換。很多開源遙感數據集如DOTA本身就采用這種格式。2.2 構建自定義數據集的正確姿勢假設你有一批自己的航拍圖或工業檢測圖并用LabelImg、CVAT等工具標注了旋轉框。你得到的標注文件可能是XML、JSON或TXT格式。你需要將它們轉換為MMRotate能夠讀取的格式。MMRotate主要支持兩種數據格式DOTA格式遙感領域權威數據集DOTA使用的格式。每張圖片對應一個TXT標注文件。文件內容如下x1 y1 x2 y2 x3 y3 x4 y4 category difficult其中(x1, y1), ..., (x4, y4)是旋轉框四個頂點的坐標按順時針或逆時針順序排列。category是類別名difficult表示是否為難例0或1。MMRotate在讀取時會自動將這四個頂點轉換為默認的(cx, cy, w, h, angle)格式。COCO格式擴展了經典COCO格式以支持旋轉框。在標準的annotations字段中每個物體的bbox不再是一個4維數組[x, y, w, h]而是一個5維數組[x, y, w, h, angle]。這就是我們上面討論的OpenCV表示法。segmentation字段可以存放多邊形頂點用于更精細的分割任務。對于自定義數據集我強烈推薦使用COCO格式。原因有三1) 工具生態豐富很多標注工具如label-studio可以直接導出或通過腳本轉為COCO格式2) 數據結構清晰一個JSON文件管理所有標注易于維護和版本控制3) MMRotate對COCO格式的支持非常完善數據加載效率高。實操步驟將你的標注轉為COCO格式假設你的原始標注是每張圖一個XML類似Pascal VOC下面是一個大致的轉換邏輯你需要根據實際情況調整import json import xml.etree.ElementTree as ET import os import cv2 import numpy as np def voc_xml_to_coco_rotated(xml_dir, img_dir, output_json_path): 將VOC格式的旋轉框XML轉換為MMRotate可用的COCO格式。 假設XML中物體的bbox表示為: bndboxx.../xy...angle.../angle.../bndbox 或者通過四個頂點polygon表示。 這里以四個頂點為例進行轉換。 coco_dict { images: [], annotations: [], categories: [{id: 1, name: your_class_name}] # 根據你的類別修改 } image_id 1 ann_id 1 category_name_to_id {your_class_name: 1} for xml_file in os.listdir(xml_dir): if not xml_file.endswith(.xml): continue tree ET.parse(os.path.join(xml_dir, xml_file)) root tree.getroot() # 處理image信息 filename root.find(filename).text img_path os.path.join(img_dir, filename) img cv2.imread(img_path) if img is None: continue height, width img.shape[:2] image_info { id: image_id, file_name: filename, height: height, width: width, } coco_dict[images].append(image_info) # 處理每個object for obj in root.findall(object): class_name obj.find(name).text # 假設旋轉框由四個頂點表示 polygonx1..y1..x2..y2..x3..y3..x4..y4 polygon obj.find(polygon) if polygon is not None: # 提取四個點坐標注意順序 points [] for i in range(1, 5): x float(polygon.find(fx{i}).text) y float(polygon.find(fy{i}).text) points.append([x, y]) # 將四個頂點轉換為 (cx, cy, w, h, angle) # 使用OpenCV的minAreaRect函數它返回的正是 (cx, cy), (w, h), angle # 注意cv2.minAreaRect 返回的angle范圍可能是 [-90, 0)需確認與MMRotate默認一致 rect cv2.minAreaRect(np.array(points, dtypenp.float32)) (cx, cy), (w, h), angle rect # cv2.minAreaRect 返回的angle可能不符合MMRotate的(-90,0]約定有時需要轉換 # MMRotate中通常使用 cv2.minAreaRect 后角度已經基本符合但為了保險可以標準化 # 一個常見的轉換函數 def norm_angle(angle, angle_range): 將角度標準化到指定范圍。 if angle_range oc: # OpenCV表示法限制在 (-90, 0] return angle if -90 angle 0 else angle - 90 # 其他表示法... return angle angle norm_angle(angle, oc) # 確保 w h這是OpenCV表示法的隱含要求 if w h: w, h h, w angle - 90 # 角度再次標準化 angle norm_angle(angle, oc) bbox [cx, cy, w, h, angle] else: # 如果沒有多邊形可能是傳統的水平框需要你根據業務決定是否轉為旋轉框 # 通常自定義數據集應該直接標注旋轉框 continue ann { id: ann_id, image_id: image_id, category_id: category_name_to_id[class_name], bbox: bbox, # 這里是5個數的列表 area: w * h, iscrowd: 0, segmentation: [np.array(points).flatten().tolist()] # 可選保存多邊形 } coco_dict[annotations].append(ann) ann_id 1 image_id 1 with open(output_json_path, w) as f: json.dump(coco_dict, f) print(f轉換完成保存至 {output_json_path}) # 調用函數 voc_xml_to_coco_rotated(path/to/your/xmls, path/to/your/images, train.json)這個腳本提供了一個轉換框架。最關鍵的是角度標準化。你必須清楚你的原始標注工具輸出角度的約定并正確轉換到MMRotate的OpenCV表示法。在實際操作中建議先用幾組數據可視化驗證一下轉換后的框是否與圖像上的目標完美貼合。3. 環境配置與MMRotate項目結構解析工欲善其事必先利其器。配置好環境并理解項目結構能讓你在后續的調試中事半功倍。3.1 一步步搭建MMRotate環境MMRotate依賴PyTorch、MMCV和MMDetection。下面是一個在Ubuntu 20.04/22.04上從零開始的穩定安裝流程。使用Conda管理環境能避免很多依賴沖突。# 1. 創建并激活conda環境假設已安裝Miniconda/Anaconda conda create -n mmrotate python3.8 -y conda activate mmrotate # 2. 安裝PyTorch請根據你的CUDA版本到PyTorch官網獲取最新命令 # 例如對于CUDA 11.3 conda install pytorch1.12.1 torchvision0.13.1 torchaudio0.12.1 cudatoolkit11.3 -c pytorch # 3. 安裝MMCV這是MM系列的基礎庫必須版本匹配 # 使用mim安裝是官方推薦的方式它能自動處理依賴 pip install openmim mim install mmcv-full1.7.1 # 版本需要與后續的MMDetection、MMRotate匹配 # 4. 安裝MMDetection # 克隆MMDetection倉庫也可以直接pip install但克隆方便查看源碼和配置文件 git clone https://github.com/open-mmlab/mmdetection.git cd mmdetection # 切換到與MMRotate兼容的版本分支MMRotate v1.0.0rc1 通常對應 MMDetection v2.25.0 git checkout v2.25.0 pip install -v -e . # “-e”表示以可編輯模式安裝方便修改源碼 cd .. # 5. 安裝MMRotate git clone https://github.com/open-mmlab/mmrotate.git cd mmrotate # 查看最新的發布版本或穩定分支 pip install -v -e . # 同樣以可編輯模式安裝 # 6. 驗證安裝 python -c import mmrotate; print(mmrotate.__version__) # 如果沒有報錯并輸出版本號說明安裝成功避坑提示版本兼容性是最大的坑MMRotate、MMDetection、MMCV、PyTorch之間有著嚴格的版本對應關系。務必查閱你下載的MMRotate版本如main分支或某個tag的requirements.txt或官方安裝文檔嚴格按照指定的版本號安裝。盲目使用最新版大概率會失敗。3.2 項目目錄與配置文件解讀安裝完成后MMRotate的目錄結構如下mmrotate/ ├── configs/ # 所有模型的配置文件 │ ├── rotated_faster_rcnn/ │ ├── rotated_retinanet/ │ └── ... ├── mmrotate/ # 核心源代碼 ├── tools/ # 訓練、測試、推理腳本 ├── data/ # 建議在此處軟鏈接或放置你的數據集 └── demo/ # 演示腳本核心中的核心是configs/目錄。MMRotate采用模塊化的配置系統一個完整的訓練配置由多個基礎配置文件組合而成。例如configs/rotated_retinanet/rotated_retinanet_obb_r50_fpn_1x_dota_le90.py這個配置文件通常會通過_base_字段繼承多個基礎配置_base_ [ ../_base_/datasets/dota.py, # 數據集定義 ../_base_/schedules/schedule_1x.py, # 訓練策略學習率、迭代次數 ../_base_/default_runtime.py, # 運行時配置日志、鉤子 ./rotated_retinanet_obb_r50_fpn.py # 模型結構定義 ]當你使用自定義數據集時你需要重點關注并修改的就是數據集定義部分。你需要創建一個新的配置文件例如my_custom_config.py在其中通過_base_繼承模型結構、訓練策略等然后重寫override數據相關的配置。為什么采用這種設計這種設計將數據、模型、訓練策略解耦使得你可以像搭積木一樣組合不同的實驗設置。例如你可以輕松地將為DOTA數據集設計的Rotated RetinaNet模型通過只修改數據配置部分應用到你的自定義數據集上而無需改動模型代碼。4. 為自定義數據集創建配置文件這是將你的數據“喂”給MMRotate的關鍵一步。我們假設你已經按照COCO格式準備好了數據目錄結構如下data/my_custom/ ├── train/ │ └── images/ # 存放所有訓練圖片 ├── val/ │ └── images/ # 存放所有驗證圖片 ├── train.json # 訓練集標注文件 └── val.json # 驗證集標注文件接下來在mmrotate/configs/下創建一個新目錄比如my_project/然后新建配置文件rotated_retinanet_my_custom.py。# mmrotate/configs/my_project/rotated_retinanet_my_custom.py # 1. 繼承基礎配置 _base_ [ ../rotated_retinanet/rotated_retinanet_obb_r50_fpn_1x_dota_le90.py, # 繼承模型和基礎設置 ] # 2. 修改數據集相關配置 dataset_type MyCustomDataset # 我們稍后會注冊這個數據集類型 data_root data/my_custom/ # 數據根目錄 # 修改訓練集配置 train_dataloader dict( batch_size2, # 根據你的GPU內存調整旋轉檢測通常比水平檢測更耗顯存 num_workers4, # 數據加載線程數根據CPU核心數調整 persistent_workersTrue, # 保持worker進程活躍加速epoch間的數據加載 samplerdict(typeDefaultSampler, shuffleTrue), datasetdict( typedataset_type, data_rootdata_root, ann_filetrain.json, # 相對于data_root的路徑 data_prefixdict(img_pathtrain/images/), filter_cfgdict(filter_empty_gtTrue), # 過濾掉沒有標注的圖片 # 非常重要指定數據集的元信息特別是類別名 metainfodict(classes(building, vehicle, ship)), # 替換為你的類別名 pipeline_base_.train_pipeline # 繼承默認的訓練數據增強流程 ) ) # 修改驗證集配置 val_dataloader dict( batch_size1, num_workers2, persistent_workersTrue, samplerdict(typeDefaultSampler, shuffleFalse), datasetdict( typedataset_type, data_rootdata_root, ann_fileval.json, data_prefixdict(img_pathval/images/), metainfodict(classes(building, vehicle, ship)), test_modeTrue, # 驗證/測試模式通常關閉數據增強 pipeline_base_.test_pipeline ) ) # 修改測試集配置通常和驗證集一樣 test_dataloader val_dataloader # 修改評估器 val_evaluator dict( typeDOTAMetric, # 或者 CocoMetric取決于你的評估需求 metricmAP, # 主要評估指標為平均精度均值 iou_thrs[0.5, 0.55, 0.6, 0.65, 0.7, 0.75, 0.8, 0.85, 0.9, 0.95], # DOTA常用可調整 # 如果你使用COCO格式并且想用COCO的評估方式 # typeCocoMetric, # metric[bbox, segm], # 評估檢測和分割如果有 # ann_filedata_root val.json, # classwiseTrue, # 輸出每個類別的AP ) test_evaluator val_evaluator # 3. 修改模型頭中的類別數 # 找到模型配置中分類頭和回歸頭的 num_classes 參數并修改 # 通常需要在 model 字典中覆蓋 bbox_head 的 num_classes model dict( bbox_headdict( num_classes3, # 修改為你的實際類別數例如3類 ) ) # 4. 調整訓練策略可選 # 例如根據你的數據集大小調整學習率和訓練周期 # 默認的 schedule_1x.py 是針對12個epoch在DOTA上設計的。 # 如果你的圖片數量遠少于DOTA可能需要減少總迭代次數或調整學習率衰減策略。 # _base_ 中的 schedule 配置可能被覆蓋這里直接修改優化器和學習率調度器 # optimizer optim_wrapper dict( optimizerdict(typeSGD, lr0.005, momentum0.9, weight_decay0.0001)) # 初始學習率 # learning rate scheduler param_scheduler [ dict( typeLinearLR, start_factor0.001, by_epochFalse, begin0, end500), # 熱身 dict( typeMultiStepLR, begin0, end12, # 總epoch數 by_epochTrue, milestones[8, 11], # 在第8和第11個epoch降低學習率 gamma0.1) ] # 5. 修改默認運行時配置可選 default_hooks dict( loggerdict(typeLoggerHook, interval50), # 每50個iteration打印一次日志 checkpointdict(typeCheckpointHook, interval1), # 每個epoch保存一次權重 ) # 訓練總epoch數 train_cfg dict(max_epochs12, val_interval1) # 每1個epoch驗證一次關鍵點解析與避坑metainfo中的classes這里的類別順序必須與你的標注文件如COCO JSON中categories的id順序一致。通常在轉換標注時我們會讓id從1開始連續編號并與此處的classes元組一一對應。如果類別ID不連續或順序錯亂會導致模型學習到錯誤的類別映射。數據集類型MyCustomDataset我們直接使用了MyCustomDataset但MMRotate默認并沒有這個類。我們需要注冊這個數據集。最簡單的方式是繼承現有的支持COCO格式的數據集如CocoDataset。在MMRotate中通常使用RotatedDataset作為基類。我們需要在運行訓練前通過一段代碼注冊我們的數據集。創建一個文件mmrotate/datasets/my_custom.pyfrom mmrotate.datasets import RotatedCocoDataset from mmrotate.registry import DATASETS DATASETS.register_module() class MyCustomDataset(RotatedCocoDataset): My custom dataset for rotated object detection. METAINFO { classes: (building, vehicle, ship), # 這里定義類別名 palette: [(220, 20, 60), (119, 11, 32), (0, 0, 142)] # 每個類別對應的顏色可視化用 }然后在你的訓練腳本或配置文件中需要先導入這個類以確保它被注冊到MMRotate的注冊器中。一種更簡單的方法是在配置文件中直接使用RotatedCocoDataset并在metainfo中覆蓋classes就像我們上面做的那樣。但為了清晰和可維護性自定義一個數據集類是更好的實踐。評估器選擇DOTAMetric是遙感領域常用的評估方式它使用不同IoU閾值下的平均精度mAP。CocoMetric則是更通用的評估器。選擇哪個取決于你的任務需求和領域習慣。如果你的數據集類似DOTA目標方向多樣、密集使用DOTAMetric更合適。5. 啟動訓練與監控配置文件和數據準備就緒后就可以開始訓練了。MMRotate提供了強大的命令行工具。5.1 單GPU訓練cd /path/to/mmrotate python tools/train.py configs/my_project/rotated_retinanet_my_custom.py \ --work-dir work_dirs/my_custom_exp \ # 指定工作目錄用于保存日志和模型 --cfg-options randomness.seed42 \ # 設置隨機種子保證可復現性 --auto-scale-lr # 根據實際batch_size自動縮放學習率如果你修改了batch_size5.2 多GPU分布式訓練./tools/dist_train.sh \ configs/my_project/rotated_retinanet_my_custom.py \ 8 \ # 使用8個GPU --work-dir work_dirs/my_custom_exp_dist \ --cfg-options randomness.seed425.3 訓練過程監控訓練開始后你可以在work_dirs/my_custom_exp目錄下找到{timestamp}.log詳細的訓練日志。vis_data/可視化數據可用于TensorBoard。{epoch}.pth每個epoch保存的模型權重。使用TensorBoard監控tensorboard --logdir work_dirs/my_custom_exp --port 6006然后在瀏覽器打開localhost:6006你可以看到損失曲線、學習率變化、驗證集mAP等關鍵指標這對于調試和調參至關重要。5.4 常見訓練問題與調優Loss為NaN或突然爆炸原因學習率過高、數據中存在異常標注如坐標超出圖像范圍、寬高為負數或零、梯度爆炸。排查首先大幅降低學習率如lr0.0001試試。使用tools/analysis_tools/browse_dataset.py腳本可視化你的數據集檢查標注框是否正常。在配置文件中加入梯度裁剪optim_wrapper dict(clip_graddict(max_norm35, norm_type2))。mAP始終為0或極低原因類別定義不匹配、標注格式錯誤特別是角度、數據增強過于激進導致模型無法學習、模型復雜度與數據量不匹配數據太少模型太大。排查確認標注用可視化腳本檢查轉換后的(cx, cy, w, h, angle)是否正確。重點檢查角度一個快速驗證方法是在驗證集上運行測試腳本看看預測框是否大致在目標位置哪怕類別錯了。如果框都亂飛肯定是定位出了問題大概率是角度或中心點坐標的轉換有誤。簡化流程關閉所有數據增強在配置文件中將train_pipeline替換為test_pipeline在小批量數據上過擬合。如果模型能在幾十張圖上達到接近100%的訓練精度說明模型和數據管道基本是通的問題可能出在增強或超參上。調整模型對于小數據集使用更小的 backbone如r18代替r50或更簡單的檢測頭單階段如RetinaNet比兩階段Faster R-CNN更易訓練。訓練速度慢原因圖片分辨率過大、num_workers設置過小、使用了過大的模型。優化在數據管道中調整Resize步驟將圖片縮放到一個合理的尺寸如scale(1024, 1024)。注意保持長寬比避免目標變形。適當增加num_workers通常設置為CPU核心數的2-4倍并啟用persistent_workersTrue?？紤]使用混合精度訓練AMP。在配置文件中添加optim_wrapper dict(typeAmpOptimWrapper)。這能顯著減少顯存占用并加快訓練速度但對某些模型可能引入精度損失或不穩定需要測試。6. 模型測試、推理與可視化訓練完成后你需要評估模型在獨立測試集上的性能并學會如何使用它進行預測。6.1 測試模型性能# 單GPU測試 python tools/test.py \ configs/my_project/rotated_retinanet_my_custom.py \ work_dirs/my_custom_exp/epoch_12.pth \ # 指定訓練好的權重 --work-dir work_dirs/my_custom_exp/test_results \ # 保存測試結果 --show-dir work_dirs/my_custom_exp/test_vis \ # 保存可視化圖片 --show # 同時顯示圖片如果有GUI # 多GPU測試 ./tools/dist_test.sh \ configs/my_project/rotated_retinanet_my_custom.py \ work_dirs/my_custom_exp/epoch_12.pth \ 8 \ --work-dir work_dirs/my_custom_exp/test_results_dist測試腳本會加載模型和權重在測試集上運行推理并調用之前配置的test_evaluator如DOTAMetric計算mAP等指標。結果會保存在work_dirs/my_custom_exp/test_results下的JSON文件中同時終端會打印出詳細的評估報告。6.2 對單張圖片或視頻進行推理MMRotate提供了方便的演示腳本。你可以編寫一個簡單的Python腳本from mmrotate.apis import inference_detector, init_detector import cv2 import numpy as np # 1. 初始化模型 config_file configs/my_project/rotated_retinanet_my_custom.py checkpoint_file work_dirs/my_custom_exp/epoch_12.pth model init_detector(config_file, checkpoint_file, devicecuda:0) # 或 cpu # 2. 讀取圖片 img test_image.jpg image cv2.imread(img) # 3. 進行推理 result inference_detector(model, image) # 4. 可視化結果 # 你可以使用MMRotate內置的可視化函數 from mmrotate.visualization import RotLocalVisualizer visualizer RotLocalVisualizer() visualizer.set_image(image) # 假設result是一個包含預測框和分數的列表 # 需要根據模型輸出結構進行解析這里是一個示例 pred_instances result.pred_instances bboxes pred_instances.bboxes.cpu().numpy() # 旋轉框 [N, 5] labels pred_instances.labels.cpu().numpy() # 類別 [N] scores pred_instances.scores.cpu().numpy() # 分數 [N] # 過濾低分預測 score_thr 0.3 keep scores score_thr bboxes bboxes[keep] labels labels[keep] scores scores[keep] # 繪制框 for i, bbox in enumerate(bboxes): # bbox: [cx, cy, w, h, angle] # 將旋轉矩形轉換為四個頂點用于繪制 from mmrotate.structures.bbox import rbox2qbox qbox rbox2qbox(bbox) # 轉換為四個頂點 [x1,y1,x2,y2,x3,y3,x4,y4] pts qbox.reshape(4, 2).astype(np.int32) cv2.polylines(image, [pts], isClosedTrue, color(0, 255, 0), thickness2) # 添加標簽和分數 label_text f{model.dataset_meta[classes][labels[i]]}: {scores[i]:.2f} cv2.putText(image, label_text, (int(bbox[0]), int(bbox[1])-10), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 255, 0), 2) # 5. 保存或顯示結果 cv2.imwrite(result.jpg, image) # cv2.imshow(Result, image) # cv2.waitKey(0)6.3 結果分析與模型優化得到測試結果后不要只看一個總的mAP。深入分析對于改進模型至關重要。逐類別AP分析查看每個類別的AP。如果某個類別如“ship”的AP遠低于其他類別可能的原因有該類別樣本數量太少類別不平衡、目標尺度特殊太大或太小、目標角度分布特殊。解決方案包括數據增強針對小目標、收集更多該類別數據、使用Focal Loss緩解類別不平衡、為該類別設置獨立的檢測頭參數?？梢暬e誤案例將測試集上預測錯誤的圖片漏檢、誤檢、定位不準可視化出來。這是發現模型短板的直接方法。漏檢目標太小被遮擋與背景顏色/紋理相似考慮在數據增強中加入更多針對性的變換如隨機裁剪、Mosaic增強或者調整模型Anchor的尺度。誤檢背景區域被誤認為目標可能是負樣本不足或特征混淆。可以嘗試在訓練時加入困難負樣本挖掘OHEM或者調整分類損失函數的權重。定位不準框的角度或中心點偏移。旋轉框回歸比水平框更復雜?？梢詸z查回歸損失函數通常是Smooth L1 Loss是否收斂正常。對于角度回歸有些研究使用離散化將角度分為多個bin或使用IoU-Smooth L1損失來提升精度。超參數調優基于分析結果可以系統地調整超參數。MMRotate支持方便的配置覆蓋。例如你想嘗試不同的Anchor尺寸python tools/train.py configs/my_project/rotated_retinanet_my_custom.py \ --work-dir work_dirs/exp_tune_anchor \ --cfg-options model.bbox_head.anchor_generator.scales[4, 8, 16, 32, 64] \ model.bbox_head.anchor_generator.ratios[0.5, 1.0, 2.0] \ model.bbox_head.anchor_generator.rotations[-90, -60, -30, 0]通過--cfg-options你可以覆蓋配置文件中任何深層次的參數無需修改原文件非常適合進行實驗對比。7. 進階技巧與部署考量當你的基礎模型跑通后可以考慮以下進階優化并思考如何將模型投入實際應用。7.1 數據增強策略優化MMRotate集成了MMDetection豐富的數據增強管道。對于旋轉目標檢測一些特定的增強非常有效RandomRotate這是旋轉檢測的“本命”增強。它能隨機旋轉圖片和對應的旋轉框極大地增加模型對目標方向的魯棒性。在配置文件的train_pipeline中加入dict(typeRandomRotate, prob1.0, level10, max_rot_angle180),注意max_rot_angle設置過大可能導致目標旋轉后與標注的角度表示范圍沖突需要謹慎。Mosaic和MixUp這些混合多張圖片的增強技術能有效提升模型對小目標和遮擋目標的檢測能力尤其適用于數據量不大的場景。PhotoMetricDistortion隨機調整亮度、對比度、飽和度、色調模擬不同的光照條件提升模型泛化性。一個強化后的train_pipeline可能看起來像這樣在配置文件中修改train_pipeline [ dict(typeLoadImageFromFile), dict(typeLoadAnnotations, with_bboxTrue, box_typeqbox), # 注意box_type dict(typeResize, scale(1024, 1024), keep_ratioTrue), dict(typeRandomFlip, prob0.5), dict(typeRandomRotate, prob1.0, level10, max_rot_angle60), # 加入隨機旋轉 dict(typePhotoMetricDistortion), dict(typePackDetInputs) ]7.2 模型選擇與集成MMRotate提供了多種旋轉檢測算法Rotated RetinaNet單階段速度快適合實時性要求高的場景。Rotated Faster R-CNN兩階段精度通常更高但速度較慢。RoI Transformer專門為旋轉目標設計在RPN區域提議網絡階段就生成旋轉的提議框精度提升明顯尤其適合密集、小目標場景。Oriented R-CNN另一種高效的兩階段旋轉檢測器設計更簡潔。對于你的自定義數據集建議先用Rotated RetinaNet快速驗證流程和基線性能。如果精度不滿足要求再嘗試RoI Transformer或Oriented R-CNN?？梢栽谙嗤臄祿陀柧氃O置下比較它們的精度-速度曲線選擇最適合的模型。7.3 模型部署從PyTorch到生產環境訓練好的PyTorch模型.pth文件不能直接用于生產環境如C服務、移動端、邊緣設備。你需要將其轉換為推理引擎支持的格式。主流部署路徑ONNX - TensorRT (NVIDIA GPU)這是NVIDIA平臺上的黃金組合。步驟 a. 使用MMDeployOpenMMLab的部署工具箱或PyTorch原生torch.onnx.export將模型轉換為ONNX格式。注意轉換旋轉檢測模型時需要確保模型中的自定義算子如旋轉NMS也被正確導出和支持。 b. 使用TensorRT的trtexec工具或Python API將ONNX模型編譯為高度優化的TensorRT引擎.engine文件。優勢極致性能低延遲。挑戰算子支持特別是后處理中的旋轉NMS可能需要自定義插件Custom Plugin。TorchScriptPyTorch自帶的序列化格式可以在沒有Python環境的C中運行。步驟使用torch.jit.trace或torch.jit.script將模型轉換為TorchScript。優勢流程相對簡單與PyTorch生態結合緊密。挑戰某些動態控制流或復雜數據結構的模型可能無法完美轉換。性能優化不如TensorRT。OpenVINO (Intel CPU/GPU)針對Intel硬件優化的部署工具包。步驟將ONNX模型通過OpenVINO的Model Optimizer轉換為IR格式再用Runtime推理。優勢在Intel CPU上性能優秀易于使用。部署建議前期驗證先使用MMRotate自帶的inference_detectorAPI搭建一個簡單的Python服務如Flask/FastAPI快速驗證模型功能和性能。性能瓶頸分析使用 profiling 工具如PyTorch Profiler, NVIDIA Nsight分析推理過程中各階段耗時。通常后處理尤其是NMS在旋轉檢測中占比不低。自定義后處理生產環境中為了極致性能和控制力經常需要將模型的后處理解碼bbox、NMS從模型中剝離用高度優化的C代碼實現。你需要理解模型原始輸出的格式如每個Anchor的類別得分和bbox偏移量并重新實現解碼和NMS邏輯。7.4 持續集成與模型管理當項目迭代起來后模型版本、配置文件、訓練日志會越來越多。建議建立簡單的管理規范版本控制使用Git管理你的配置文件、數據集轉換腳本和自定義代碼。實驗跟蹤使用MLflow、Weights Biases或TensorBoard來記錄每次實驗的超參數、指標和模型文件。自動化編寫腳本自動化訓練-評估-測試的流程特別是當你要進行大規模超參數搜索時。從準備自定義數據到訓練、調優、最終部署一個旋轉目標檢測模型整個過程充滿了挑戰但也正是這些挑戰讓結果更有價值。MMRotate作為一個強大的工具箱為你掃清了許多底層實現的障礙讓你能更專注于數據、模型結構和業務邏輯本身。希望這篇基于實戰的詳細指南能幫助你順利跨過旋轉目標檢測的門檻在實際項目中取得成功。記住遇到問題時多可視化、多分析數據、從小規模實驗開始是最高效的調試路徑。 MMRotate實戰：從零構建自定義旋轉目標檢測數據集與模型訓練
1. 項目緣起當通用檢測框遇上旋轉目標在計算機視覺的日常開發中我們經常會遇到一些“特殊”的目標。比如遙感圖像中傾斜停放的車輛、文檔掃描件中帶有角度的文字、或者工業場景中任意方向排列的零件。如果你嘗試用經典的YOLO、Faster R-CNN等水平框檢測器去處理這些目標結果往往會讓你哭笑不得——一個巨大的水平矩形框把目標連同大量無關的背景一起框了進去不僅定位不準后續的IoU計算、NMS非極大值抑制都會出現問題嚴重影響檢測精度。這就是旋轉目標檢測Rotated Object Detection要解決的問題。而MMRotate正是基于強大的PyTorch框架和MMDetection、MMCV生態為旋轉目標檢測量身打造的一個開源工具箱。它不是一個全新的算法而是一個集成了多種主流旋轉檢測算法如Rotated Faster R-CNN, Rotated RetinaNet, RoI Transformer等的“腳手架”和“實驗場”讓你能快速在自己的數據上驗證和部署旋轉檢測模型。我最近的一個項目恰好涉及對航拍圖像中的建筑物進行精細定位傳統的水平框完全無法滿足需求于是便深入折騰了一番MMRotate。整個過程從數據準備、格式轉換、模型訓練到調優部署踩了不少坑也積累了一些實戰心得。這篇文章我就以一個“自定義數據集”的完整流程為線索帶你走通MMRotate并分享那些官方文檔里可能不會細說的細節。2. 理解核心旋轉框的表示法與數據集構建在動手寫代碼之前我們必須先統一“語言”。旋轉框怎么描述你的數據標簽又該如何準備這是所有后續工作的基石理解偏差會導致訓練完全失敗。2.1 旋轉框的幾種表示法旋轉矩形框通常由一個中心點、寬高和旋轉角度來定義。但就是這個“角度”在不同的庫和論文中有著不同的約定MMRotate主要支持兩種OpenCV 表示法 (默認):(x_center, y_center, width, height, angle)。angle的單位是度數。角度范圍(-90, 0]。這是最容易混淆的一點。在這種表示下width被定義為旋轉框邊界框Bounding Box在旋轉后其自身坐標系下的長邊。而angle表示的是這個width邊相對于水平軸x軸順時針旋轉的角度且被限制在-90度到0度之間即-90 angle 0?？梢岳斫鉃榭蚩偸恰罢玖ⅰ钡钠漭^長的邊width與水平線的夾角在-90度到0度這個區間內。這種表示法能唯一確定一個矩形不考慮180度翻轉的歧義。長邊定義法: 另一種常見表示是(x_center, y_center, width, height, angle)但這里的width永遠是旋轉框自身的長邊height是短邊angle是長邊與x軸的夾角范圍通常是[-90, 90)或[0, 180)。MMRotate的部分算法也支持這種模式但需要在配置文件中明確指定angle_version。重要提示MMRotate默認采用OpenCV表示法。你在準備自定義數據集時必須確保你的標注格式與之一致或者在數據加載管道中進行正確的轉換。很多開源遙感數據集如DOTA本身就采用這種格式。2.2 構建自定義數據集的正確姿勢假設你有一批自己的航拍圖或工業檢測圖并用LabelImg、CVAT等工具標注了旋轉框。你得到的標注文件可能是XML、JSON或TXT格式。你需要將它們轉換為MMRotate能夠讀取的格式。MMRotate主要支持兩種數據格式DOTA格式遙感領域權威數據集DOTA使用的格式。每張圖片對應一個TXT標注文件。文件內容如下x1 y1 x2 y2 x3 y3 x4 y4 category difficult其中(x1, y1), ..., (x4, y4)是旋轉框四個頂點的坐標按順時針或逆時針順序排列。category是類別名difficult表示是否為難例0或1。MMRotate在讀取時會自動將這四個頂點轉換為默認的(cx, cy, w, h, angle)格式。COCO格式擴展了經典COCO格式以支持旋轉框。在標準的annotations字段中每個物體的bbox不再是一個4維數組[x, y, w, h]而是一個5維數組[x, y, w, h, angle]。這就是我們上面討論的OpenCV表示法。segmentation字段可以存放多邊形頂點用于更精細的分割任務。對于自定義數據集我強烈推薦使用COCO格式。原因有三1) 工具生態豐富很多標注工具如label-studio可以直接導出或通過腳本轉為COCO格式2) 數據結構清晰一個JSON文件管理所有標注易于維護和版本控制3) MMRotate對COCO格式的支持非常完善數據加載效率高。實操步驟將你的標注轉為COCO格式假設你的原始標注是每張圖一個XML類似Pascal VOC下面是一個大致的轉換邏輯你需要根據實際情況調整import json import xml.etree.ElementTree as ET import os import cv2 import numpy as np def voc_xml_to_coco_rotated(xml_dir, img_dir, output_json_path): 將VOC格式的旋轉框XML轉換為MMRotate可用的COCO格式。 假設XML中物體的bbox表示為: bndboxx.../xy...angle.../angle.../bndbox 或者通過四個頂點polygon表示。 這里以四個頂點為例進行轉換。 coco_dict { images: [], annotations: [], categories: [{id: 1, name: your_class_name}] # 根據你的類別修改 } image_id 1 ann_id 1 category_name_to_id {your_class_name: 1} for xml_file in os.listdir(xml_dir): if not xml_file.endswith(.xml): continue tree ET.parse(os.path.join(xml_dir, xml_file)) root tree.getroot() # 處理image信息 filename root.find(filename).text img_path os.path.join(img_dir, filename) img cv2.imread(img_path) if img is None: continue height, width img.shape[:2] image_info { id: image_id, file_name: filename, height: height, width: width, } coco_dict[images].append(image_info) # 處理每個object for obj in root.findall(object): class_name obj.find(name).text # 假設旋轉框由四個頂點表示 polygonx1..y1..x2..y2..x3..y3..x4..y4 polygon obj.find(polygon) if polygon is not None: # 提取四個點坐標注意順序 points [] for i in range(1, 5): x float(polygon.find(fx{i}).text) y float(polygon.find(fy{i}).text) points.append([x, y]) # 將四個頂點轉換為 (cx, cy, w, h, angle) # 使用OpenCV的minAreaRect函數它返回的正是 (cx, cy), (w, h), angle # 注意cv2.minAreaRect 返回的angle范圍可能是 [-90, 0)需確認與MMRotate默認一致 rect cv2.minAreaRect(np.array(points, dtypenp.float32)) (cx, cy), (w, h), angle rect # cv2.minAreaRect 返回的angle可能不符合MMRotate的(-90,0]約定有時需要轉換 # MMRotate中通常使用 cv2.minAreaRect 后角度已經基本符合但為了保險可以標準化 # 一個常見的轉換函數 def norm_angle(angle, angle_range): 將角度標準化到指定范圍。 if angle_range oc: # OpenCV表示法限制在 (-90, 0] return angle if -90 angle 0 else angle - 90 # 其他表示法... return angle angle norm_angle(angle, oc) # 確保 w h這是OpenCV表示法的隱含要求 if w h: w, h h, w angle - 90 # 角度再次標準化 angle norm_angle(angle, oc) bbox [cx, cy, w, h, angle] else: # 如果沒有多邊形可能是傳統的水平框需要你根據業務決定是否轉為旋轉框 # 通常自定義數據集應該直接標注旋轉框 continue ann { id: ann_id, image_id: image_id, category_id: category_name_to_id[class_name], bbox: bbox, # 這里是5個數的列表 area: w * h, iscrowd: 0, segmentation: [np.array(points).flatten().tolist()] # 可選保存多邊形 } coco_dict[annotations].append(ann) ann_id 1 image_id 1 with open(output_json_path, w) as f: json.dump(coco_dict, f) print(f轉換完成保存至 {output_json_path}) # 調用函數 voc_xml_to_coco_rotated(path/to/your/xmls, path/to/your/images, train.json)這個腳本提供了一個轉換框架。最關鍵的是角度標準化。你必須清楚你的原始標注工具輸出角度的約定并正確轉換到MMRotate的OpenCV表示法。在實際操作中建議先用幾組數據可視化驗證一下轉換后的框是否與圖像上的目標完美貼合。3. 環境配置與MMRotate項目結構解析工欲善其事必先利其器。配置好環境并理解項目結構能讓你在后續的調試中事半功倍。3.1 一步步搭建MMRotate環境MMRotate依賴PyTorch、MMCV和MMDetection。下面是一個在Ubuntu 20.04/22.04上從零開始的穩定安裝流程。使用Conda管理環境能避免很多依賴沖突。# 1. 創建并激活conda環境假設已安裝Miniconda/Anaconda conda create -n mmrotate python3.8 -y conda activate mmrotate # 2. 安裝PyTorch請根據你的CUDA版本到PyTorch官網獲取最新命令 # 例如對于CUDA 11.3 conda install pytorch1.12.1 torchvision0.13.1 torchaudio0.12.1 cudatoolkit11.3 -c pytorch # 3. 安裝MMCV這是MM系列的基礎庫必須版本匹配 # 使用mim安裝是官方推薦的方式它能自動處理依賴 pip install openmim mim install mmcv-full1.7.1 # 版本需要與后續的MMDetection、MMRotate匹配 # 4. 安裝MMDetection # 克隆MMDetection倉庫也可以直接pip install但克隆方便查看源碼和配置文件 git clone https://github.com/open-mmlab/mmdetection.git cd mmdetection # 切換到與MMRotate兼容的版本分支MMRotate v1.0.0rc1 通常對應 MMDetection v2.25.0 git checkout v2.25.0 pip install -v -e . # “-e”表示以可編輯模式安裝方便修改源碼 cd .. # 5. 安裝MMRotate git clone https://github.com/open-mmlab/mmrotate.git cd mmrotate # 查看最新的發布版本或穩定分支 pip install -v -e . # 同樣以可編輯模式安裝 # 6. 驗證安裝 python -c import mmrotate; print(mmrotate.__version__) # 如果沒有報錯并輸出版本號說明安裝成功避坑提示版本兼容性是最大的坑MMRotate、MMDetection、MMCV、PyTorch之間有著嚴格的版本對應關系。務必查閱你下載的MMRotate版本如main分支或某個tag的requirements.txt或官方安裝文檔嚴格按照指定的版本號安裝。盲目使用最新版大概率會失敗。3.2 項目目錄與配置文件解讀安裝完成后MMRotate的目錄結構如下mmrotate/ ├── configs/ # 所有模型的配置文件 │ ├── rotated_faster_rcnn/ │ ├── rotated_retinanet/ │ └── ... ├── mmrotate/ # 核心源代碼 ├── tools/ # 訓練、測試、推理腳本 ├── data/ # 建議在此處軟鏈接或放置你的數據集 └── demo/ # 演示腳本核心中的核心是configs/目錄。MMRotate采用模塊化的配置系統一個完整的訓練配置由多個基礎配置文件組合而成。例如configs/rotated_retinanet/rotated_retinanet_obb_r50_fpn_1x_dota_le90.py這個配置文件通常會通過_base_字段繼承多個基礎配置_base_ [ ../_base_/datasets/dota.py, # 數據集定義 ../_base_/schedules/schedule_1x.py, # 訓練策略學習率、迭代次數 ../_base_/default_runtime.py, # 運行時配置日志、鉤子 ./rotated_retinanet_obb_r50_fpn.py # 模型結構定義 ]當你使用自定義數據集時你需要重點關注并修改的就是數據集定義部分。你需要創建一個新的配置文件例如my_custom_config.py在其中通過_base_繼承模型結構、訓練策略等然后重寫override數據相關的配置。為什么采用這種設計這種設計將數據、模型、訓練策略解耦使得你可以像搭積木一樣組合不同的實驗設置。例如你可以輕松地將為DOTA數據集設計的Rotated RetinaNet模型通過只修改數據配置部分應用到你的自定義數據集上而無需改動模型代碼。4. 為自定義數據集創建配置文件這是將你的數據“喂”給MMRotate的關鍵一步。我們假設你已經按照COCO格式準備好了數據目錄結構如下data/my_custom/ ├── train/ │ └── images/ # 存放所有訓練圖片 ├── val/ │ └── images/ # 存放所有驗證圖片 ├── train.json # 訓練集標注文件 └── val.json # 驗證集標注文件接下來在mmrotate/configs/下創建一個新目錄比如my_project/然后新建配置文件rotated_retinanet_my_custom.py。# mmrotate/configs/my_project/rotated_retinanet_my_custom.py # 1. 繼承基礎配置 _base_ [ ../rotated_retinanet/rotated_retinanet_obb_r50_fpn_1x_dota_le90.py, # 繼承模型和基礎設置 ] # 2. 修改數據集相關配置 dataset_type MyCustomDataset # 我們稍后會注冊這個數據集類型 data_root data/my_custom/ # 數據根目錄 # 修改訓練集配置 train_dataloader dict( batch_size2, # 根據你的GPU內存調整旋轉檢測通常比水平檢測更耗顯存 num_workers4, # 數據加載線程數根據CPU核心數調整 persistent_workersTrue, # 保持worker進程活躍加速epoch間的數據加載 samplerdict(typeDefaultSampler, shuffleTrue), datasetdict( typedataset_type, data_rootdata_root, ann_filetrain.json, # 相對于data_root的路徑 data_prefixdict(img_pathtrain/images/), filter_cfgdict(filter_empty_gtTrue), # 過濾掉沒有標注的圖片 # 非常重要指定數據集的元信息特別是類別名 metainfodict(classes(building, vehicle, ship)), # 替換為你的類別名 pipeline_base_.train_pipeline # 繼承默認的訓練數據增強流程 ) ) # 修改驗證集配置 val_dataloader dict( batch_size1, num_workers2, persistent_workersTrue, samplerdict(typeDefaultSampler, shuffleFalse), datasetdict( typedataset_type, data_rootdata_root, ann_fileval.json, data_prefixdict(img_pathval/images/), metainfodict(classes(building, vehicle, ship)), test_modeTrue, # 驗證/測試模式通常關閉數據增強 pipeline_base_.test_pipeline ) ) # 修改測試集配置通常和驗證集一樣 test_dataloader val_dataloader # 修改評估器 val_evaluator dict( typeDOTAMetric, # 或者 CocoMetric取決于你的評估需求 metricmAP, # 主要評估指標為平均精度均值 iou_thrs[0.5, 0.55, 0.6, 0.65, 0.7, 0.75, 0.8, 0.85, 0.9, 0.95], # DOTA常用可調整 # 如果你使用COCO格式并且想用COCO的評估方式 # typeCocoMetric, # metric[bbox, segm], # 評估檢測和分割如果有 # ann_filedata_root val.json, # classwiseTrue, # 輸出每個類別的AP ) test_evaluator val_evaluator # 3. 修改模型頭中的類別數 # 找到模型配置中分類頭和回歸頭的 num_classes 參數并修改 # 通常需要在 model 字典中覆蓋 bbox_head 的 num_classes model dict( bbox_headdict( num_classes3, # 修改為你的實際類別數例如3類 ) ) # 4. 調整訓練策略可選 # 例如根據你的數據集大小調整學習率和訓練周期 # 默認的 schedule_1x.py 是針對12個epoch在DOTA上設計的。 # 如果你的圖片數量遠少于DOTA可能需要減少總迭代次數或調整學習率衰減策略。 # _base_ 中的 schedule 配置可能被覆蓋這里直接修改優化器和學習率調度器 # optimizer optim_wrapper dict( optimizerdict(typeSGD, lr0.005, momentum0.9, weight_decay0.0001)) # 初始學習率 # learning rate scheduler param_scheduler [ dict( typeLinearLR, start_factor0.001, by_epochFalse, begin0, end500), # 熱身 dict( typeMultiStepLR, begin0, end12, # 總epoch數 by_epochTrue, milestones[8, 11], # 在第8和第11個epoch降低學習率 gamma0.1) ] # 5. 修改默認運行時配置可選 default_hooks dict( loggerdict(typeLoggerHook, interval50), # 每50個iteration打印一次日志 checkpointdict(typeCheckpointHook, interval1), # 每個epoch保存一次權重 ) # 訓練總epoch數 train_cfg dict(max_epochs12, val_interval1) # 每1個epoch驗證一次關鍵點解析與避坑metainfo中的classes這里的類別順序必須與你的標注文件如COCO JSON中categories的id順序一致。通常在轉換標注時我們會讓id從1開始連續編號并與此處的classes元組一一對應。如果類別ID不連續或順序錯亂會導致模型學習到錯誤的類別映射。數據集類型MyCustomDataset我們直接使用了MyCustomDataset但MMRotate默認并沒有這個類。我們需要注冊這個數據集。最簡單的方式是繼承現有的支持COCO格式的數據集如CocoDataset。在MMRotate中通常使用RotatedDataset作為基類。我們需要在運行訓練前通過一段代碼注冊我們的數據集。創建一個文件mmrotate/datasets/my_custom.pyfrom mmrotate.datasets import RotatedCocoDataset from mmrotate.registry import DATASETS DATASETS.register_module() class MyCustomDataset(RotatedCocoDataset): My custom dataset for rotated object detection. METAINFO { classes: (building, vehicle, ship), # 這里定義類別名 palette: [(220, 20, 60), (119, 11, 32), (0, 0, 142)] # 每個類別對應的顏色可視化用 }然后在你的訓練腳本或配置文件中需要先導入這個類以確保它被注冊到MMRotate的注冊器中。一種更簡單的方法是在配置文件中直接使用RotatedCocoDataset并在metainfo中覆蓋classes就像我們上面做的那樣。但為了清晰和可維護性自定義一個數據集類是更好的實踐。評估器選擇DOTAMetric是遙感領域常用的評估方式它使用不同IoU閾值下的平均精度mAP。CocoMetric則是更通用的評估器。選擇哪個取決于你的任務需求和領域習慣。如果你的數據集類似DOTA目標方向多樣、密集使用DOTAMetric更合適。5. 啟動訓練與監控配置文件和數據準備就緒后就可以開始訓練了。MMRotate提供了強大的命令行工具。5.1 單GPU訓練cd /path/to/mmrotate python tools/train.py configs/my_project/rotated_retinanet_my_custom.py \ --work-dir work_dirs/my_custom_exp \ # 指定工作目錄用于保存日志和模型 --cfg-options randomness.seed42 \ # 設置隨機種子保證可復現性 --auto-scale-lr # 根據實際batch_size自動縮放學習率如果你修改了batch_size5.2 多GPU分布式訓練./tools/dist_train.sh \ configs/my_project/rotated_retinanet_my_custom.py \ 8 \ # 使用8個GPU --work-dir work_dirs/my_custom_exp_dist \ --cfg-options randomness.seed425.3 訓練過程監控訓練開始后你可以在work_dirs/my_custom_exp目錄下找到{timestamp}.log詳細的訓練日志。vis_data/可視化數據可用于TensorBoard。{epoch}.pth每個epoch保存的模型權重。使用TensorBoard監控tensorboard --logdir work_dirs/my_custom_exp --port 6006然后在瀏覽器打開localhost:6006你可以看到損失曲線、學習率變化、驗證集mAP等關鍵指標這對于調試和調參至關重要。5.4 常見訓練問題與調優Loss為NaN或突然爆炸原因學習率過高、數據中存在異常標注如坐標超出圖像范圍、寬高為負數或零、梯度爆炸。排查首先大幅降低學習率如lr0.0001試試。使用tools/analysis_tools/browse_dataset.py腳本可視化你的數據集檢查標注框是否正常。在配置文件中加入梯度裁剪optim_wrapper dict(clip_graddict(max_norm35, norm_type2))。mAP始終為0或極低原因類別定義不匹配、標注格式錯誤特別是角度、數據增強過于激進導致模型無法學習、模型復雜度與數據量不匹配數據太少模型太大。排查確認標注用可視化腳本檢查轉換后的(cx, cy, w, h, angle)是否正確。重點檢查角度一個快速驗證方法是在驗證集上運行測試腳本看看預測框是否大致在目標位置哪怕類別錯了。如果框都亂飛肯定是定位出了問題大概率是角度或中心點坐標的轉換有誤。簡化流程關閉所有數據增強在配置文件中將train_pipeline替換為test_pipeline在小批量數據上過擬合。如果模型能在幾十張圖上達到接近100%的訓練精度說明模型和數據管道基本是通的問題可能出在增強或超參上。調整模型對于小數據集使用更小的 backbone如r18代替r50或更簡單的檢測頭單階段如RetinaNet比兩階段Faster R-CNN更易訓練。訓練速度慢原因圖片分辨率過大、num_workers設置過小、使用了過大的模型。優化在數據管道中調整Resize步驟將圖片縮放到一個合理的尺寸如scale(1024, 1024)。注意保持長寬比避免目標變形。適當增加num_workers通常設置為CPU核心數的2-4倍并啟用persistent_workersTrue?？紤]使用混合精度訓練AMP。在配置文件中添加optim_wrapper dict(typeAmpOptimWrapper)。這能顯著減少顯存占用并加快訓練速度但對某些模型可能引入精度損失或不穩定需要測試。6. 模型測試、推理與可視化訓練完成后你需要評估模型在獨立測試集上的性能并學會如何使用它進行預測。6.1 測試模型性能# 單GPU測試 python tools/test.py \ configs/my_project/rotated_retinanet_my_custom.py \ work_dirs/my_custom_exp/epoch_12.pth \ # 指定訓練好的權重 --work-dir work_dirs/my_custom_exp/test_results \ # 保存測試結果 --show-dir work_dirs/my_custom_exp/test_vis \ # 保存可視化圖片 --show # 同時顯示圖片如果有GUI # 多GPU測試 ./tools/dist_test.sh \ configs/my_project/rotated_retinanet_my_custom.py \ work_dirs/my_custom_exp/epoch_12.pth \ 8 \ --work-dir work_dirs/my_custom_exp/test_results_dist測試腳本會加載模型和權重在測試集上運行推理并調用之前配置的test_evaluator如DOTAMetric計算mAP等指標。結果會保存在work_dirs/my_custom_exp/test_results下的JSON文件中同時終端會打印出詳細的評估報告。6.2 對單張圖片或視頻進行推理MMRotate提供了方便的演示腳本。你可以編寫一個簡單的Python腳本from mmrotate.apis import inference_detector, init_detector import cv2 import numpy as np # 1. 初始化模型 config_file configs/my_project/rotated_retinanet_my_custom.py checkpoint_file work_dirs/my_custom_exp/epoch_12.pth model init_detector(config_file, checkpoint_file, devicecuda:0) # 或 cpu # 2. 讀取圖片 img test_image.jpg image cv2.imread(img) # 3. 進行推理 result inference_detector(model, image) # 4. 可視化結果 # 你可以使用MMRotate內置的可視化函數 from mmrotate.visualization import RotLocalVisualizer visualizer RotLocalVisualizer() visualizer.set_image(image) # 假設result是一個包含預測框和分數的列表 # 需要根據模型輸出結構進行解析這里是一個示例 pred_instances result.pred_instances bboxes pred_instances.bboxes.cpu().numpy() # 旋轉框 [N, 5] labels pred_instances.labels.cpu().numpy() # 類別 [N] scores pred_instances.scores.cpu().numpy() # 分數 [N] # 過濾低分預測 score_thr 0.3 keep scores score_thr bboxes bboxes[keep] labels labels[keep] scores scores[keep] # 繪制框 for i, bbox in enumerate(bboxes): # bbox: [cx, cy, w, h, angle] # 將旋轉矩形轉換為四個頂點用于繪制 from mmrotate.structures.bbox import rbox2qbox qbox rbox2qbox(bbox) # 轉換為四個頂點 [x1,y1,x2,y2,x3,y3,x4,y4] pts qbox.reshape(4, 2).astype(np.int32) cv2.polylines(image, [pts], isClosedTrue, color(0, 255, 0), thickness2) # 添加標簽和分數 label_text f{model.dataset_meta[classes][labels[i]]}: {scores[i]:.2f} cv2.putText(image, label_text, (int(bbox[0]), int(bbox[1])-10), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 255, 0), 2) # 5. 保存或顯示結果 cv2.imwrite(result.jpg, image) # cv2.imshow(Result, image) # cv2.waitKey(0)6.3 結果分析與模型優化得到測試結果后不要只看一個總的mAP。深入分析對于改進模型至關重要。逐類別AP分析查看每個類別的AP。如果某個類別如“ship”的AP遠低于其他類別可能的原因有該類別樣本數量太少類別不平衡、目標尺度特殊太大或太小、目標角度分布特殊。解決方案包括數據增強針對小目標、收集更多該類別數據、使用Focal Loss緩解類別不平衡、為該類別設置獨立的檢測頭參數?？梢暬e誤案例將測試集上預測錯誤的圖片漏檢、誤檢、定位不準可視化出來。這是發現模型短板的直接方法。漏檢目標太小被遮擋與背景顏色/紋理相似考慮在數據增強中加入更多針對性的變換如隨機裁剪、Mosaic增強或者調整模型Anchor的尺度。誤檢背景區域被誤認為目標可能是負樣本不足或特征混淆。可以嘗試在訓練時加入困難負樣本挖掘OHEM或者調整分類損失函數的權重。定位不準框的角度或中心點偏移。旋轉框回歸比水平框更復雜?？梢詸z查回歸損失函數通常是Smooth L1 Loss是否收斂正常。對于角度回歸有些研究使用離散化將角度分為多個bin或使用IoU-Smooth L1損失來提升精度。超參數調優基于分析結果可以系統地調整超參數。MMRotate支持方便的配置覆蓋。例如你想嘗試不同的Anchor尺寸python tools/train.py configs/my_project/rotated_retinanet_my_custom.py \ --work-dir work_dirs/exp_tune_anchor \ --cfg-options model.bbox_head.anchor_generator.scales[4, 8, 16, 32, 64] \ model.bbox_head.anchor_generator.ratios[0.5, 1.0, 2.0] \ model.bbox_head.anchor_generator.rotations[-90, -60, -30, 0]通過--cfg-options你可以覆蓋配置文件中任何深層次的參數無需修改原文件非常適合進行實驗對比。7. 進階技巧與部署考量當你的基礎模型跑通后可以考慮以下進階優化并思考如何將模型投入實際應用。7.1 數據增強策略優化MMRotate集成了MMDetection豐富的數據增強管道。對于旋轉目標檢測一些特定的增強非常有效RandomRotate這是旋轉檢測的“本命”增強。它能隨機旋轉圖片和對應的旋轉框極大地增加模型對目標方向的魯棒性。在配置文件的train_pipeline中加入dict(typeRandomRotate, prob1.0, level10, max_rot_angle180),注意max_rot_angle設置過大可能導致目標旋轉后與標注的角度表示范圍沖突需要謹慎。Mosaic和MixUp這些混合多張圖片的增強技術能有效提升模型對小目標和遮擋目標的檢測能力尤其適用于數據量不大的場景。PhotoMetricDistortion隨機調整亮度、對比度、飽和度、色調模擬不同的光照條件提升模型泛化性。一個強化后的train_pipeline可能看起來像這樣在配置文件中修改train_pipeline [ dict(typeLoadImageFromFile), dict(typeLoadAnnotations, with_bboxTrue, box_typeqbox), # 注意box_type dict(typeResize, scale(1024, 1024), keep_ratioTrue), dict(typeRandomFlip, prob0.5), dict(typeRandomRotate, prob1.0, level10, max_rot_angle60), # 加入隨機旋轉 dict(typePhotoMetricDistortion), dict(typePackDetInputs) ]7.2 模型選擇與集成MMRotate提供了多種旋轉檢測算法Rotated RetinaNet單階段速度快適合實時性要求高的場景。Rotated Faster R-CNN兩階段精度通常更高但速度較慢。RoI Transformer專門為旋轉目標設計在RPN區域提議網絡階段就生成旋轉的提議框精度提升明顯尤其適合密集、小目標場景。Oriented R-CNN另一種高效的兩階段旋轉檢測器設計更簡潔。對于你的自定義數據集建議先用Rotated RetinaNet快速驗證流程和基線性能。如果精度不滿足要求再嘗試RoI Transformer或Oriented R-CNN?？梢栽谙嗤臄祿陀柧氃O置下比較它們的精度-速度曲線選擇最適合的模型。7.3 模型部署從PyTorch到生產環境訓練好的PyTorch模型.pth文件不能直接用于生產環境如C服務、移動端、邊緣設備。你需要將其轉換為推理引擎支持的格式。主流部署路徑ONNX - TensorRT (NVIDIA GPU)這是NVIDIA平臺上的黃金組合。步驟 a. 使用MMDeployOpenMMLab的部署工具箱或PyTorch原生torch.onnx.export將模型轉換為ONNX格式。注意轉換旋轉檢測模型時需要確保模型中的自定義算子如旋轉NMS也被正確導出和支持。 b. 使用TensorRT的trtexec工具或Python API將ONNX模型編譯為高度優化的TensorRT引擎.engine文件。優勢極致性能低延遲。挑戰算子支持特別是后處理中的旋轉NMS可能需要自定義插件Custom Plugin。TorchScriptPyTorch自帶的序列化格式可以在沒有Python環境的C中運行。步驟使用torch.jit.trace或torch.jit.script將模型轉換為TorchScript。優勢流程相對簡單與PyTorch生態結合緊密。挑戰某些動態控制流或復雜數據結構的模型可能無法完美轉換。性能優化不如TensorRT。OpenVINO (Intel CPU/GPU)針對Intel硬件優化的部署工具包。步驟將ONNX模型通過OpenVINO的Model Optimizer轉換為IR格式再用Runtime推理。優勢在Intel CPU上性能優秀易于使用。部署建議前期驗證先使用MMRotate自帶的inference_detectorAPI搭建一個簡單的Python服務如Flask/FastAPI快速驗證模型功能和性能。性能瓶頸分析使用 profiling 工具如PyTorch Profiler, NVIDIA Nsight分析推理過程中各階段耗時。通常后處理尤其是NMS在旋轉檢測中占比不低。自定義后處理生產環境中為了極致性能和控制力經常需要將模型的后處理解碼bbox、NMS從模型中剝離用高度優化的C代碼實現。你需要理解模型原始輸出的格式如每個Anchor的類別得分和bbox偏移量并重新實現解碼和NMS邏輯。7.4 持續集成與模型管理當項目迭代起來后模型版本、配置文件、訓練日志會越來越多。建議建立簡單的管理規范版本控制使用Git管理你的配置文件、數據集轉換腳本和自定義代碼。實驗跟蹤使用MLflow、Weights Biases或TensorBoard來記錄每次實驗的超參數、指標和模型文件。自動化編寫腳本自動化訓練-評估-測試的流程特別是當你要進行大規模超參數搜索時。從準備自定義數據到訓練、調優、最終部署一個旋轉目標檢測模型整個過程充滿了挑戰但也正是這些挑戰讓結果更有價值。MMRotate作為一個強大的工具箱為你掃清了許多底層實現的障礙讓你能更專注于數據、模型結構和業務邏輯本身。希望這篇基于實戰的詳細指南能幫助你順利跨過旋轉目標檢測的門檻在實際項目中取得成功。記住遇到問題時多可視化、多分析數據、從小規模實驗開始是最高效的調試路徑。