量評價(IQA))
1.評價方法圖像質(zhì)量評價分為主觀和客觀兩個方面。其中客觀又分為全參考、半?yún)⒖己蜔o參考三種詳情見如下博客內(nèi)容https://blog.csdn.net/shinuone/article/details/1491764942.評價指標和評價算法GitHub - chaofengc/IQA-PyTorch: ? ? PyTorch Toolbox for Image Quality Assessment, including PSNR, SSIM, LPIPS, FID, NIQE, NRQM(Ma), MUSIQ, TOPIQ, NIMA, DBCNN, BRISQUE, PI and more...IQA-PyTorch/docs/ModelCard.md at main · chaofengc/IQA-PyTorch · GitHubhttps://github.com/chaofengc/IQA-PyTorch/blob/main/docs/ModelCard.md按照git上的要求搭好環(huán)境后使用以下testiqa.py進行測試圖片可以放在絕對路徑下import pyiqa # pyiqa是pytorch實現(xiàn)的圖像質(zhì)量評估庫直接pip install import torch from PIL import Image import torchvision.transforms as transforms # 可以列出左右?guī)炖锏暮瘮?shù) print(pyiqa.list_models()) device torch.device(cuda) if torch.cuda.is_available() else torch.device(cpu) # 示例 iqa_metric pyiqa.create_metric(arniqa, devicedevice) #隨意選擇上述存在的模型注意是否是NR的 to_tensor transforms.ToTensor() img_pathrE:\code\pytorch_test\IQA-PyTorch-main\IQA-PyTorch-main\test.jpg #圖片路徑 img to_tensor(Image.open(img_path)).unsqueeze(0) score iqa_metric(img) print(NIME:, score.item())測試結(jié)果如下圖所示表示使用該模型arniqa得到的分數(shù)為0.453.常用的無參考的IQA方法詳細解析詳見博客【IQA技術(shù)專題】使用CLIP進行IQACLIPIQA-CSDN博客其中涉及到圖像的美感以及感知評價的模型主要有LPIPS(learned perceptual Image patch similarity)使用預(yù)訓(xùn)練的深度網(wǎng)絡(luò)(如VGG、Alexnet)來提取圖像特征然后計算這些特征之間的距離以評估圖像之間的感知相似度hyperiqa(blindly Assess Image Quality in the wild Guided by A self-Adaptive Hyper Network)一種針對無參考圖像質(zhì)量評價的自適應(yīng)Hyper Network提出了一種自適應(yīng)超網(wǎng)絡(luò)架構(gòu)來無參考評估圖像質(zhì)量。將IQA過程分為三個階段內(nèi)容理解、感知規(guī)則學(xué)習(xí)和質(zhì)量預(yù)測提取圖像語義后由超網(wǎng)絡(luò)自適應(yīng)建立感知規(guī)則再由質(zhì)量預(yù)測網(wǎng)絡(luò)采用。clipiqa(contrastive language-image pretranining mode)圖文多模態(tài)模型exploring clip for assessing the look and feel of image 探索了clip模型在圖像的質(zhì)量感知(look)和抽象感知(feel)評估中的潛力提出了clip-iqa模型其核心改進為反義詞提示詞配對策略和移除位置嵌入無需任務(wù)特定訓(xùn)練即可實現(xiàn)評估這種方法突破了傳統(tǒng)iqa方法的三大局限1.無需手工特征工程2.跨領(lǐng)域泛化能力3.零樣本學(xué)習(xí)能力對于CLIP模型的結(jié)構(gòu)學(xué)習(xí)【小白】一文讀懂CLIP圖文多模態(tài)模型_clip模型-CSDN博客經(jīng)典多模態(tài)模型CLIP - 直觀且詳盡的解釋 - 知乎將CLIP模型用于iqa的過程見如下博客【IQA技術(shù)專題】使用CLIP進行IQACLIPIQA-CSDN博客 圖像質(zhì)量評價(IQA)
1.評價方法圖像質(zhì)量評價分為主觀和客觀兩個方面。其中客觀又分為全參考、半?yún)⒖己蜔o參考三種詳情見如下博客內(nèi)容https://blog.csdn.net/shinuone/article/details/1491764942.評價指標和評價算法GitHub - chaofengc/IQA-PyTorch: ? ? PyTorch Toolbox for Image Quality Assessment, including PSNR, SSIM, LPIPS, FID, NIQE, NRQM(Ma), MUSIQ, TOPIQ, NIMA, DBCNN, BRISQUE, PI and more...IQA-PyTorch/docs/ModelCard.md at main · chaofengc/IQA-PyTorch · GitHubhttps://github.com/chaofengc/IQA-PyTorch/blob/main/docs/ModelCard.md按照git上的要求搭好環(huán)境后使用以下testiqa.py進行測試圖片可以放在絕對路徑下import pyiqa # pyiqa是pytorch實現(xiàn)的圖像質(zhì)量評估庫直接pip install import torch from PIL import Image import torchvision.transforms as transforms # 可以列出左右?guī)炖锏暮瘮?shù) print(pyiqa.list_models()) device torch.device(cuda) if torch.cuda.is_available() else torch.device(cpu) # 示例 iqa_metric pyiqa.create_metric(arniqa, devicedevice) #隨意選擇上述存在的模型注意是否是NR的 to_tensor transforms.ToTensor() img_pathrE:\code\pytorch_test\IQA-PyTorch-main\IQA-PyTorch-main\test.jpg #圖片路徑 img to_tensor(Image.open(img_path)).unsqueeze(0) score iqa_metric(img) print(NIME:, score.item())測試結(jié)果如下圖所示表示使用該模型arniqa得到的分數(shù)為0.453.常用的無參考的IQA方法詳細解析詳見博客【IQA技術(shù)專題】使用CLIP進行IQACLIPIQA-CSDN博客其中涉及到圖像的美感以及感知評價的模型主要有LPIPS(learned perceptual Image patch similarity)使用預(yù)訓(xùn)練的深度網(wǎng)絡(luò)(如VGG、Alexnet)來提取圖像特征然后計算這些特征之間的距離以評估圖像之間的感知相似度hyperiqa(blindly Assess Image Quality in the wild Guided by A self-Adaptive Hyper Network)一種針對無參考圖像質(zhì)量評價的自適應(yīng)Hyper Network提出了一種自適應(yīng)超網(wǎng)絡(luò)架構(gòu)來無參考評估圖像質(zhì)量。將IQA過程分為三個階段內(nèi)容理解、感知規(guī)則學(xué)習(xí)和質(zhì)量預(yù)測提取圖像語義后由超網(wǎng)絡(luò)自適應(yīng)建立感知規(guī)則再由質(zhì)量預(yù)測網(wǎng)絡(luò)采用。clipiqa(contrastive language-image pretranining mode)圖文多模態(tài)模型exploring clip for assessing the look and feel of image 探索了clip模型在圖像的質(zhì)量感知(look)和抽象感知(feel)評估中的潛力提出了clip-iqa模型其核心改進為反義詞提示詞配對策略和移除位置嵌入無需任務(wù)特定訓(xùn)練即可實現(xiàn)評估這種方法突破了傳統(tǒng)iqa方法的三大局限1.無需手工特征工程2.跨領(lǐng)域泛化能力3.零樣本學(xué)習(xí)能力對于CLIP模型的結(jié)構(gòu)學(xué)習(xí)【小白】一文讀懂CLIP圖文多模態(tài)模型_clip模型-CSDN博客經(jīng)典多模態(tài)模型CLIP - 直觀且詳盡的解釋 - 知乎將CLIP模型用于iqa的過程見如下博客【IQA技術(shù)專題】使用CLIP進行IQACLIPIQA-CSDN博客