本技術(shù)涉及圖像處理，特別是涉及一種基于孿生網(wǎng)絡(luò)的可遷移高光譜圖像異常檢測(cè)方法和裝置。

背景技術(shù)：

1、目標(biāo)檢測(cè)是一種有監(jiān)督的檢測(cè)任務(wù)，在進(jìn)行檢測(cè)之前，事先通常會(huì)得到相關(guān)的先驗(yàn)信息，即真實(shí)地物參考數(shù)據(jù)，從而在高光譜圖像中找出與目標(biāo)物具有匹配光譜特性的像元。而高光譜圖像異常檢測(cè)與目標(biāo)檢測(cè)不同，它屬于無(wú)監(jiān)督的檢測(cè)任務(wù)。在高光譜圖像中，在光譜特性上與周圍像元有著明顯區(qū)別的像素可稱為異常點(diǎn)，高光譜圖像異常檢測(cè)的目的是從圖像中發(fā)現(xiàn)與周圍像元明顯不同的像素，并對(duì)其進(jìn)行定位。

2、高光譜圖像檢測(cè)方法中常用的一種方法是基于重建模型，首先運(yùn)用卷積神經(jīng)網(wǎng)絡(luò)從高光譜圖像中提取特征，然后通過(guò)余弦相似度評(píng)估超像素級(jí)別和像素級(jí)別的背景與異常目標(biāo)之間的深層特征差異，并據(jù)此進(jìn)行加權(quán)篩選。最終，利用非對(duì)稱解碼器完成背景的重構(gòu)，并依據(jù)重構(gòu)誤差來(lái)實(shí)現(xiàn)高光譜圖像的異常檢測(cè)。然而，該方法進(jìn)行高光譜圖像檢測(cè)時(shí)，其性能依賴于數(shù)據(jù)質(zhì)量和數(shù)量，對(duì)噪聲敏感，容易產(chǎn)生誤報(bào)或漏報(bào)，存在檢測(cè)精度不高的缺點(diǎn)。此外，該方法計(jì)算復(fù)雜度高，處理時(shí)間長(zhǎng)，并且數(shù)據(jù)集稀缺，遷移能力有限，難以適應(yīng)多樣化應(yīng)用場(chǎng)景。

技術(shù)實(shí)現(xiàn)思路

1、基于此，有必要針對(duì)上述問(wèn)題，提供一種可提高檢測(cè)精度的基于孿生網(wǎng)絡(luò)的可遷移高光譜圖像異常檢測(cè)方法、裝置、存儲(chǔ)介質(zhì)和計(jì)算機(jī)設(shè)備。

2、本技術(shù)第一方面提供一種基于孿生網(wǎng)絡(luò)的可遷移高光譜圖像異常檢測(cè)方法，包括：

3、獲取對(duì)帶有異常目標(biāo)的場(chǎng)景拍攝得到的圖像數(shù)據(jù)，并將所述圖像數(shù)據(jù)分為包含多個(gè)類別數(shù)據(jù)的訓(xùn)練集和只包含異常目標(biāo)和背景像素的測(cè)試集；

4、基于所述訓(xùn)練集和所述測(cè)試集，分別利用雙窗口構(gòu)造像素對(duì)，生成對(duì)應(yīng)的訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集；

5、對(duì)所述訓(xùn)練數(shù)據(jù)集進(jìn)行降維處理，融合相鄰波段的信息，并基于降維后的訓(xùn)練數(shù)據(jù)集進(jìn)行cnn網(wǎng)絡(luò)訓(xùn)練，生成孿生網(wǎng)絡(luò)模型；

6、根據(jù)所述測(cè)試數(shù)據(jù)集和所述孿生網(wǎng)絡(luò)模型進(jìn)行模型推理，識(shí)別出異常目標(biāo)。

7、在其中一個(gè)實(shí)施例中，將所述圖像數(shù)據(jù)分為包含多個(gè)類別數(shù)據(jù)的訓(xùn)練集和只包含異常目標(biāo)和背景像素的測(cè)試集，包括：

8、對(duì)所述圖像數(shù)據(jù)進(jìn)行預(yù)處理，然后將預(yù)處理后的數(shù)據(jù)分為包含多個(gè)類別數(shù)據(jù)的訓(xùn)練集，以及只包含異常目標(biāo)和背景像素的測(cè)試集；其中，所述圖像數(shù)據(jù)為通過(guò)nano?hp成像儀在真實(shí)場(chǎng)景中采集帶有異常目標(biāo)的圖像得到，所述預(yù)處理包括輻射校正、大氣校正、去噪、圖像裁剪以及標(biāo)簽化處理。

9、在其中一個(gè)實(shí)施例中，基于所述訓(xùn)練集和所述測(cè)試集，分別利用雙窗口構(gòu)造像素對(duì)，生成對(duì)應(yīng)的訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集，包括：

10、基于所述訓(xùn)練集中的圖像數(shù)據(jù)以及相應(yīng)的類別標(biāo)簽，利用雙窗口的中心點(diǎn)和內(nèi)窗口像素構(gòu)建像素對(duì)，生成對(duì)應(yīng)的訓(xùn)練數(shù)據(jù)集；

11、基于所述測(cè)試集中的圖像數(shù)據(jù)，利用雙窗口的中心點(diǎn)和外窗口像素構(gòu)建像素對(duì)，生成對(duì)應(yīng)的測(cè)試數(shù)據(jù)集。

12、在其中一個(gè)實(shí)施例中，基于所述訓(xùn)練集中的圖像數(shù)據(jù)以及相應(yīng)的類別標(biāo)簽，利用雙窗口的中心點(diǎn)和內(nèi)窗口像素構(gòu)建像素對(duì)，生成對(duì)應(yīng)的訓(xùn)練數(shù)據(jù)集，包括：

13、分別以所述訓(xùn)練集的圖像中各像素為雙窗口的中心點(diǎn)，將雙窗口的中心點(diǎn)與周圍任意一個(gè)內(nèi)窗口像素構(gòu)建像素對(duì)，并對(duì)構(gòu)建的像素對(duì)標(biāo)記表征是否同類別的標(biāo)簽，得到對(duì)應(yīng)的訓(xùn)練數(shù)據(jù)集；所述內(nèi)窗口像素為內(nèi)窗窗口內(nèi)的像素；

14、基于所述測(cè)試集中的圖像數(shù)據(jù)，利用雙窗口的中心點(diǎn)和外窗口像素構(gòu)建像素對(duì)，生成對(duì)應(yīng)的測(cè)試數(shù)據(jù)集，包括：

15、分別以所述測(cè)試集的圖像中各像素為雙窗口的中心點(diǎn)，對(duì)外窗口像素進(jìn)行k-means聚類，將聚類中心點(diǎn)與雙窗口的中心點(diǎn)構(gòu)建像素對(duì)，得到對(duì)應(yīng)的測(cè)試數(shù)據(jù)集；所述外窗口像素為內(nèi)層窗口外，外層窗口內(nèi)的像素。

16、在其中一個(gè)實(shí)施例中，對(duì)所述訓(xùn)練數(shù)據(jù)集進(jìn)行降維處理，融合相鄰波段的信息，并基于降維后的訓(xùn)練數(shù)據(jù)集進(jìn)行cnn網(wǎng)絡(luò)訓(xùn)練，生成孿生網(wǎng)絡(luò)模型，包括：

17、對(duì)所述訓(xùn)練數(shù)據(jù)集中的像素對(duì)按照波段數(shù)進(jìn)行分組，對(duì)同組的像素對(duì)求平均，得到各組降維后的像素對(duì)作為訓(xùn)練數(shù)據(jù)集；

18、將所述訓(xùn)練數(shù)據(jù)集中降維后的像素對(duì)作為模型輸入進(jìn)行cnn網(wǎng)絡(luò)訓(xùn)練，學(xué)習(xí)像素對(duì)之間的差異性，使用auc評(píng)估模型性能并根據(jù)評(píng)估結(jié)果調(diào)整參數(shù)，生成孿生網(wǎng)絡(luò)模型。

19、在其中一個(gè)實(shí)施例中，根據(jù)所述測(cè)試數(shù)據(jù)集和所述孿生網(wǎng)絡(luò)模型進(jìn)行模型推理，識(shí)別出異常目標(biāo)，包括：將所述測(cè)試數(shù)據(jù)集中的像素對(duì)輸入訓(xùn)練好的孿生網(wǎng)絡(luò)模型，進(jìn)行高光譜圖像的異常檢測(cè)，識(shí)別出異常目標(biāo)；使用auc評(píng)估模型是否能準(zhǔn)確的識(shí)別出異常目標(biāo)。

20、在其中一個(gè)實(shí)施例中，所述孿生網(wǎng)絡(luò)模型為ppf-had模型，包括：

21、輸入層：輸入像素對(duì)；

22、特征提取層：包含6個(gè)卷積層，第一、第二卷積層采用卷積核卷積之后得到光譜特征圖，第三、第四、第五卷積層作為降采樣層，將光譜特征圖深度減半，第六卷積層進(jìn)行光譜特征圖通道間的整合，得到像素光譜特征；每層卷積層后都有bn層，并使用leakyrelu作為激活函數(shù)，用于加速隨機(jī)梯度下降算法的收斂速度；

23、單層注意力機(jī)制：在特征提取層之后，通過(guò)自適應(yīng)地調(diào)整不同特征的重要性，從而提高模型對(duì)關(guān)鍵信息的捕捉能力；

24、特征融合層：將兩個(gè)像素對(duì)特征進(jìn)行拼接得到張量，對(duì)張量進(jìn)行二次卷積核卷積得到特征圖；

25、歸一化層：輸出[0，1]范圍內(nèi)的數(shù)值，即為像素對(duì)的差異性分?jǐn)?shù)。

26、本技術(shù)第二方面提供一種基于孿生網(wǎng)絡(luò)的可遷移高光譜圖像異常檢測(cè)裝置，包括：

27、數(shù)據(jù)獲取模塊，用于獲取對(duì)帶有異常目標(biāo)的場(chǎng)景拍攝得到的圖像數(shù)據(jù)，并將所述圖像數(shù)據(jù)分為包含多個(gè)類別數(shù)據(jù)的訓(xùn)練集和只包含異常目標(biāo)和背景像素的測(cè)試集；

28、數(shù)據(jù)處理模塊，用于基于所述訓(xùn)練集和所述測(cè)試集，分別利用雙窗口構(gòu)造像素對(duì)，生成對(duì)應(yīng)的訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集；

29、模型訓(xùn)練模塊，用于對(duì)所述訓(xùn)練數(shù)據(jù)集進(jìn)行降維處理，融合相鄰波段的信息，并基于降維后的訓(xùn)練數(shù)據(jù)集進(jìn)行cnn網(wǎng)絡(luò)訓(xùn)練，生成孿生網(wǎng)絡(luò)模型；

30、模型推理模塊，用于根據(jù)所述測(cè)試數(shù)據(jù)集和所述孿生網(wǎng)絡(luò)模型進(jìn)行模型推理，識(shí)別出異常目標(biāo)。

31、本技術(shù)第三方面提供一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)上述的方法的步驟。

32、本技術(shù)第四方面提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述的方法的步驟。

33、上述基于孿生網(wǎng)絡(luò)的可遷移高光譜圖像異常檢測(cè)方法、裝置、存儲(chǔ)介質(zhì)和計(jì)算機(jī)設(shè)備，將對(duì)帶有異常目標(biāo)的場(chǎng)景拍攝得到的圖像數(shù)據(jù)分為包含多個(gè)類別數(shù)據(jù)的訓(xùn)練集和只包含異常目標(biāo)和背景像素的測(cè)試集，然后分別利用雙窗口構(gòu)造像素對(duì)，生成對(duì)應(yīng)的訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集。對(duì)訓(xùn)練數(shù)據(jù)集進(jìn)行降維處理，融合相鄰波段的信息，并基于降維后的訓(xùn)練數(shù)據(jù)集進(jìn)行cnn網(wǎng)絡(luò)訓(xùn)練，生成孿生網(wǎng)絡(luò)模型，根據(jù)測(cè)試數(shù)據(jù)集對(duì)孿生網(wǎng)絡(luò)模型進(jìn)行模型推理，得到完成評(píng)估的孿生網(wǎng)絡(luò)模型，對(duì)待測(cè)高光譜圖像利用雙窗口構(gòu)造像素對(duì)，并導(dǎo)入完成評(píng)估的孿生網(wǎng)絡(luò)模型進(jìn)行異常檢測(cè)。采用內(nèi)外窗的思想豐富訓(xùn)練樣本，使得神經(jīng)網(wǎng)絡(luò)能夠較好的發(fā)揮強(qiáng)大的提取特征的能力，通過(guò)融合相鄰波段的信息來(lái)降低數(shù)據(jù)維度，不僅可以有效的提高異常檢測(cè)的效率，同時(shí)又可以保證異常檢測(cè)的精度，最后基于降維后的訓(xùn)練數(shù)據(jù)集進(jìn)行cnn網(wǎng)絡(luò)訓(xùn)練，生成孿生網(wǎng)絡(luò)模型并結(jié)合測(cè)試數(shù)據(jù)集進(jìn)行模型推理，識(shí)別出異常目標(biāo)，利用像素對(duì)的策略識(shí)別出異常點(diǎn)，有效提高了檢測(cè)精度。而且采用內(nèi)外窗的思想豐富訓(xùn)練樣本，然后融合相鄰波段的信息進(jìn)行cnn網(wǎng)絡(luò)訓(xùn)練，可以減少處理時(shí)間，提升遷移能力，能適應(yīng)多樣化應(yīng)用場(chǎng)景。