科研動(dòng)態(tài)
基于超圖特征增強(qiáng)與自適應(yīng)邏輯調(diào)整的長(zhǎng)尾圖像識(shí)別算法
中文題目：基于超圖特征增強(qiáng)與自適應(yīng)邏輯調(diào)整的長(zhǎng)尾圖像識(shí)別算法
論文題目：Dual-branch Network with Hypergraph Feature Augmentation and Adaptive Logits Adjustment for Long-tailed Visual Recognition
錄用期刊/會(huì)議：Applied Soft Computing （中科院一區(qū)、TOP期刊）
錄用時(shí)間：2024.10.10
作者列表：
1) 韓佳藝 中國(guó)石油大學(xué)（北京）人工智能學(xué)院 控制科學(xué)與工程 博22級(jí)
2) 劉建偉 中國(guó)石油大學(xué)（北京）人工智能學(xué)院 自動(dòng)化系 教師
3) 徐璟東 中國(guó)石油大學(xué)（北京）人工智能學(xué)院 控制科學(xué)與工程 碩22級(jí)
摘要:
本文提出了一種基于解耦學(xué)習(xí)框架的超圖特征增強(qiáng)和自適應(yīng)邏輯調(diào)整的長(zhǎng)尾視覺(jué)識(shí)別（HALR）算法。對(duì)于表征學(xué)習(xí)任務(wù)，我們從混合輸入樣本中提取超圖特征，以捕獲圖像的全局空間上下文語(yǔ)義信息。對(duì)于分類(lèi)器學(xué)習(xí)任務(wù)，我們提出了一個(gè)自適應(yīng)邏輯調(diào)整函數(shù)，該函數(shù)自動(dòng)糾正預(yù)測(cè)分?jǐn)?shù)偏差，從而產(chǎn)生魯棒決策邊界。
背景與動(dòng)機(jī):
長(zhǎng)尾分布存在數(shù)據(jù)稀缺性和顯著的類(lèi)不平衡問(wèn)題，導(dǎo)致模型對(duì)頭類(lèi)的預(yù)測(cè)傾向增加，對(duì)尾類(lèi)的預(yù)測(cè)性能降低。傳統(tǒng)的長(zhǎng)尾學(xué)習(xí)方法可以緩解尾類(lèi)的信息缺失問(wèn)題。然而，這些方法沒(méi)有充分利用圖像中包含的復(fù)雜非線(xiàn)性高階關(guān)系以及頭尾類(lèi)之間的交互信息。在尾類(lèi)數(shù)據(jù)稀缺的情況下，如何充分利用有限樣本中的隱含信息是一個(gè)亟待解決的問(wèn)題。
針對(duì)這些問(wèn)題，我們提出了一種基于超圖特征增強(qiáng)和自適應(yīng)邏輯調(diào)整的長(zhǎng)尾雙分支模型。超圖特征增強(qiáng)策略?xún)?yōu)化潛在特征表示，邏輯調(diào)整函數(shù)自動(dòng)校準(zhǔn)模型置信度偏差。我們的HALR同時(shí)改進(jìn)了解耦長(zhǎng)尾學(xué)習(xí)的表征學(xué)習(xí)和分類(lèi)器學(xué)習(xí)任務(wù)。此外，我們采用余弦相似度度量學(xué)習(xí)方法來(lái)約束全局和局部混合一致性。在四個(gè)基準(zhǔn)數(shù)據(jù)集的大量實(shí)驗(yàn)證實(shí)了我們提出的模型的有效性。
主要內(nèi)容:
圖1 HALR流程圖
超圖是一種通用的圖結(jié)構(gòu)方法，能夠更準(zhǔn)確地表示多個(gè)相關(guān)對(duì)象之間的關(guān)系。因此，利用超圖挖掘圖像特征中的結(jié)構(gòu)信息，從全局的角度學(xué)習(xí)圖像的空間上下文語(yǔ)義信息。超圖卷積定義為：
我們利用超圖卷積捕捉圖像中隱含的語(yǔ)義信息，并將提取到的超圖增強(qiáng)特征為：
與原特征融合后的最終輸出特征為：
面對(duì)模型分類(lèi)偏差的問(wèn)題，大多數(shù)解耦學(xué)習(xí)方法依賴(lài)于數(shù)據(jù)集中預(yù)先存在的分布假設(shè)，并手動(dòng)設(shè)置靜態(tài)參數(shù)進(jìn)行重采樣或重加權(quán)。然而，這種人工參數(shù)設(shè)置需要廣泛的專(zhuān)家知識(shí)，配置不當(dāng)會(huì)嚴(yán)重影響學(xué)習(xí)算法的泛化能力。為此，我們提出一種自適應(yīng)邏輯調(diào)整函數(shù)，以提高模型的適應(yīng)性和泛化能力。該方法動(dòng)態(tài)關(guān)注每個(gè)輸入樣本，根據(jù)數(shù)據(jù)集的實(shí)際分布和樣本本身的難度自動(dòng)修正兩個(gè)分支的logits輸出，表示為：
實(shí)驗(yàn)結(jié)果與分析:
我們?cè)谒膫€(gè)廣泛使用的長(zhǎng)尾數(shù)據(jù)集上評(píng)估了我們提出的HALR的性能：CIFAR10-LT， CIFAR100-LT， ImageNet-LT和iNaturalist2018。
圖 2 數(shù)據(jù)集示意圖
部分實(shí)驗(yàn)結(jié)果如表所示，我們?cè)诟鱾€(gè)數(shù)據(jù)集上，展現(xiàn)了出色的競(jìng)爭(zhēng)力：
結(jié)論:
本文旨在解決長(zhǎng)尾視覺(jué)識(shí)別任務(wù)中數(shù)據(jù)信息挖掘不足和模型置信度偏差的問(wèn)題，提出了一種超圖特征增強(qiáng)和自適應(yīng)邏輯調(diào)整的雙分支網(wǎng)絡(luò)，有效提升了模型的性能。超圖特征增強(qiáng)方法將視覺(jué)長(zhǎng)尾學(xué)習(xí)從傳統(tǒng)的歐氏空間擴(kuò)展到非歐氏空間。使用超圖特征作為輔助知識(shí)，有助于模型挖掘圖像中隱含的上下文空間語(yǔ)義信息。實(shí)驗(yàn)表明，該方法在面對(duì)有限樣本時(shí)增強(qiáng)了模型對(duì)尾部類(lèi)的理解。自適應(yīng)logits調(diào)節(jié)函數(shù)為模型提供了動(dòng)態(tài)校準(zhǔn)置信度的能力，從而緩解頭類(lèi)偏好問(wèn)題，靈活地修正分類(lèi)偏差。在CIFAR10/100-LT等4個(gè)基準(zhǔn)數(shù)據(jù)集上的廣泛實(shí)驗(yàn)驗(yàn)證了HALR顯著提高了長(zhǎng)尾圖像分類(lèi)性能，特別是在解決尾類(lèi)樣本稀缺問(wèn)題方面表現(xiàn)出巨大潛力。在不平衡因子為10和100的CIFAR100數(shù)據(jù)集上，HALR分別取得了88.25%和58.27%的最佳top-1測(cè)試精度。
作者簡(jiǎn)介:
劉建偉，教師，學(xué)者。發(fā)表學(xué)術(shù)研究論文280多篇。研究領(lǐng)域涉及在線(xiàn)學(xué)習(xí)（包括強(qiáng)化學(xué)習(xí)，賭博機(jī)算法，持續(xù)學(xué)習(xí)，長(zhǎng)尾學(xué)習(xí)）；圖像視頻顯著性目標(biāo)檢測(cè)，解糾纏表示學(xué)習(xí)，光場(chǎng)和神經(jīng)場(chǎng)模型，以及圖像視頻少樣本變化檢測(cè)；自然語(yǔ)言理解中的知識(shí)補(bǔ)全，圖神經(jīng)網(wǎng)絡(luò)；不平衡數(shù)據(jù)處理；霍克斯點(diǎn)過(guò)程故障預(yù)測(cè)與診斷；非線(xiàn)性預(yù)測(cè)與控制。 是兵器裝備工程學(xué)報(bào)第三屆編輯委員會(huì)委員。歷屆中國(guó)控制會(huì)議(CCC)和中國(guó)控制與決策會(huì)議(CCDC)的程序委員會(huì)委員。擔(dān)任過(guò)80多個(gè)國(guó)際會(huì)議的TPC。