科研動(dòng)態(tài)
基于類(lèi)別響應(yīng)圖和局部分級(jí)的人群密度估計(jì)
原文題目: Crowd density estimation based on classification activation map and patch density level
發(fā)表期刊：Neural Computing and Applications, 2020 (JCR Q1)
原文DOI：https://doi.org/10.1007/s00521-018-3954-7
作者列表
1) 朱麗萍 中國(guó)石油大學(xué)（北京） 信息科學(xué)與工程學(xué)院
2) 李承陽(yáng) 中國(guó)石油大學(xué)（北京） 信息科學(xué)與工程學(xué)院 計(jì)算機(jī)科學(xué)與技術(shù)系 研17-2
3) 楊中國(guó) 北方工業(yè)大學(xué) 信息學(xué)院
4) 袁 昆 渥太華大學(xué) 計(jì)算機(jī)科學(xué)系
5) 王 尚 中國(guó)石油大學(xué)（北京） 信息科學(xué)與工程學(xué)院 計(jì)算機(jī)科學(xué)與技術(shù)系 研16
背景與動(dòng)機(jī)
監(jiān)控?cái)z像機(jī)與監(jiān)控場(chǎng)景中的水平面有一定的傾角。由于透視效果，拍攝的圖像具有以下現(xiàn)象：（1）如圖1所示，形成“距離小，附近大”的效果。到攝像機(jī)的距離與占據(jù)圖像的人像素成反比；（2）聚集了遠(yuǎn)處的人群，導(dǎo)致集中精神。這個(gè)會(huì)增加人群密度估計(jì)的難度?，F(xiàn)有的算法主要是基于檢測(cè)和回歸的方法來(lái)解決上述問(wèn)題，但在精度上并不令人滿(mǎn)意。由于人像點(diǎn)少、遮擋嚴(yán)重，檢測(cè)器在稀疏的街道場(chǎng)景中的性能較差。（3） 現(xiàn)有的基于回歸的質(zhì)量密度估計(jì)算法在20-50人的場(chǎng)景中是不準(zhǔn)確的。在電梯、街道、天橋等真實(shí)場(chǎng)景中，必須掌握人群密度。它能及時(shí)提供人群分布和異常人群流動(dòng)信息。總之，稀疏場(chǎng)景下的人群密度估計(jì)是一個(gè)熱點(diǎn)和難點(diǎn)問(wèn)題。
設(shè)計(jì)與實(shí)現(xiàn)
在本文中，我們的目標(biāo)是在任意的攝像機(jī)視角和人群密度下，對(duì)任意的圖像進(jìn)行精確的人群計(jì)數(shù)。為了克服上述挑戰(zhàn)，我們提出了一種帶有行人類(lèi)別響應(yīng)激活圖（CAM）的塊尺度判別回歸網(wǎng)絡(luò)（PSDR），如下圖所示。
首先，基于分治思想，我們提出了一個(gè)稱(chēng)為塊尺度判別回歸網(wǎng)絡(luò)（PSDR）的網(wǎng)絡(luò)。PSDR將整個(gè)圖像作為輸入，輸出一個(gè)密度圖，密度圖的像素值總和為總體的人群計(jì)數(shù)。在設(shè)計(jì)密度等級(jí)時(shí)，我們使用最接近實(shí)際情況的密度分類(lèi)策略。這里模型采用基礎(chǔ)的VGG16網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)。實(shí)驗(yàn)結(jié)果表明，采用圖像塊進(jìn)行尺度分割比整體分割效果好。
其次，我們提出了一種行人類(lèi)別響應(yīng)激活圖（CAM）方法來(lái)改進(jìn)整個(gè)密度圖的預(yù)測(cè)。其原因是由于圖像的片分割，使得圖像斑片邊緣的人頭信息丟失。因此，我們將person CAM添加到我們的模型中。人攝像頭使模型聚焦于人的頭部區(qū)域。實(shí)驗(yàn)證明，行人類(lèi)別響應(yīng)激活圖可以提高PSDR的性能。
整體的模型訓(xùn)練方法如下圖所示：
本文在ShanghaiTech數(shù)據(jù)集、SmartCity數(shù)據(jù)集、UCF_CC_50數(shù)據(jù)集和UCSD數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，均達(dá)到了SOTA水平。本文模型在不同規(guī)模的人群圖片上的實(shí)驗(yàn)結(jié)果如下圖所示：
關(guān)于作者
朱麗萍：博士，計(jì)算機(jī)系副教授，碩士生導(dǎo)師。目前主要研究方向是大數(shù)據(jù)和數(shù)據(jù)挖掘方向，尤其關(guān)注深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)方向上的應(yīng)用，已發(fā)表論文多篇高水平論文。聯(lián)系方式：[email protected]