導(dǎo)讀:近年來,對于跨攝像頭、跨空間的目標人物檢索,行人重識別技術(shù)Re-ID正作為新興研究方向受到越來越多的關(guān)注。
圖片來自“Unsplash”
當前階段,標準場景下的人臉識別已經(jīng)能夠?qū)崿F(xiàn)非常成熟地應(yīng)用,但在一些非標場景,人臉的應(yīng)用效果仍有待提升。由于人臉信息相對單一且容易受到外界環(huán)境干擾影響識別結(jié)果,因此,近年來,對于跨攝像頭、跨空間的目標人物檢索,行人重識別技術(shù)Re-ID正作為新興研究方向受到越來越多的關(guān)注。
行人重識別(Person Re-Identification,簡稱 Re-ID)也稱為跨鏡追蹤技術(shù),是利用計算機視覺技術(shù)判斷圖像或者視頻序列中是否存在特定行人的技術(shù),指通過穿著、體態(tài)、發(fā)型等在不確定的場景中能夠再次識別是同一個人,并以此描繪出個體行進軌跡的AI視覺技術(shù),簡而言之,就是通過計算機視覺技術(shù)檢索不同攝像頭下的同一個目標人物。
Re-ID不同于人臉識別,人臉識別是用來認證一個人的身份,而Re-ID是將同一個人在不同攝像設(shè)備下的影像匹配起來,生成跨攝像頭時空軌跡。典型的基于行人ReID的應(yīng)用是以圖搜圖。
這幾年來隨著行人重識別技術(shù)在公安、交通、零售等行業(yè)領(lǐng)域的需求的日趨廣泛,不少廠商也陸續(xù)發(fā)布了在相關(guān)數(shù)據(jù)集測試的結(jié)果以此來彰顯企業(yè)在Re-ID技術(shù)研究方面的成果。其中Market 1501、DukeMTMC-reID、CUHK03這三個衡量Re-ID技術(shù)的數(shù)據(jù)集測試也是業(yè)內(nèi)最常用的行人重識別權(quán)威數(shù)據(jù)集測試。在Re-ID技術(shù)研究領(lǐng)域,首位命中率(Rank-1Accuracy)和平均精度均值(Mean Average Precision,mAP)是衡量算法水平的核心指標。
安防知識網(wǎng)編輯梳理了近兩年來國內(nèi)部分企業(yè)在三大公開數(shù)據(jù)集的測試結(jié)果,如下圖所示,在算法技術(shù)不斷迭代之下,以Market 1501數(shù)據(jù)集為例,首位命中率和平均精度均值都陸續(xù)超越了97%、94%的水平值,推動著行人重識別算法水平迎來新的突破。 近兩年國內(nèi)部分企業(yè)在三大公開數(shù)據(jù)集上的測試結(jié)果
而除了智能安防和人工智能領(lǐng)域的部分企業(yè)之外,阿里和騰訊優(yōu)圖的刷榜也讓業(yè)界更多的注意到了Re-ID這項技術(shù),為后續(xù)這項技術(shù)的商用化落地鋪墊了前期基礎(chǔ)。
行人重識別Re-ID技術(shù)研究幾大現(xiàn)實難點:
現(xiàn)階段,Re-ID的技術(shù)研究仍然面臨著很多現(xiàn)實問題和技術(shù)難點,這些問題主要包括數(shù)據(jù)獲取難度大、算法訓(xùn)練難度高以及一些實用角度的投入產(chǎn)出比問題。
數(shù)據(jù)獲取難度大:相比于人臉數(shù)據(jù),Re-ID中行人數(shù)據(jù)嚴重稀缺,行人最主流的數(shù)據(jù)集(Market1501)才1000-3000個行人ID,而人臉的公開數(shù)據(jù)集ID規(guī)模已超100萬,企業(yè)私有的ID規(guī)模可能更大。造成這一現(xiàn)象的主要原因是由于行人數(shù)據(jù)集需要采集自同一個人在一段時間內(nèi)同時出現(xiàn)在多個攝像頭下,這樣嚴苛條件限制了行人數(shù)據(jù)集的構(gòu)建。正因為數(shù)據(jù)的缺失,對跨鏡追蹤技術(shù)的算法研究提出了更高的要求。
算法訓(xùn)練難度高:數(shù)據(jù)的稀缺本身就是一個大問題,在這個基礎(chǔ)之上,現(xiàn)有的視頻監(jiān)控由于受成像質(zhì)量、分辨率等因素的制約,還會導(dǎo)致抓取的圖像信息模糊不清。當然還有相機拍攝角度差異大、室內(nèi)室外環(huán)境變化、行人服裝配飾更換、季節(jié)性穿衣風(fēng)格差別大、白天晚上光線差異等等因素的影響,讓跨攝像頭、跨地區(qū)、跨時間的Re-ID分析變得更加困難,要解決的實際問題非常復(fù)雜。除此之外,在很多安防系統(tǒng)中,視頻監(jiān)控探頭的碼流帶寬以及攝像頭部署的密度也都會限制Re-ID算法準確度的提升。
同時,用戶對于投入產(chǎn)出比的顧慮也比較大。要在產(chǎn)品上應(yīng)用、在項目中落地、只提高幾個百分點的準確度,而計算量和內(nèi)存開銷、存儲開銷嚴重增加,客戶肯定不愿意買單。在準確度不完美的情況下,把技術(shù)應(yīng)用到產(chǎn)品上,就要花很多功夫做應(yīng)用創(chuàng)新,比如計算速度和內(nèi)存開銷。
針對上述提到的數(shù)據(jù)采集和算法訓(xùn)練的相關(guān)問題,目前業(yè)內(nèi)部分企業(yè)已經(jīng)相繼推出了一些技術(shù)突破手段:
阿里:通過局部信息的挖掘,專注于解決行人在識別過程中表觀姿態(tài)變化劇烈,不容易對齊的問題。一方面,通過人體得到具有強語義信息的部件,并利用在其中尋找最具有區(qū)分性的區(qū)域。另一方面,使用了基于金字塔的水平分塊策略,得到行人固定區(qū)域的可辨識信息。在訓(xùn)練中,同時采用兩種策略相結(jié)合的方式,達到行人圖片的對齊,從而實現(xiàn)更精準的匹配識別。
中興通訊:創(chuàng)新性地提出多模塊多粒度聯(lián)合的特征提取網(wǎng)絡(luò),有效的解決了因攝像機拍攝角度、色差、光照強度等引起的側(cè)臉、遮擋及缺失等復(fù)雜情況,顯著提升了網(wǎng)絡(luò)特征匹配性能。
澎思科技: 用全局特征來度量每一幀圖片的權(quán)重往往會損失掉許多重要的信息。采用分割重組策略將特定局部特征重組成多個視頻序列進行學(xué)習(xí),進而極大減少局部特征損失對最終特征的影響;其次,提出了全新的雙向圖注意力機制模塊。將圖卷積神經(jīng)網(wǎng)絡(luò)和SENet完美結(jié)合,在整個序列上進行通道域的模式選擇學(xué)習(xí)。同時通過雙向網(wǎng)絡(luò)進行空間域的注意力區(qū)域?qū)W習(xí)。由于圖卷積網(wǎng)絡(luò)的特性,每一幀圖片的注意力特征都是與其他幀相互學(xué)習(xí)結(jié)合的結(jié)果,從而極大提高特征的代表性;最終,利用幀間相似度進行序列融合,這樣,數(shù)據(jù)的類內(nèi)相似度得到了極大的提高。在結(jié)合三元損失函數(shù)進行訓(xùn)練后,類間相似度得到了降低,進而提高重識別效果。
大華股份:應(yīng)用圖像數(shù)據(jù)增強方法,其主要包括隨機模糊和隨機截補等策略,能夠有效地模擬各種環(huán)境下的人體遮擋、模糊和不完整等復(fù)雜情況;其次,針對多分支部件網(wǎng)絡(luò)中特征粒度差異問題,采用一種遞進式部件網(wǎng)絡(luò)模型PPM(Progressive Part Model),各分支之間除了共享的基礎(chǔ)卷積網(wǎng)絡(luò)部分,還存在一種級聯(lián)的語義關(guān)系;最后,在設(shè)計的PPM網(wǎng)絡(luò)中,通過重疊采樣操作促進各部件分支提取更顯著的特征信息,應(yīng)用改進的損失函數(shù)學(xué)習(xí)出基于球面約束的特征嵌入空間。
千視通:基于多年實戰(zhàn)經(jīng)驗,提出一種卡視聯(lián)動技戰(zhàn)法,結(jié)合人臉識別和跨鏡追蹤(Re-ID)各自的特點及優(yōu)勢,以少量的人臉卡口加大量的普通監(jiān)控探頭的部署,既可鎖定嫌疑人身份,又能重現(xiàn)嫌疑人軌跡,這種創(chuàng)新的綜合型技戰(zhàn)法可以較大概率對監(jiān)控范圍進行覆蓋,具有極強的實戰(zhàn)價值。
奇點云:重點攻克行人重識別算法的兩項核心技術(shù):基于分塊的隨機丟棄利用率較低的子空間特征增強attention機制,多種loss融合提高精確度,使得原先Re-ID93%的準確率得到提升。
騰訊優(yōu)圖:多任務(wù)框架的交替訓(xùn)練、基于分塊的金字塔模型。通過這兩項核心技術(shù)的成功應(yīng)用,騰訊優(yōu)圖在三個主流數(shù)據(jù)庫上都獲得了相對原始基線模型至少6.34%的指標提升。
云從科技:全局特征跟多粒度局部特征結(jié)合,既抓大一統(tǒng)特征,也抓細節(jié),如衣服LOGO 、背包掛飾等,增加檢索識別的特征元素,提升準確性。
可以說,Re-ID行人重識別技術(shù)將人工智能的認知水平從“識臉”提升到了“識人”的新階段,在跨空間、時間、地域的人物目標檢索應(yīng)用場景之下,可以發(fā)揮比人臉識別更重要的作用。
比如,走失人員尋回、嫌犯追蹤等典型的AI尋人的應(yīng)用。另一個比較典型的應(yīng)用場景在于商超場所的客流熱力圖統(tǒng)計,通過實時動態(tài)跟蹤用戶軌跡(隱私保護前提之下)來助力商場完善店鋪陳列和購物體驗。而隨著相關(guān)技術(shù)的日趨成熟,相信未來Re-ID技術(shù)將改善更多場景下傳統(tǒng)的“找人"”尋物“模式,帶來作業(yè)效率的顯著提升。