Abstract:視覺跟蹤技術(shù)是計(jì)算機(jī)視覺領(lǐng)域的一個(gè)重要課題，有著重要的研究意義在軍事制導(dǎo)，視頻監(jiān)控，機(jī)器人視覺導(dǎo)航，人機(jī)交互，以及醫(yī)療診斷等許多方面有著廣泛的應(yīng)用前景伴隨著研究人員不斷地深入研究，視覺目標(biāo)跟蹤在近十幾年里有了突破性的進(jìn)展，使得視覺跟蹤算法不僅僅局限于傳統(tǒng)的機(jī)器學(xué)習(xí)方法，更是結(jié)合了近些年人工智能熱潮mdash，深度學(xué)習(xí)和相關(guān)濾波器等方法本文主要介紹以下幾點(diǎn):什么是視覺目標(biāo)跟蹤，單目標(biāo)跟蹤的基本結(jié)構(gòu)，目標(biāo)跟蹤存在的挑戰(zhàn)，目標(biāo)跟蹤經(jīng)典相關(guān)方法及研究趨勢(shì)等

01單目標(biāo)跟蹤任務(wù)簡(jiǎn)介

目標(biāo)跟蹤是計(jì)算機(jī)視覺領(lǐng)域的一個(gè)重要問題，目前廣泛應(yīng)用在體育賽事轉(zhuǎn)播，安防監(jiān)控和無人機(jī)，無人車，機(jī)器人等領(lǐng)域下面是一些應(yīng)用的例子

車輛跟蹤

足球比賽

田徑比賽

視覺目標(biāo)跟蹤是指對(duì)圖像序列中的運(yùn)動(dòng)目標(biāo)進(jìn)行檢測(cè)，提取，識(shí)別和跟蹤，獲得運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)參數(shù)，如位置，速度，加速度和運(yùn)動(dòng)軌跡等，從而進(jìn)行下一步的處理與分析，實(shí)現(xiàn)對(duì)運(yùn)動(dòng)目標(biāo)的行為理解，以完成更高一級(jí)的檢測(cè)任務(wù)。

其具體任務(wù)即根據(jù)所跟蹤的視頻序列給定初始幀的目標(biāo)狀態(tài)，預(yù)測(cè)后續(xù)幀中該目標(biāo)狀態(tài)?；窘Y(jié)構(gòu)如下:

基本流程:輸入初始幀并指定期望跟蹤的目標(biāo)，通常用矩形框標(biāo)定，在下一幀中產(chǎn)生眾多候選框并提取這些候選框的特征，觀測(cè)模型對(duì)這些候選框評(píng)分最后在這些評(píng)分中找一個(gè)得分最高的候選框作為預(yù)測(cè)的目標(biāo)，或者對(duì)多個(gè)預(yù)測(cè)值進(jìn)行融合得到更優(yōu)的預(yù)測(cè)目標(biāo)至此算法完成了根據(jù)第一幀的信息對(duì)第二幀的預(yù)測(cè)，后續(xù)幀以此類推，同時(shí)根據(jù)指定規(guī)則更新模型

根據(jù)如上的框架，將目標(biāo)跟蹤劃分為五項(xiàng)主要的研究?jī)?nèi)容，流程圖下圖所示:

流程圖

運(yùn)動(dòng)模型:如何產(chǎn)生眾多的候選樣本特征提取:利用何種特征表示目標(biāo)觀測(cè)模型:如何對(duì)眾多候選樣本評(píng)分模型更新:如何更新觀測(cè)模型使其適應(yīng)目標(biāo)的變化集成方法:如何融合多個(gè)決策獲得一個(gè)更有的決策結(jié)構(gòu)

下圖的總結(jié)可以幫助更好的理解目標(biāo)跟蹤算法是如何完成跟蹤任務(wù)的。

跟蹤任務(wù)流程

02目標(biāo)跟蹤算法分類

大多數(shù)的跟蹤方法主要集中對(duì)觀測(cè)模型的設(shè)計(jì)，根據(jù)觀測(cè)模型的不同可分為兩類:生成式模型和判別式模型。

生成式模型:通過提取目標(biāo)特征來構(gòu)建表觀模型，然后在圖像中搜索與模型最匹配的區(qū)域作為跟蹤結(jié)果不論采用全局特征還是局部特征，生成式模型的本質(zhì)是在目標(biāo)表示的高維空間中，找到與目標(biāo)模型最相鄰的候選目標(biāo)作為當(dāng)前估計(jì)此類方法的缺陷在于只關(guān)注目標(biāo)信息，而忽略了背景信息，在目標(biāo)外觀發(fā)生劇烈變化或者遮擋時(shí)候容易出現(xiàn)目標(biāo)漂移或者目標(biāo)丟失

舉例:跟蹤器從當(dāng)前幀知道了目標(biāo)區(qū)域80%是紅色，20%是綠色，在下一幀中搜索算法回去找最符合這個(gè)顏色比例的區(qū)域。

生成式算法框架

判別式方法:將目標(biāo)跟蹤看做是一個(gè)二元分類問題，通過訓(xùn)練關(guān)于目標(biāo)和背景的分類器將目標(biāo)從背景中分離出來，從候選目標(biāo)中確定目標(biāo)，該方法可以顯著的區(qū)分背景和目標(biāo)，性能魯棒，漸漸成為目標(biāo)跟蹤領(lǐng)域主流方法且目前大多數(shù)基于深度學(xué)習(xí)的目標(biāo)跟蹤算法也屬于判別式方法

舉例:在訓(xùn)練時(shí)告訴跟蹤器，目標(biāo)80%是紅色，20%是綠色，同時(shí)背景中有桔紅色，要格外注意，這樣分類器知道更多信息，效果也相對(duì)較好。

判別式算法框架

03目標(biāo)跟蹤任務(wù)的困難和挑戰(zhàn)

雖然目標(biāo)追蹤的應(yīng)用前景非常廣泛，但還是有一些問題限制了它的應(yīng)用，主要問題例舉如下:

形態(tài)變化— 姿態(tài)變化是目標(biāo)跟蹤中常見的干擾問題運(yùn)動(dòng)目標(biāo)發(fā)生姿態(tài)變化時(shí)， 會(huì)導(dǎo)致它的特征以及外觀模型發(fā)生改變， 容易導(dǎo)致跟蹤失敗例如:體育比賽中的運(yùn)動(dòng)員，馬路上的行人尺度變化— 尺度的自適應(yīng)也是目標(biāo)跟蹤中的關(guān)鍵問題當(dāng)目標(biāo)尺度縮小時(shí)， 由于跟蹤框不能自適應(yīng)跟蹤， 會(huì)將很多背景信息包含在內(nèi)， 導(dǎo)致目標(biāo)模型的更新錯(cuò)誤:當(dāng)目標(biāo)尺度增大時(shí)， 由于跟蹤框不能將目標(biāo)完全包括在內(nèi)， 跟蹤框內(nèi)目標(biāo)信息不全， 也會(huì)導(dǎo)致目標(biāo)模型的更新錯(cuò)誤因此， 實(shí)現(xiàn)尺度自適應(yīng)跟蹤是十分必要的遮擋與消失— 目標(biāo)在運(yùn)動(dòng)過程中可能出現(xiàn)被遮擋或者短暫的消失情況當(dāng)這種情況發(fā)生時(shí)， 跟蹤框容易將遮擋物以及背景信息包含在跟蹤框內(nèi)， 會(huì)導(dǎo)致后續(xù)幀中的跟蹤目標(biāo)漂移到遮擋物上面若目標(biāo)被完全遮擋時(shí)， 由于找不到目標(biāo)的對(duì)應(yīng)模型， 會(huì)導(dǎo)致跟蹤失敗圖像模糊— 光照強(qiáng)度變化， 目標(biāo)快速運(yùn)動(dòng)， 低分辨率等情況會(huì)導(dǎo)致目標(biāo)模糊， 尤其是在運(yùn)動(dòng)目標(biāo)與背景相似的情況下更為明顯因此， 選擇有效的特征對(duì)目標(biāo)和背景進(jìn)行區(qū)分非常必要

下圖是上述問題的一些實(shí)例。

目標(biāo)跟蹤任務(wù)中的困難與挑戰(zhàn)

如上圖所示，目標(biāo)跟蹤任務(wù)中的困難和挑戰(zhàn)包括:

1.形變，2.光照變化，3.相似干擾，4.運(yùn)動(dòng)模糊，5.背景干擾，6.遮擋，7.超出畫面，8.尺度變化，9.平面外宣傳，10.平面內(nèi)旋轉(zhuǎn)，11.背景相似

04目標(biāo)跟蹤的數(shù)據(jù)庫

嚴(yán)謹(jǐn)?shù)臄?shù)據(jù)集是驅(qū)動(dòng)算法的關(guān)鍵，前幾年目標(biāo)跟蹤方向的數(shù)據(jù)庫資源相對(duì)匱乏，這也是目標(biāo)跟蹤的發(fā)展相對(duì)落后于目標(biāo)檢測(cè)的重要原因之一下面簡(jiǎn)要介紹了兩個(gè)權(quán)威的目標(biāo)跟蹤方向的數(shù)據(jù)庫

OTB50數(shù)據(jù)集

OTB可以說是做單目標(biāo)跟蹤必跑的數(shù)據(jù)庫了，2013年的OTB50包含50個(gè)人工標(biāo)注的視頻序列由于在此之前目標(biāo)跟蹤方向沒有比較公認(rèn)的數(shù)據(jù)庫，所有的單跟蹤算法沒有一個(gè)統(tǒng)一的衡量，所以這個(gè)數(shù)據(jù)庫的意義非常重大，直接促進(jìn)了單目標(biāo)跟蹤算法的發(fā)展后來又?jǐn)U展為OTB100發(fā)送到TPAMI，有100個(gè)序列，難度更大更加權(quán)威如果想要了解最近幾年來比較厲害的跟蹤算法，可以參考吳毅老師的論文

VOT數(shù)據(jù)庫

05目標(biāo)跟蹤經(jīng)典算法

前幾年最熱門的生成式跟蹤方法是稀疏編碼， 而近來判別式跟蹤方法逐漸占據(jù)了主流地位，以相關(guān)濾波和深度學(xué)習(xí)為代表的判別式方法取得了令人滿意的效果本節(jié)按年份順序?qū)?jīng)典算法進(jìn)行一個(gè)簡(jiǎn)單地梳理，其中各個(gè)算法的年份以論文發(fā)表的年份或者參加benchmark的年份為依據(jù)，幫助理解單目標(biāo)跟蹤算法的演變和發(fā)展趨勢(shì)針對(duì)于不同的跟蹤任務(wù)的挑戰(zhàn)各個(gè)算法所提出的解決思想值得我們學(xué)習(xí)體會(huì)，跟蹤算法的發(fā)展趨勢(shì)可見一斑

1981LK Tracker 1981

LK Tracker應(yīng)該是最早的目標(biāo)跟蹤工作，它使用了光流的概念，如下圖所示，不同顏色表示光流不同的方向，顏色的深淺表示運(yùn)動(dòng)的速度光流的計(jì)算非常簡(jiǎn)單也非?？?，但是它的魯棒性不好，基本上只能對(duì)平移且外觀不變的物體進(jìn)行跟蹤

光流法

2002Mean Shift

Mean Shift采用均值漂移作為搜索策略，這是一種無參概率估計(jì)方法，該方法利用圖像特征直方圖構(gòu)造空間平滑的概率密度函數(shù)，通過沿著概率密度函數(shù)的梯度方向迭代，搜索函數(shù)局部最大值在當(dāng)時(shí)成為了常用的目標(biāo)跟蹤方法，簡(jiǎn)單易實(shí)現(xiàn)，但魯棒性較低

MeanShift算法

2010MOSSE

MOSSE使用相關(guān)濾波來做目標(biāo)跟蹤，其速度能夠達(dá)到600多幀每秒，但是效果一般，主要是因?yàn)樗皇褂昧撕?jiǎn)單的原始像素特征。

大致流程:

再入初始幀的groundtruth對(duì)當(dāng)前目標(biāo)框進(jìn)行隨機(jī)仿射變換生成128個(gè)樣本，每個(gè)樣本經(jīng)過高斯函數(shù)計(jì)算得出響應(yīng)值，最終結(jié)合公式得出濾波器模版根據(jù)模版計(jì)算得出第二幀的響應(yīng)圖，其中響應(yīng)值最大的點(diǎn)為第二幀目標(biāo)的中心點(diǎn)，并以此畫出目標(biāo)框

MOSSE算法

2012CSK

循環(huán)矩陣是一種特殊的矩陣，它的一維形式就是由一個(gè)n維向量每次向右循環(huán)移動(dòng)一個(gè)元素，直到生成一個(gè)ntimes，n的矩陣，具體效果如下圖所示。

循環(huán)矩陣示意圖

2014KCF

CSK的特征輸入是單通道的灰度像素，而KCF利用的是HOG多通道特征，核函數(shù)利用了高斯核函數(shù)。

方向梯度特征效果圖

可以說CSK和KCF的結(jié)合才是完整的核化相關(guān)濾波器的演變趨勢(shì)，既有循環(huán)矩陣及傅立葉對(duì)角化簡(jiǎn)化計(jì)算，又有對(duì)單通道特種應(yīng)用的拓展，可以適應(yīng)更多優(yōu)秀的特征描述。

DSST

2015MDNet

在離線訓(xùn)練時(shí)，特征提取網(wǎng)絡(luò)是共享的，同時(shí)針對(duì)每個(gè)視頻序列構(gòu)建一個(gè)新的檢測(cè)分支進(jìn)行訓(xùn)練這樣特征提取網(wǎng)絡(luò)可以學(xué)習(xí)到通用性更強(qiáng)的與域無關(guān)的特征

在跟蹤時(shí)，保留并固定特征提取網(wǎng)絡(luò)，針對(duì)跟蹤序列構(gòu)建一個(gè)新的分支檢測(cè)部分，用第一幀樣本在線訓(xùn)練檢測(cè)部分之后再利用跟蹤結(jié)果生成正負(fù)樣本來微調(diào)檢測(cè)分支。

此外，MDNet在訓(xùn)練中負(fù)樣本的生成用到了難例挖掘技術(shù)，伴隨著訓(xùn)練的進(jìn)行增大樣本的分類難度，從而使得網(wǎng)絡(luò)的判別能力越來越強(qiáng)。

如下圖所示，負(fù)樣本越來越難分。

難例挖掘

SRDCF

邊界效應(yīng)

SRDCE空間正則化

HCF

HCF的主要貢獻(xiàn)是把相關(guān)濾波中的HOG特征換成了深度特征，它使用的是VGG的3，4，5三個(gè)層來提取特征，針對(duì)每層CNN訓(xùn)練一個(gè)過濾器，并且按照從深到淺的順序使用相關(guān)濾波，然后利用深層得到的結(jié)果來引導(dǎo)淺層從而減少搜索空間。

HCF算法提取深度特征

上圖是使用卷積可視化得到的，如圖中所示，在conv3中的特征能夠比較清晰的看到目標(biāo)的輪廓，但是在conv5中已經(jīng)很難看到細(xì)節(jié)所在，但是，在conv5當(dāng)中能夠看到的是，本層特征包含了較多的語義信息，左半部分的高亮區(qū)域就是目標(biāo)位置的所在的大概區(qū)域范圍，所以在高層特征當(dāng)中，能夠很容易的找到目標(biāo)所在的大概區(qū)域范圍，然后逐步使用較低層次的特征對(duì)目標(biāo)進(jìn)行精確定位。

2016Staple

此算法的創(chuàng)新思路簡(jiǎn)單直白，但效果很驚艷。

TCNN

TCNN樹形結(jié)構(gòu)更新示例

siamFC

SiamFC方法的核心思想很簡(jiǎn)單，就是將跟蹤過程規(guī)劃為一個(gè)相似性學(xué)習(xí)問題即學(xué)習(xí)一個(gè)函數(shù) f 來比較樣本圖像 z 和搜索圖像 x 的相似性，如果兩個(gè)圖像相似度越高，則得分越高為了找到在下一幀圖像中目標(biāo)的位置，可以通過測(cè)試所有目標(biāo)可能出現(xiàn)的位置，將相似度最大的位置作為目標(biāo)的預(yù)測(cè)位置

在深度學(xué)習(xí)中處理相似度問題最典型的是采用Siamese架構(gòu)，SiamFC的網(wǎng)絡(luò)結(jié)構(gòu)如下圖:

SiamFC網(wǎng)絡(luò)結(jié)構(gòu)

2017CFNet

2018UPDT

SiamRPN

SiamRPN在SiamFC的基礎(chǔ)上利用了Faster RCNN中的RPN，解決了之前深度學(xué)習(xí)跟蹤算法沒有domain specific以及還需額外的尺度檢測(cè)與在線微調(diào)的問題RPN回歸網(wǎng)絡(luò)的引入，一方面提高了精度，另一方面回歸過程代替多尺度檢測(cè)，使得速度有所提升

SiamRPN網(wǎng)絡(luò)結(jié)構(gòu)

2019SiamRCNN

SiamRCNN發(fā)現(xiàn)重檢測(cè)很容易受到干擾物的影響從而產(chǎn)生模型漂移，從難例挖掘和運(yùn)動(dòng)軌跡動(dòng)態(tài)規(guī)劃兩個(gè)角度入手，設(shè)計(jì)了一個(gè)利用第一幀和前一幀為模板的孿生網(wǎng)絡(luò)檢測(cè)結(jié)構(gòu)，在短時(shí)跟蹤評(píng)價(jià)上效果驚人，在長(zhǎng)時(shí)跟蹤評(píng)價(jià)上也有非常顯著的進(jìn)步。

其中軌跡動(dòng)態(tài)規(guī)劃算法主要思想是通過重新檢測(cè)前一幀中所有的目標(biāo)候選框，并將這些候選框隨時(shí)間分組到短目標(biāo)軌跡中，同時(shí)跟蹤所有潛在的目標(biāo)，包括干擾目標(biāo)然后根據(jù)視頻中所有目標(biāo)對(duì)象和干擾對(duì)象的完整歷史軌跡選擇當(dāng)前最佳對(duì)象

2020RPT框架

RPT算法框架由目標(biāo)狀態(tài)估計(jì)網(wǎng)絡(luò)與在線分類網(wǎng)絡(luò)兩部分組成:

目標(biāo)狀態(tài)估計(jì)網(wǎng)絡(luò)將跟蹤目標(biāo)狀態(tài)表示為特征點(diǎn)集，以提升對(duì)目標(biāo)位姿變化，幾何結(jié)構(gòu)變化的建模能力在視覺目標(biāo)跟蹤任務(wù)中，為了方便真值標(biāo)注與特征提取，目標(biāo)狀態(tài)通常用矩形框進(jìn)行表示矩形框一方面是對(duì)目標(biāo)區(qū)域的一種粗略表示，包含多余的背景，另一方面不具備對(duì)目標(biāo)位姿變化，幾何結(jié)構(gòu)變化的建模能力，進(jìn)而限制了回歸精度因此，將跟蹤目標(biāo)表示為一系列特征點(diǎn)，通過監(jiān)督學(xué)習(xí)目標(biāo)區(qū)域內(nèi)的語義關(guān)鍵點(diǎn)與極值點(diǎn)，實(shí)現(xiàn)更精細(xì)的目標(biāo)狀態(tài)估計(jì)

PRT目標(biāo)狀態(tài)估計(jì)網(wǎng)絡(luò)

在線分類網(wǎng)絡(luò)由輕量的兩層全卷積神經(jīng)網(wǎng)絡(luò)構(gòu)成，使得RPT框架具備對(duì)抗周邊相似干擾物的強(qiáng)魯棒性。

RPT在線分類網(wǎng)絡(luò)

06目標(biāo)跟蹤的研究趨勢(shì)

本節(jié)淺析近幾年來目標(biāo)跟蹤領(lǐng)域各種算法主流的研究趨勢(shì)和發(fā)展方向。

a)信息提取深度特征

在現(xiàn)實(shí)場(chǎng)景中，物體是在三維的運(yùn)動(dòng)場(chǎng)中移動(dòng)的而視頻或圖像序列都是二維的信息，這其實(shí)是一些難題的根本原因之一一個(gè)比較極端的例子就是理發(fā)店門前經(jīng)常會(huì)出現(xiàn)的旋轉(zhuǎn)柱，如果單純地從二維角度來看，柱子是向上運(yùn)動(dòng)的，可在實(shí)際的運(yùn)動(dòng)場(chǎng)中柱子是橫向運(yùn)動(dòng)的，觀測(cè)和實(shí)際的運(yùn)動(dòng)方向是完全垂直的

旋轉(zhuǎn)柱效果圖

因此，為了能夠更好地跟蹤目標(biāo)，我們需要提取盡可能好的特征，此外最好能從視頻或圖像序列中學(xué)到更多豐富的信息。北極光創(chuàng)投合伙人黃河表示，據(jù)其不完全統(tǒng)計(jì)，2021年上半年機(jī)器人行業(yè)共有112起融資，融資金額高達(dá)130億元(人民幣，下同)，單筆融資平均值達(dá)到16億元。

時(shí)域和空間域結(jié)合

由于CNN能夠在學(xué)習(xí)的過程中能夠產(chǎn)生對(duì)樣本中各個(gè)區(qū)域有區(qū)分的關(guān)注度，因此可以不考慮邊界效應(yīng)對(duì)邊界效應(yīng)的處理主要是在相關(guān)濾波類等需要循環(huán)移位的算法中出現(xiàn)

事實(shí)上，目標(biāo)跟蹤這一個(gè)任務(wù)本身就在利用時(shí)域信息，因?yàn)轭A(yù)測(cè)下一幀肯定需要上一幀的信息，可是僅僅利用上一幀的信息往往是不夠的，充分的利用時(shí)域信息在正則或者輔助記憶方面都可以取得一定的效果。。

b) 元學(xué)習(xí)

當(dāng)深度特征興起之后，目標(biāo)跟蹤中的許多算法都選擇遷移目標(biāo)分類任務(wù)中的一些預(yù)訓(xùn)練模型來提取特征，這種遷移學(xué)習(xí)其實(shí)就包含了元學(xué)習(xí)的思想例如MDNet將每個(gè)視頻看做一個(gè)域，在測(cè)試時(shí)新建一個(gè)域但同時(shí)保留了之前訓(xùn)練時(shí)在其他域上學(xué)到的經(jīng)驗(yàn)，既能夠更快更好地在新的視頻序列上學(xué)習(xí)也避免了過擬合

孿生網(wǎng)絡(luò)實(shí)際上也是元學(xué)習(xí)領(lǐng)域一種比較常用的結(jié)構(gòu)，它本身學(xué)習(xí)了如何去判斷輸入之間的相似度。這樣高的數(shù)字，在過去10多年里是從來沒有出現(xiàn)過的。

c) 防止過擬合

目標(biāo)跟蹤中由于模版更新或目標(biāo)形變等因素造成的過擬合問題也是一個(gè)比較重要的關(guān)注點(diǎn)，下面是一些比較常見的方法:

推薦大家深入地學(xué)習(xí)一種經(jīng)典的目標(biāo)跟蹤算法，由于具體算法的詳細(xì)原理內(nèi)容較多，在此不做贅述，這里推薦幾種經(jīng)典的跟蹤算法學(xué)習(xí)資料，也可以自行選取一兩種其他經(jīng)典算法進(jìn)行深入學(xué)習(xí):

以下資料鏈接可以了解最新的跟蹤算法和跟蹤思路:

目標(biāo)跟蹤算法思維導(dǎo)圖

下面總結(jié)了19年20年的頂會(huì)論文: