基于互评的空间正则化背景感知滤波跟踪算法*
时间：2023-01-30 11:30:04 来源：天一资源网 本文已影响 人 
孙 祥，袁 亮，张建杰
(1.新疆大学a.机械工程学院；
b.电气工程学院，乌鲁木齐 830047；
2.北京化工大学信息科学与技术学院，北京 100029)
视觉跟踪是利用目标物体的一帧图像信息，在后续帧中继续定位目标的一项计算机基础视觉任务。视觉跟踪通过定位目标位置，为实现例如移动跟踪，机器人导航、区域流量监控等任务提供必要的目标信息，因此视觉跟踪技术被广泛应用于视频监控、自主导航及远程医疗等领域。相关滤波跟踪算法由于其高效的计算性和稳定的跟踪能力，成为视觉跟踪算法的研究热点。但视觉跟踪受到算法自身以及目标特性影响，实现稳定的视觉跟踪依旧是一项十分具有挑战性的任务[1]。目标物体在视频中往往呈现旋转、变形、快速运动、背景相似干扰等情况，同时算法自身也会受到例如边界效应[2]，特征不稳定[3]等问题，这使得跟踪算法的准确性和鲁棒性受到影响。近几年来，各方学者都在各类理论下，对跟踪算法效果进行提升。ZHANG等[3]在相关滤波器的基础上，通过核函数的方法解决低维线性不可分的问题，提出能够使用多通道特征的核相关滤波算法。KIANI等[4]则是基于核相关滤波器，通过对样本进行掩膜的方法，提升样本质量，进而提升训练效果。DANELLJAN等[5]通过引入两种特征，提升算法对目标的表达能力，以此提升目标跟踪效果。本文针对KIANI等[4]提出的背景感知相关滤波(background-aware correlation filter,BACF)算法易受边界效应及其他复杂跟踪情况影响导致跟踪效果差的问题，提出了互评空间正则化背景感知滤波器，在背景感知的基础上添加空间正则化，提升滤波器稳定性，并在算法中使用两个独立的滤波器对跟踪结果进行互相评价，在保留不同特征各自特点的同时，实现特征的自适应融合，以此提升跟踪效果。
1.1 相关滤波器
相关滤波类跟踪算法主要分为训练阶段和跟踪阶段。在训练阶段，算法利用当前帧中目标图像与目标位置，通过计算最小化损失函数的方法，计算得到滤波器。在跟踪阶段，算法使用滤波器与图像，计算相关响应图，寻找最大响应值的位置作为新一帧中目标位置[6]。假设目标所占像素大小为M×N=D，通常相关滤波跟踪算法的损失函数如下：
(1)
式中，y为理想状况下的输出响应图，采用二维高斯分布矩阵；
K为通道数总数；
xk和wk分别为样本和滤波器的第k个通道；
⊙为两信号在时域里的卷积操作；
λ为正则化系数。式(1)可通过傅里叶变换并使用核函数技巧在频域内快速求解。
1.2 改进背景感知滤波器
相关滤波器的训练与样本数量与质量有直接关系[7]。核相关滤波算法通过循环采样的方式，提升了样本的数量[8]。背景感知滤波器是在核相关滤波器的基础上，提出使用裁剪矩阵的方法，对样本进行裁剪，在扩大样本数量的同时，提升样本质量。假设扩展前样本中像素数量为D，扩展后样本像素数量为T。背景滤波器通过最小化下式进行求解：
(2)
式中，i为矩阵中第i个元素；
y为理想状况下的二维高斯分布输出响应矩阵；
k为通道数；
wk为所需训练的滤波器；
xk为扩展后的样本矩阵；
P为裁剪矩阵，通过裁剪矩阵，将长度为T的样本裁减为长度为D；
M为循环操作符；
Mixk为基样本xk的第i轮循环样本。
但当目标快速运动或是运动到边界时，背景感知滤波器的训练仍会受到边界效应的影响[9]。本文对背景感知滤波器的边界进行惩罚以降低边界效应影响，提出基于背景感知滤波器的空间正则化背景感知滤波器，滤波器通过最小化式(3)求解：
(3)
(4)
(5)
(6)
在式(4)中求解滤波器W是一个有约束条件的优化问题，通过使用增广拉格朗日法(augmented largrange method)，可以把问题转化为无约束优化问题，结果如下：
(7)
(8)
在式(8)中对W求导，并令导数为0，得到结果：
(9)
(10)
(11)
上式中仍存在求逆操作，根据谢尔曼-莫里森公式(sherman-morrison formula)对其进行简化，得到：
(12)
(13)
ρ(i+1)=min(ρmax,τρ(i))
(14)
2.1 互评架构
在跟踪过程中，需要对目标区域提取特征，进而使用特征进行训练。特征对跟踪效果的影响源于特征自身的表达能力不同[10]，以梯度方向直方图(histogram of orientation gradient,HOG)特征和颜色名(color naming,CN)特征为例，使用HOG或CN单特征进行跟踪，在不同情况下跟踪效果具有显著差别，如图1所示。
图1 单一特征跟踪结果图
图中粗虚线框为使用HOG特征跟踪结果，点线框为使用CN特征跟踪结果，实线框为目标真实位置。从图中可以看出，在目标出现明显形变时，使用CN特征的跟踪器跟踪效果更好。在目标周围存在相似的颜色区域时，使用HOG特征的跟踪器稳定性更佳。由此可以看出，在不同情况下，特征对目标的表现力不同。使用更多的特征，可以提升算法在面对不同情况时的稳定性。
传统方法[11-12]通过将特征串联的方式，把特征进行融合，这种方法虽然可以提升算法，但特征权重被固定。当在某些的情况下，特征对结果的影响权重被固定，由此产生某一特征跟踪效果好，而另一特征跟踪效果差时，由于权重问题，导致跟踪效果好的一方被忽略，差的一方被重视，最终造成算法跟踪失败的问题。文献[13]使用HOG特征与颜色直方图特征独立训练俩滤波器，并将两滤波器跟踪结果相加，虽然不同于直接串联的方法，但两特征对结果的影响权重依旧被固定。因此，为了提升视觉跟踪算法在面对复杂跟踪场景时的稳定性和鲁棒性，基于将特征融合权重变为自适应变化的想法，提出一种互评架构实现HOG与CN特征自适应融合，其工作流程如图2所示。
图2 互评架构工作流程示意图
在训练环节，对输入图像的目标区域提取HOG与CN特征作为样本，使用两种特征样本独立训练相关滤波器。在跟踪环节，首先由两个不同特征训练的滤波器在新一帧图像上给出各自的跟踪结果，即HOG响应图与CN响应图。由两张响应图中各自的最大响应值所对应的位置确定两个跟踪器找出的目标位置，即HOG预测结果与CN预测结果。然后在由HOG训练的滤波器确定的目标位置上，使用算法对其提取CN特征；
在由CN训练的滤波器确定的目标位置上，使用算法对其提取HOG特征。将再次提取的CN特征与HOG特征对应输入到CN训练的滤波器和HOG训练的滤波器，即使用当前滤波器对另一方滤波器得到的结果进行一次评价，对应得到两张互评响应图。最后，将HOG互评响应图、HOG响应图、CN响应图、CN互评响应图进行对比，通过对比由同一个滤波器得到的前后两张响应图，判定该滤波器的跟踪结果是否稳定。
2.2 稳定性判别与特征融合
在得到4张响应图后，根据响应图中的最大响应值位置，会得到4个预测结果，但最终预测结果只有一个，因此需要对4张响应图进行对比判定。
在对比过程中，引入平均相关峰值能量(average correlation peak energy,APCE)指标[14]，使用APCE指标评价跟踪结果的可信度。APCE指标计算方式如下：
(15)
式中，Fmax为响应图中的最大响应值；
Fmin为最小响应值；
Fx,y为x,y位置处的响应值；
mean为求平均值。
在判别时，首先计算HOG响应图与HOG互评响应图的APCE值，分别用AH和AHM表示，同理对CN滤波器结果进行计算，用AC和ACM表示。然后通过对比AH和ACM来评价HOG滤波器的结果可靠性，若两者在数值上小于阈值Ψ，则认为HOG滤波器的跟踪结果是稳定并且可信的，同理对比AC和AHM，以此评价CN滤波器跟踪结果。
根据对滤波器结果的评价，出现以下4种情况：
(1)HOG与CN滤波器跟踪结果都可信；
(2)HOG滤波器跟踪结果不可信，CN滤波器器跟踪结果可信；
(3)HOG滤波器跟踪结果可信，CN滤波器跟踪结果不可信；
(4)HOG与CN滤波器跟踪结果都不可信。
根据以上4种可能出现的滤波器跟踪结果情况，设计3种特征融合策略。
若两滤波器跟踪结果都稳定，则将两滤波器的响应图进行合并，在合并后的响应图上寻找目标位置，融合结果计算方法如下：
Rfinal=RHOG+RCN
(16)
若其中一方特征对应的跟踪结果判定为不可靠，则单独使用稳定特征的跟踪结果作为目标位置，此时不对结果进行融合，而是直接舍弃不稳定的结果，最终结果选择如式(17)所示。
(17)
若出现两方特征都不稳定的情况，则以AH和AC作为两个滤波器跟踪结果的融合指标，计算结果融合权重并将两个滤波器对应的响应图进行融合，融合权重计算方法如下：
(18)
式中，λHOG和λCN分别代表两个特征对应的融合参数。由于此时二者的跟踪结果都不稳定，因此采用平方的形式，使更稳定的滤波器获得更大的融合权重，提升其对结果的影响，同时保证两方融合权重差值保持在合理范围内。得到融合权重后，需要对两特征对应的滤波器结果进行融合，融合结果计算方法如下：
Rfinal=λHOGRHOG+λCNRCN
(19)
式中，RHOG和RCN为HOG滤波器和CN滤波器的跟踪结果；
Rfinal为融合后的响应图，最终目标位置通过在Rfinal上寻找最大响应值出现的位置确定。
3.1 实验实施
算法使用MATLAB R2018a平台编写，运行设备使用AMD R5-4500U CPU，8 G RAM。本文所提出的改进算法将与主流视觉跟踪算法BACF，SRDCF[15]，ARCF[16]，CACF[17]，RPT[18]算法在公开数据集：OTB-50[19]，OTB-100[20]以及Templecolor-128[21]上进行对比实验。具体实验设计为在OTB-100上进行定性实验，分析算法在不同视频挑战属性下的跟踪成功率与精确性；
在Templecolor-128上进行定量实验，在总体上评价各算法的成功率与精确性；
最后在OTB-50数据集上进行消融实验，分析本文提出的改进措施的有效性。
3.2 指标与参数
对跟踪器的评价指标分为精确度指标和成功率指标。精确度指标衡量跟踪结果与真实结果的位置偏差，反映是算法结果的准确性。成功率衡量真实目标区域与跟踪结果区域的重叠率，反映算法在面对干扰情况下的跟踪稳定性。
算法中涉及参数选择如下：在ADMM迭代过程中，迭代次数为2次，ρmax=104，τ=10以及μ=1，初始化时ζ值设定为全0矩阵。
3.3 定性分析
实验在OTB-100数据集上进行，数据集包含100个已标注的视频序列，视频中目标可能出现的变化被分为11种属性：快速运动(fast motion,FM)、背景混乱(background clutter,BC)、运动模糊(motion blur,MB)、形变(deformation,DEF)、光照变化(illumination variations,IV)、平面内旋转(in-plane rotation,IPR)、平面外旋转(out of plane rotation,OPR)、低分辨率(low resolution,LR)、遮挡(occlusions,OCC)、出视野(out of view,OV)以及尺度变化(scale variations,SV)。算法在11种视频属性下的成功率以及数据集上的总体成功率如表1所示，精确率如表2所示，表中加粗为当前属性下的最高得分。
表1 算法跟踪成功率表
表2 算法跟踪精准率表
从表1中可以看出，改进算法在9种视频属性(FM,BC,MB,DEF,IPR,OCC,OPR,OV,SV)下的跟踪成功率上取得第一，相比于改进前的BACF算法，分别提升2.8%，5.5%，1.0%，4.0%，0.7%，6.3%，2.5%，4.0%，4.3%。但改进算法在面对光照变化(IV)与低分辨率(LR)的情况时，并没有有效提升跟踪成功率，相比分别降低1.6%和0.5%。改进算法在OTB-100数据集上的总体跟踪成功率达78.7%，与其他算法相比成功率有显著提高，相较于改进前的BACF算法在总体成功率上提升2.2%。
表2为各算法在11种视频属性下的跟踪精确性，改进算法在总体上好于其他算法，在10种视频属性(FM,BC,MB,DEF,IV,IPR,OCC,OPR,OV,SV)下取得精确率第一，相比BACF算法，分别提升3.5%，11.1%，3.9%，6.0%，1.4%，2.2%，8.1%，4.7%，7.0%。但在低分辨率(LR)情况下，改进算法相比未改进的BACF算法，精确率降低0.9%。在总体精确率上，改进算法相比BACF提升3.9%。
表中数据体现算法在各个挑战属性下的整体表现，为实际说明改进算法在多种复杂场景下对跟踪效果的有效提升，将改进算法与BACF、SRDCF以及CACF在4组具有代表性的视频序列上进行对比，跟踪结果如图3所示。
图3 算法在典型复杂场景下跟踪效果图
在Soccer视频下，目标为人脸，目标主要出现背景混乱和被遮挡的情况。第10帧时，各算法皆能稳定跟踪，在140帧附近，由于目标区域受到严重的背景干扰，只有改进算法能成功跟踪，在206帧附近，只有改进算法能继续保持跟踪。在Dragon baby视频中，目标为头部区域，目标外观随帧数不断发生变化，第10帧时，各算法稳定跟踪，在29帧时，目标出现形变，仅有改进算法能成功跟踪，在84帧时，仅有改进算法能继续保持稳定跟踪。在Bird视频中，目标为鸟，目标出现被遮挡并且不断形变的情况，第10帧时，各算法稳定跟踪，在202帧之前，目标出现被完全遮挡现象，在遮挡消失后，只有改进算法能成功跟踪目标，在260帧时，仅有改进算法能继续跟踪目标。在Panda视频中，目标为熊猫整体，画面分辨率低并且目标的尺度不断变化。第10帧时各算法稳定跟踪，第503帧时，仅有改进算法与BACF算法能较好的跟上目标，在696帧时，BACF算法已跟踪失败，仅剩改进算法能继续跟上目标。
从图3中可以看出，对比算法在面对以上的复杂跟踪情况时，算法稳定性不足，容易出现跟踪失败的问题，而改进算法则是能够保持有效跟踪。
3.4 定量分析
定量实验在TempleColor-128数据集下进行，实验结果如图4所示。从图中可知，改进算法在精确度上达到74.3%，在成功率上达到64.5%。与BACF相比在精确度上提升9.6%，在成功率上提升3%。与SRDCF相比在精确度上提升9.4%，在成功率上提升5.6%。实验结果显示本文所提出的改进方法对提升算法鲁棒性和精确度具有积极作用。
图4 算法定量分析实验结果图
3.5 消融实验
为进一步验证改进方法的有效性，实验选取在OTB-50上进行消融实验。算法选取基准算法BACF，基于BACF使用串联HOG与CN特征的S-BACF算法，基于BACF使用互评改进的M-BACF以及完整的改进算法MR-BACF。实验使用精确率和成功率作为评价指标，结果如图5所示。
图5 算法消融实验结果图
从图中可以看出，相比于单一使用HOG特征的BACF算法，不论是以串联形式还是以互评形式增加CN特征，都能对跟踪效果起到提升作用。以本文提出的互评形式对特征进行融合得到的M-BACF算法相比于直接串联特征的S-BACF算法，在精确度和成功率上提升更显著，证明了使用互评架构相比于串联特征更能使跟踪器适应复杂跟踪情况。MR-BACF在OTB-50数据集上相比于BACF在精确率上提升9.3%，在成功率上提升5.9%，实验结果表明本文所提方法能有效提升算法的精确率和成功率。
本文针对背景感知滤波器算法在面对复杂跟踪场景时，受到边界效应以及单一特征受限的影响导致跟踪失败的问题，提出了互评架构下的空间正则化背景感知滤波算法。通过在滤波器训练式中添加空间正则化项，提升了算法对边界效应的抵抗力；
利用互评架构，解决了单一特征对目标表达力不够以及多特征融合权重自适应的问题。在OTB-100、 TempleColor-128以及OTB-50数据集上进行实验证明本文所提出的改进方算法具有较强的鲁棒性和精确性。从实验结果中可以看出，算法在低分辨率以及光照变化情况下并没有更好的表现，因此未来作者将会在滤波器模型，特征选择等方面进行进一步研究。
