雾是一种发生在近地层的灾害性天气,其引起的视程障碍常造成的追尾、侧翻等事故。这不仅严重威胁着驾车人员生命财产安全,还会降低高速公路通行能力。目前对于雾的预报准确性还不高(费冬冬等,2016;于文金等,2016),而对于团雾的预报和监测就更加困难(滕华超等,2014)。因此团雾监测能力的提高对于高速公路安全管控将是重要的技术保障(张振东等,2016)。

目前对于能见度监测除了人工观测外,最广泛使用的是能见度仪,但由于能见度仪布设和维护成本高,不利于高密度的安装,因此对于局地浓雾和团雾的监测能力有限(王敏等,2017),而利用高速公路视频监控作为雾识别的辅助设备将会是很有效的补充。以往雾图像识别技术多从图像特征的角度进行分析研究,如Hautiere et al.(2006,2008)利用对比度模型获取图像像素灰度值再换算成能见度;Bronte et al.(2009)利用天空和道路的交汇点作为可视点来获取能见度。以上方法均需要特定环境或特殊标注,易受环境因素和障碍物影响,很难大面积应用。近年来,深度卷积神经网络(Convolutional Neural Network,CNN)由于采用局部连接和权值共享方式,可无须人为干预自动从图像数据中学习特征(汪泉等,2021),经过优化处理能降低训练参数解决过拟合问题(Geetha et al.,2020),在视觉图像上应用广泛。在能见度识别上也多有尝试,You et al.(2019)提出了基于卷积神经网络和循环神经网络的模型用于从图像中估计相对能见度,但该模型的适用范围只有300~800m;Palvanov and Cho(2019)提出了一个多分支卷积神经网络,结合不同类型的图像场景特征,用于低能见度雾等级估计,但该模型复杂度高,算法效率低,无法满足实际应用要求;Wang et al.(2020)结合可见光图像与红外图像进行全天候能见度估计,但目前公路的红外摄像头较少,无法实现可见光图像与红外图像的匹配,因此无法满足实际应用要求。

因此本研究将寻找一种能够支持多场景、复杂度低、实用性强的模型来解决能见度业务观测问题。Su et al.(2018)研究表明,相对于其他分类模型,多层堆叠式的VGG16具有更高的识别效率,更强的可迁移学习能力,能用结构和数据量有限的训练集构建模型。因此,为实现高效率的公路能见度识别,满足实际应用要求,本文通过改进VGG16模型结构以增加模型稳定性、提升训练速度、提高识别准确率,并通过业务可靠性检验,为高速公路团雾监测和应急处置提供新方法。

1 实验方法

1.1 模型选择

本实验选择VGGNet中的典型结构VGG16作为基础神经网络模型,将处理后的雾天样本图像输入神经网络中,经过卷积网络处理后会输出样本图像所属类别概率。

VGG16网络模型包含13个卷积层和3个全连接层,在卷积层中由多个大小为3×3的卷积核以步长为1px对上一层特征图进行卷积,提取到这一层的特征图(Newell et al.,2016),获取到一种特征,为加快收敛速度,使用ReLU做非线性变换。获得的特征在池化层中压缩数据和参数数量以对特征进行降维,池化方式采用最大池化(max pooling),窗口大小为2×2,池化层可以有效防止过拟合并提高模型容错性。全连接层对提取的各层特征映射到样本对应的标记空间,扮演图像分类器的作用。

1.2 基于VGG16网络的模型改进

由于实际道路场景与ImageNet数据集中的雾场景差异性较大,直接将VGG16应用于雾天图像分类会影响分类结果,因此根据道路雾天图像特征,在VGG16经典模型上改进,在池化层和卷积层增加了批归一化层,总共设立了5个。在节点的最后用全局平均池化代替原来网络中的全连接层,并用联合损失函数方式来对图像进行最后的分类。整体模型结构如图1所示。

1.2.1 批归一化处理

在神经网络训练过程中,因为除了输入层数据外,前面多层训练参数的变化会导致后面层导入的数据也发生变化,这样必定会改变后面每一层输入数据的分布,从而造成“梯度弥散”。为解决训练过程中间层数据发生改变的情况,实验加入了批归一化(Batch Normalization,BN)处理(Ioffe and Szegedy,2015),这不仅能够加快模型的收敛速度,还能够解决深层网络中存在的梯度消失情况,让模型更加稳定。

实验将归一化层插入卷积层和激活函数之间,在归一化层中求每个训练批次数据均值和方差,然后激活值被归一化后进行映射,以降低迭代次数,提高准确率。具体处理算法如下:

首先输入m个样本$x=\left\{x_1,x_2,\cdots ,m\right\}$,

计算批处理数据均值μ:

方差:

归一化处理:

其中ε为常量,以防止σ=0时等式不成立。

为避免归一化影响特征分布,需通过尺度变换和偏移来恢复原有特征分布:

其中参数γ_i和β_i通过训练得到:

其中:Var为方差函数;E为均值函数。

1.2.2 全局平均池化应用

经典VGG16是在卷积层后加入全连接层进行特征向量化处理,但全连接层本身参数量过大,会增加网络的训练量,同时过多的参数也会引起网络过拟合。本实验为增强雾特征和分类结果关系,利用全局平均池化(Global Average Pooling,GAP)来代替传统的全连接层(Szegedy et al.,2015)。设计思路是将进入全连接层前的特征图像素均值转换为一个特征点,这样n个特征图就转换为n个特征点,然后组成为1×n的特征向量并代入到softmax中分类(图2)。

1.2.3 损失函数选择

在雾天区间分类时,当能见度小于200m时,各个等级的场景图像特征差异不大,相似度较高,单纯使用softmax loss损失函数难以进行准确的区分。因此在本试验中考虑加入中心损失(center loss;Qi and Su,2017)展开联合损失函数的方式进行分类,这样就可以用softmax loss保证类间距离变大,同时用center loss达到类内距离减小的目的,让雾天图像在同一类别的样本更靠近对应类别的特征。

softmax loss损失函数可表达为:

center loss损失函数可表达为:

式中:x_i表示m个样本中隶属于y_i的第i个样本特征;w_j表示在全连接层的参数矩阵中第j列;b为偏置;c_yi表示第y_i类别的特征中心,该公式表示一个batch中的每个样本特征离特征中心的类内距离越小越好。

2 数据集与实验设计

2.1 图像数据

图像采集于京沪高速江苏段K713-K945桩号范围内的243套视频监控,并经过质量评估,剔除镜头有污垢和数据不稳定的视频监控,同时选择沿线范围内距离交通气象站点500m范围内的57套视频监控作为图像训练样本的采集器。根据能见度识别标准化要求,采集图像环境光线强度需要大于20lx,图像角度和清晰程度要符合相应要求,并经过图像格式归一化处理和色域空间变化。图像标注采用沿线范围内31套交通气象站点中的后向散射能见度仪,利用同时刻的能见度值对图像进行标注。图像样本采集于江苏雾高发期,从2018年9月—2019年3月,共采集到51万张图片,经过挑选留下16万张图像作为有效样本集。

2.2 能见度等级划分及向量化处理

本实验中能见度图片最终被分为无雾5级(1km以上,36 762张)、轻雾4级(500~1 000m,35 927张)、大雾3级(200~500m,32 723张)、浓雾2级(50~200m,31 754张)、强浓雾1级(50m以下,23 387张)五个能见度等级属性。在训练时采用随机抽取的方式,将样本集分为训练集和测试集,用于模型的训练和评估。对筛选后的雾天图像样本通过傅立叶变换,得到闭合边界的多尺度傅立叶向量描述符,但由于傅立叶向量描述符的高维性,利用主成分分析法对结果降维处理。

2.3 实验环境及参数

实验是在Ubuntu 16.04操作系统上训练的,机器配置为CPU:Intel Corei7-9700K,4.9GHz,GPU:GeForce GTX 3070Ti×2,24GB,采用pytorch深度学习框架,语言为Python。实验采用随机梯度下降法(SGD)对网络进行训练。

3 实验结果分析

训练集、验证集和测试集按照常用的6∶2∶2的比例进行划分,在测试中从有效图像样本集中随机挑选出各等级6 000张,总共30 000张训练集样本用于模型训练输入;各等级2 000张,总共10 000张验证集图片用于训练过程中调整模型的超参数;各等级2 000张,总共10 000张图像样本集作为测试集,用于最终的模型测试(表1)。

将改进后的Pro-VGG模型与经典VGG16(Simonyan and Zisserman,2014)、AlexNet(Krizhevsky et al.,2012)、GoogleNet(Szegedy et al.,2015)经典图像分类模型进行比较,验证其有效性。

为测试训练后的识别模型对雾天能见度等级识别准确度,通过以下几个指标来评估算法效果。

在机器学习中,所有算法都依赖于对目标函数最小化的过程,这个过程称为损失函数,可用于评价算法模型的预测能力。计算出不同卷积神经网络模型的损失函数变化曲线如图3所示,可以看出改进后的Pro-VGG模型在训练时较早的趋近于0,到达了拟合状态。

采用混淆矩阵方法对能见度识别算法性能进行可视化效果评估。首先通过训练集构建能见度分类模型,基于已训练模型,对不同雾天能见度等级样本测试集进行验证,获得实验结果如表2所示。

模型计算出的能见度等级与实际标注图像样本等级一致时被认为是准确样本,表2中对角线上数值表示各个等级能见度识别正确率。改进模型Pro-VGG在五个等级的识别准确率达到86.9%、81.2%、80.6%、82.4%、88.7%,平均准确率达到83.9%。其中等级2和3的识别准确率偏低,是因为这两个等级图像在150~250m相邻能见度范围内特征不明显,再加上图像受光照或镜头污垢影响后会造成特征接近,识别时容易发生错分问题。

图4为2020年12月12日07:03—10:48(北京时,下同)京沪高速K860+000桩号位置的视频探头拍下的雾天能见度变化图像,交通站点黄埔河大桥站与之相距约400m,其能见度仪反演的能见度值可代表该位置的能见度真值。从识别结果上看,在08:33之前模型识别的等级与能见度仪记录的能见度等级基本一致,符合识别结果;在08:48—09:48之间部分能见度识别结果偏低,这是因为能见度在40~70m之间特征近似容易产生偏差,但此种误差对实际业务影响不明显。在后续工作中将对这类能见度相近图像进行重点特征标注,着重对细微特征进行区分。

为了验证批归一化处理、全局平均池化、中心损失函数对模型的有效性,设计了消融实验,如表3所示,VGG16+BN表示VGG16与批归一化处理融合的模型,VGG16+GAP表示VGG16与全局平均池化融合的模型,VGG16+center loss表示VGG16与中心损失函数融合的模型。其中,VGG16+BN的准确率提升6.9%,VGG16+GAP准确率提升3.7%,VGG16+center loss准确率提升6.2%,融合了批归一化处理、全局平均池化、中心损失函数的Pro-VGG准确率提升12.2%。可以看出,在VGG16的基础上,批归一化处理、全局平均池化、中心损失函数对于基于图像的公路能见度分类模型均是有效的。公路场景图像特征多样化,而本模型的目的是提取图像中大尺度的雾特征,因此采用归一化处理、全局平均池化、中心损失函数提取大尺度雾特征,弱化细节结构特征,从而更准确地估计能见度等级。

4 业务化应用检验

在算法稳定后,被嵌入“江苏交通气象综合平台”中,在日常业务作为雾天监测工具使用。业务试点路段选择了京沪高速江苏段,该路段作为江苏省内连接南北重要的交通枢纽,沿线有高邮湖及邵伯湖,常年受到团雾(局地浓雾)的影响。京沪高速江苏段沿线有交通部门布设了300余路高清视频监控,分辨率达到1 080p,空间分辨率小于1km,业务系统采用多线程并发,整个路段视频监控轮循一次时间控制在10min;同时有气象部门布设的32套包含能见度仪的交通气象站,站点平均间距10~15km。选取可靠性较好的26套交通站附近200m范围内的42套视频监控作为业务应用检验,检验时间从2019年4月1日—2019年11月30日。

4.1 各时间段识别结果

图5所示为业务采用的42套视频监控在各时间段内的识别正确率变化曲线。各时段的能见度平均识别正确率达到84.9%,其中正确率较高的时间段在08:00—18:00,由于在此期间光线条件较好,采集的图像清晰,能见度特征明显,模型的判识度较高,平均准确率可以达到91.7%;而在19:00—07:00这段时间识别正确率偏低,为79.1%,低于平均正确率水平,这是由于夜间和清晨整体光线条件较差,光源不稳定,容易造成图像模糊,能见度特征不明显,引起识别正确率偏低。

4.2 团雾的动态监测

依靠业务系统动态巡检,2019年4月4日清晨在京沪高速监测到一次典型团雾生消过程。4日05:38监测到团雾初生,大致位于京沪高速K855+150m-K859+450m(桩号),识别图片显示团雾的影响呈现边界-核心-边界,能见度等级呈大雾-浓雾-浓雾-大雾级别分布(图6a),浓雾影响区域1.4km(K856+570m-K857+920m),严重影响到车辆行驶安全。团雾在06:10发展为成熟阶段,影响范围继续扩大,从K855+150m延伸到K864+400m(图6b),其核心区域整体向东南方向移动约1km,原先K856+570m能见度由轻雾上升到大雾级别。到了06:38,团雾核心区加速往东南方向移动约5km,到了K864+400m附近(图6c)。团雾在07:07之后逐渐消散,能见度回升。本次团雾的生消过程显示了其特有的局地性强、移动速度快、持续时间短的特征。

4.3 基于团雾监测的道路运行对策讨论

团雾由于出现时间短、移动速度快、影响范围小,利用传统的标志牌进行提示很难及时准确进行路段管制。结合浓雾监测系统平台和现有道路管制技术,在遇到团雾时可以采取以下几种解决方案来进行道路管制:1)车辆实时定位技术,可通过浓雾实时监测平台计算团雾影响路段位置,并将位置信息上传至导航平台,导航平台将结合用户的导航路线提前提醒驾乘人员采取相应减速和避让措施;2)浓雾诱导技术,监测平台可通过监测团雾位置来开启高速公路车道两侧智能诱导雾灯,指示道路轮廓,并提供安全行驶距离;3)基于5G通信和V2X的车路协同技术,监测平台将识别的浓雾路段和管制措施通过相近的路端设备,在车辆快要经过团雾区域时通过与车辆互联传送管制信息,来提醒驾乘人员采取相应措施。

结合本次团雾过程,浓雾监测平台在05:37将K855至K860路段的团雾位置和能见度等级信息自动提取并提供给高速公路管理方、高速交警和导航平台,高速交警收到信息后将前往现场进行车辆引导和限速管制,高速公路管理方根据位置开启电子指示牌和道路沿线的诱导雾灯进行车道引导,导航平台结合团雾位置和程度信息,提前提供给正在使用此条路线导航的驾乘人员。

5 结论

1)为解决能见度分类中出现计算量大,过拟合等问题,实验利用批归一化,增加全局池化层和使用联合损失函数的方法对原有VGG16网络进行优化,经检验后正确率达到83.9%,在消融实验中该算法正确率也高于其他几种模型。

2)模型经过业务化检验后各时段的能见度平均识别正确率可达84.9%,能够满足日常业务运行需要,其中白天的识别正确率要高于夜晚,因此在提高夜间识别正确率的方面仍然有优化的空间。

3)利用浓雾监测系统在2019年4月4日早晨监测到京沪高速上出现的一次团雾动态生消过程,从生成到消散只有2h,雾核心区域范围不到2km、但移动区域超过6km,具有移动快、范围小、生存时间短的特征。在监测到团雾后,可结合现有道路管制技术采取多种方案对进行道路管制和车流管控。

参考文献