-
随着数值预报技术的不断提高,面向更小尺度的精细化预报检验技术逐渐成为国内外关注的重点。Mass et al.(2002)提出基于目标命中率为核心的传统分类检验方法在高分辨率降水检验中受到空间和时间微小差异所带来的“双重惩罚”,难以获得足够的评估信息,也无法客观地反映降水的真实预报能力(Baldwin and Kain,2006;Ahijevych et al.,2009;Brill and Mesinger,2009;梅钦等,2018),在传统二分类检验方法基础上,欧洲中期天气预报中心(European Center for Medium-Range Weather Forecasts,ECMWF)的Rodwell et al.(2010)开发了一种基于概率空间误差分布的三分类降水检验方法(Stable Equitable Error in Probability Space,SEEPS),该方法不受降水强度阈值影响,可获取降水预报性能的综合评价,但该方法无法正确描述过干(干旱)、过湿(强降水)条件下的降水预报能力,极大限制了其在强降水预报中的应用效果(Haiden et al.,2012)。近十余年,空间检验技术成为弥补传统检验方法的可能手段,欧美及澳大利亚科研人员2009年联合发起了第一次空间检验方法比较计划ICP(Spatial Forecast Verification Inter-Comparison Project)(Gilleland et al.,2009,2010),该计划设定了一系列理想试验及用于对比分析的强天气过程个例,并提供相应的实况(雷达资料等)信息,试图开发并探讨各种空间检验方法在特定预报对象上的评估差异及相对传统检验技术的优势,以此为更多科研人员认识各种空间检验技术特点,并为其更快的应用到相应的检验评估中去提供帮助。Ebert and McBride(2000)最早提出基于对象属性的CRA(Contiguous Rainfall Area)空间检验方法,这种方法可以将降水预报的总体误差分解为位置差异、位相差异等误差分量,用以探讨模式的系统误差来源。NCAR(National Center for Atmospheric Research)发展了一种基于对象属性的空间检验方法MODE(Method for Object-based Diagnostic Evaluation)(Davis et al.,2009),该方法通过计算检验对象的相似度特征来判断对象间的匹配程度。国内研究人员也曾采用此类方法开展降水研究(潘留杰等,2017;张博等,2017;陈笑等,2018;智协飞等,2020),但此类方法均受平滑半径、滤波阈值等多种因素的影响,不同参数的选取将获得差异极大的统计评分,使得评估结论缺乏一致性,这将严重影响降水检验的科学性和可靠性,最终产生一定的评估误导问题。Roberts and Lean(2008)提出了一种改进的邻域空间检验方法FSS(Fraction Skill Score),可通过比较不同尺度窗口内降水发生概率的方法获取综合评估信息,其宗旨通过比较预报与观测发生的概率之间的差异获取模式预报性能。Mittermaier and Roberts(2010)利用FSS(Fraction Skill Score)方法探讨其在ICP计划理想试验中的具体表现,发现FSS方法可有效地反映由于降水位置差异所带来的预报技巧的差异,FSS方法对于极端天气事件具有极强的敏感性。Weusthoff et al.(2010)利用升尺度及FSS方法考察不同分辨率条件下的模式降水预报效果,发现FSS方法可有效体现高分辨率模式降水结构预报优势。赵滨和张博(2018)、Zhao and Zhang(2018)改进FSS方法分析手段,通过在不同预报尺度中定义分析尺度,发现TS评分等传统技巧评分在强降水检验中常存在多时段为零情况,难以体现逐日降水预报的差异性特征,而FSS方法有效提高了强降水预报的评估辨识度;通过个例分析发现,TS评分由于“双重惩罚”问题,所获取的评估结论往往与研究人员的主观感受相悖,而FSS方法与相关系数有高度一致性,可以作为相关的一种表述。进一步将该方法应用于逐小时精细化降水检验中,通过泰勒诊断图获取24h内预报最好及最差时段,发现无论是预报较好还是较差时段,FSS方法均可体现出更好的评估辨识度。
-
经过近30a的不断发展,集合预报已逐渐成为最重要的数值预报手段,随着计算能力的不断提高,集合预报模式分辨率已足以满足对小尺度天气现象的预报要求,而随着集合预报模式分辨率的不断提高,降水常规技巧评分同样会遇到与确定性预报相似的“双重惩罚”问题,其在极端降水检验中体现得尤为明显(麻巨慧等,2011;张涵斌等,2014;包慧濛等,2019)。开发适合高分辨率集合降水预报检验技术(Ben and Theis,2014;Skinner et al.,2016),将成为有效提高降水评估能力的重要手段。不同于确定性预报中降水检验仅需考察预报与观测间实际差异,集合预报重点关注不同预报成员与实况间的综合评估,因此更多地采用不同强度阈值条件下降水发生概率之间的差异作为检验的手段。Marsigli et al.(2008)开发了一种“分布方法”,用以比较有限区域模式COSMO-LEPS的降水预报性能,结果表明,该方法可有效判断中雨及强降水发生概率。Gallus(2010)利用基于对象属性的CRA及MODE方法考察集合预报成员的平均分布特征。Radanovics et al.(2018)拓展SAL方法将其应用于集合预报降水检验中,所建立的eSAL指标可有效地与确定性预报进行评估以获取整体的分析结论。所开发的方案虽可解决特定问题,但不同成员间的差异性往往被平滑所掩盖,开发一种更为合理的空间检验方法是有效提高集合预报检验能力的必然手段。
-
本文将邻域空间检验FSS方法拓展至集合预报领域,开发一种新的邻域空间检验指标EFSS(Ensemble FSS)应用于集合预报降水检验中。利用ECMWF模式2018年夏季降水集合预报产品考察EFSS评分的合理性及其相对于常规技巧评分的优势。
-
1 资料
-
选取ECMWF集合预报模式2018年6—8月降水预报产品作为预报资料,模式分辨率0.15°(约15km),时间分辨率逐24h,集合成员50个,选取中国区域(70°~140°E,15°~55°N)为检验分析区域。
-
实况资料选取国家气象信息中心所开发的格点化降水三源融合产品(潘旸等,2015),其采用贝叶斯融合方法将区域性地面观测站点(中国区域30 000余站)、高分辨率雷达估测降水及卫星反演降水融合形成空间分辨率5km,时间分辨率为1h,实况范围可满足检验区域,资料插值至与模式相同分辨率进行后续检验评估。
-
图1给出了2018年夏季平均实况降水与ECMWF集合平均24h预报分布特征,可以看到,集合预报可保持与实况主雨带一致形势,但其在西北部存在小量级降水空报,而在西南及华南地区均存在明显的强降水空报。
-
图1 2018年6—8月实况与24h集合平均降水预报分布特征(单位:mm):(a)实况;(b)集合预报平均
-
Fig.1 Distribution of observation and 24h accumulation ensemble mean precipitation forecast during June and August of 2018(unit:mm):(a) observation;(b) ensemble mean forecast
-
2 方法及效果分析
-
邻域空间检验FSS方法由Robert等开发,旨在通过升尺度方法考察预报和观测在特定网格范围内降水发生概率的方差及方差技巧评分。其构建方式借鉴了Murpy的方差技巧评分及Brier评分的思路,使得降水检验不再局限点对点的比较方式,从而有效规避了高分辨率降水评估中的“双重惩罚”问题,其表达式如下:
-
其中:Pf和Po分别代表预报及观测在升尺度网格内降水发生概率;In及Jn为纬向及经向格点数。FFBS为预报及观测降水概率方差,根据方差技巧评分的构建方式,FFBS-ref为参考方差,可确保获取正定的技巧评分FSS(FFSS)。FSS评分介于0~1,其中0代表无技巧(完全无匹配),而1为完美预报。FSS主要应用于确定性预报检验中,本文首先采用该方法计算ECMWF各集合成员2018年夏季评分结果,选取的分析尺度为9倍网格空间,即135km×135km,考察FSS评分在所有集合成员中的分布规律。
-
图2给出了不同时效各集合成员FSS评分箱线图分布特征,分别选取0.1mm、1mm、3mm、5mm、10mm、15mm、25mm、50mm及100mm以上降水量为检验分析的降水阈值。其中“红星”为各成员FSS评分的集合平均,箱线上限为75%,中线为中位数,下限为25%。可以看到,FSS评分在各成员间的离散度很高,集合平均在小量级降水(0.1~10mm)位于中位数以下,即评分偏低的成员样本拉低了总体技巧。而在大量级降水评分中,集合平均处于中位数以上,并且在暴雨及大暴雨量级甚至达到75%以上,这主要是由于大量级降水的总体评分过低,部分高技巧样本将集合平均技巧提升过于明显。这就势必存在一个问题,在集合预报中,如果采用简单的集合平均方式将严重平滑预报技巧,当检验时段较短,集合成员数较少时该问题会更加明显,会出现由于部分时次,部分成员技巧跳跃(离群)而导致总体评分偏移的现象,最终导致“评估误导”的问题。
-
为解决这一问题,本文提出一种将FSS拓展至集合预报的构建方案,即不再逐一计算各集合成员的空间检验技巧评分,而是将所有集合成员作为一个整体,计算所有集合成员的综合技巧,其优势在于部分集合成员的预报技巧“突变”(离群)不会严重误估所有集合成员的综合预报效果,所获取的空间检验技巧评分可反映模式的综合预报性能。
-
EFBS(Ensemble Fraction Brier Score)及EFSS(Ensemble Fraction Skill Score)评分表达式(式(4)—(6))。
-
图2 2018年6—8月各集合成员24h、72h、120h及168h预报不同阈值条件下降水FSS箱线图分布特征:(a)24h;(b)72h;(c)120h;(d)168h
-
Fig.2 Box-plot of FSS for each member for 24,72,120and 168h forecast with different thresholds during June and August of 2018:(a) 24h;(b)72h;(c):120h;(d)168h
-
图3给出了不同邻域尺度下的中雨以上量级降水预报EFSS评分平均分布特征,其中邻域模糊尺度选择1、3、5、9、17、33倍网格空间,即15km×15km、45km×45km、75km×75km、135km×135km、255km×255km、495km×495km。根据FSS“可用预报尺度”定义规范,可定义EFSS技巧超过0.5的邻域尺度为降水可用预报尺度。由图3所示,中雨以上量级24h预报可用预报尺度为45km,72h可用预报尺度为75km,120h可用预报尺度为135km,而168h可用预报尺度则为255km。而对于大雨以上量级,24h可用预报尺度则增加至135km,72h可用预报尺度更达到255km。即对于面降水为主的中雨预报,在较小的分析尺度上即可有效反映降水预报性能,而对于以点降水为主的大雨预报则需要更大的网格尺度才能有效捕捉强降水预报信息。
-
为了在诸多邻域空间尺度中有效地获取确定性的评估信息,需首先确定邻域空间检验的分析尺度。图4给出了不同邻域空间EFSS平均分布特征,可以看到,不同邻域尺度下,不同时效降水预报在所有阈值中技巧评分的分布趋势是一致的,差异主要体现在量值大小,随着邻域空间尺度的增加,技巧逐渐增大。赵滨和张博(2018)在确定性预报中采用24h大雨预报的“可用预报尺度”定义分析尺度。本文延续该“分析尺度”选取方案,定义24h大雨预报的可用预报尺度,即135km,为空间检验的分析尺度,后续空间检验均采用此分析尺度进行评估。
-
图3 2018年6—8月24、72、120及168h预报中雨及大雨以上量级降水EFSS不同尺度平均分布:(a)中雨以上量级;(b)大雨以上量级
-
Fig.3 Mean EFSS for 24,72,120and 168h median and heavy rainfall forecast with different scales during June and August of 2018:(a) median rain;(b) heavy rain
-
图4 2018年6—8月不同邻域尺度下24、72、120及168h预报不同阈值降水EFSS平均分布:(a)45km邻域尺度;(b)75km邻域尺度;(c)135km邻域尺度;(d)255km邻域尺度
-
Fig.4 Mean EFSS for 24,72,120and 168h with different rainfall thresholds in different scales during June and August of 2018:(a) 45km neighborhood scale;(b) 75km neighborhood scale;(c) 135km neighborhood scale;(d) 255km neighborhood scale
-
集合预报检验指标多受集合成员影响严重,诸如Brier score及CRPS等均严重依赖集合成员数,当成员数过低,检验技巧将严重离群(与高成员数结果无法保持一致),这也将严重影响评分的普适性。为进一步了解EFSS是否对集合成员有依赖,设计敏感试验,在50个集合成员中随机选取5个成员、10个成员、20个成员及30个成员,与50个成员结果对比分析,考察技巧评分的一致性。图5给出了135km尺度下,不同集合成员的EFSS平均分布特征,可以看到,EFSS均值未受集合成员数影响,以72h预报为例,不同集合成员数间评分最大差异主要集中于0.1mm以上降水评分,这是由于0.1mm降水发生概率较高,因此可能引起的评分差异也会最大。但即便如此,0.1mm以上降水预报的不同成员数EFSS评分最大差异为0.023(5成员:0.725;50成员:0.702),仅为50成员EFSS评分的3.3%。对整体评估的影响基本可忽略不计,由此可见,EFSS评分可不受集合成员数影响,在集合降水预报检验中可获得稳定的评估结论,这在集合降水预报检验中是极其重要的指标。
-
在探讨方法的科学性和适用性基础上,进一步讨论其相对于传统降水技巧评分的优势。常规二分类降水检验方法是通过确定预报与观测间匹配关系而获取评分的(表1)。a、b表示预报满足降水阈值条件下所对应的实况满足阈值与否的站点(格点)个数;a、c则表示观测满足条件下所对应的预报满足阈值与否的站点(格点)个数;d对应观测和预报均未满足阈值条件的站点(格点)个数。
-
图5 2018年6—8月不同集合成员24、72、120及168h预报EFSS评分分布:(a)24h;(b)72h;(c)120h;(d)168h
-
Fig.5 Mean EFSS of different ensemble numbers for 24,72,120and 168h with different rainfall thresholds during June and August of 2018:(a) 24h;(b) 72h;(c) 120h;(d) 168h
-
在确定性预报中通常采用ETS(Equitable Threat Score)作为降水预报性能的评估指标,该指标考虑了随机命中率,对空报及漏报采用了相同的惩罚方式,同时由于湿过程相对于干过程更容易预报,因此在降水评估中ETS方法相对TS评分更显客观。其在确定性预报中的表达式如下:
-
其中aar为随机命中概率。
-
在确定性降水预报检验中为避免单一时次技巧评分偏高或偏低影响均值,即时间序列中部分时次偏离平均状态使得标准差过大,从而使得技巧均值严重偏离中位数无法正确反映真实的平均特征。因此WMO检验标准规定,在均值计算中需采用先求取二分类事件之和后再计算平均降水技巧(式9)的方法。
-
基于均值检验思路,在构建可反映集合降水预报的常规技巧评分EETS(Ensemble Equitable Threat Score),其计算方法采用降水均值的相似处理方式(公式10—11),其中m为集合成员。
-
进一步讨论集合预报空间检验方法和传统降水技巧评分的差异以了解集合降水预报检验中采用传统技巧评分的不足和空间检验方法的优势。图6给出了在不同降水阈值条件下,2018年夏季平均EETS和EFSS三维分布特征,可以发现,两者的分布趋势相对一致,均在1mm量级达到评分极值,而后随着降水阈值的增加,评分逐渐降低。但相对于EFSS评分,EETS评分明显偏低,其极值为0.179(24h预报1mm以上降水评分),而216h预报50mm以上降水的EETS仅为0.013;而与之相对应,EFSS的24h预报1mm以上降水评分可达0.794,216h预报50mm以上降水的EFSS也达到了0.108。
-
图6 2018年6—8月各阈值及时效EFSS和EETS评分三维分布:(a)EETS;(b)EFSS
-
Fig.6 3D distribution of mean EFSS and EETS of different leading time and different rainfall thresholds during June and August of 2018:(a) EETS;(b) EFSS
-
降水技巧评分量值的差异将直接影响降水预报检验的辨识度,即其是否有能力分辨不同降水过程之间的差异。赵滨和张博(2018)通过分析发现,确定性预报中FSS可有效捕捉不同降水过程间差异性信息并提升降水评估的辨识度。从图6中可以看到,EETS均值存在明显偏弱的情况,其在大量级降水中存在由于评分过低而无法分辨不同降水过程间差异的可能。本文进一步考察EFSS及EETS在集合降水预报检验中对不同降水过程的辨识度特征,图7给出了24、72、120及168h预报的不同降水阈值条件下EETS评分在2018年6—8月92d的预报效果演变特征,可以发现,EETS评分明显偏低,随着降水阈值的增加,暴雨(50mm以上)量级降水评分出现多时次为0(24h预报11d,72h预报10d,120h预报10d,168h预报13d)的情况,这些降水过程的预报差异无法从EETS评分中得到体现,即由于所获得技巧过低,并不具备对各种强降水预报的正确描述能力,从而严重制约了该评分在实际检验中的应用价值。
-
与此相对应,进一步考察EFSS的分布特征(图8),可以发现,首先EFSS在各降水阈值中均保持了与EETS相似的演变特征,但相对于EETS,EFSS评分明显增大,即其有效地增加了各降水过程间的差异性,提高了预报检验的辨识度。由图8中可以看到,即便在强降水预报中,EFSS随时间演变的差异性也体现得非常明显,特别是其在强降水预报较差(EETS评分为0)时段依然可以通过相对较高的技巧评分而表现出明显辨识度(预报差异),这就保证了EFSS可以在不同阈值条件下均可保持更为一致的分布特征,而相对而言,EETS则在较高量级降水阈值条件下评分特征已经无法保持稳定。
-
3 结论与讨论
-
随着集合预报能力不断提高,确定性降水预报在高时空分辨率中由于降水空间及时间微小差异所引起的“双重惩罚”问题也将严重影响集合降水预报检验效果。降水空间检验技术是解决这一问题的有效手段,具有弥补传统技巧评分“核心瓶颈”,提升检验科学性和适用性的能力。邻域空间检验FSS方法在确定性预报检验中已体现出明显的优势和极佳的应用前景,本文基于FSS方法的基本构建思路,将其拓展至集合预报检验中,建立全新的EFSS评分,并通过梳理方法设计,评分一致性及与传统技巧评分在实际应用中的比较分析,考察新方法的优势及应用价值。
-
利用ECMWF集合预报模式2018年6—8月降水预报产品及国家气象信息中心格点化降水融合产品进行分析发现,集合预报EFSS评分可不受集合成员数影响,即使在小量(5个)成员的综合评估中也可以获取与大量(50个)成员一致的结论,这将有效地提升该指标在实际应用中的普适性。与确定性降水预报类似,常规技巧评分在强降水预报中由于技巧过低难以体现差异性信息,难以获得反映降水演变特征的有效评估结论,甚至存在“评估误导”的可能。EFSS评分有效地提高了评分量值,即便在暴雨量级降水检验中依然可体现出明显的差异性信息,从而有效地提升降水检验的“辨识度”,这在降水检验中是至关重要的指标。
-
图7 2018年6—8月24、72、120及168h预报不同阈值降水EETS分布:(a)24h;(b)72h;(c)120h;(d)168h
-
Fig.7 Distribution of EETS for 24,72,120and 168h with different rainfall thresholds:(a) 24h;(b) 72h;(c) 120h;(d) 168h
-
图8 2018年6—8月24、72、120及168h预报不同阈值降水EFSS分布:(a)24h;(b)72h;(c)120h;(d)168h
-
Fig.8 Distribution of EFSS for 24,72,120and 168h with different rainfall thresholds during June and August of 2018:(a) 24h;(b) 72h;(c) 120h;(d)168h
-
从本研究可以看到,将FSS方法拓展至集合预报领域可获取与确定性预报类似的优势,受集合预报产品限制(当前仅能获取ECMWF逐日降水预报产品),该方法尚未在更精细时间尺度(逐小时集合预报)中测试。未来将进一步拓展该方法的适用范围,后期将在本文已有工作基础上,将其应用于高时空分辨率的区域集合预报中,考察该方法在更高时空分辨率下检验适用性。
-
参考文献
摘要
常规降水检验受空间及时间微小差异所带来的“双重惩罚”影响严重,邻域空间检验FSS(Fraction Skill Score)方法在确定性预报中已体现出弥补这一不足的明显优势。随着集合预报分辨率的不断提高,集合降水预报同样存在与确定性预报相似的问题。本研究将FSS方法拓展至集合预报领域,构建适用于集合预报的降水空间检验指标EFSS(Ensemble Fraction Skill Score),利用欧洲中期天气预报中心(European Centre for Medium-Range Weather Forecasts,ECMWF)集合预报模式2018年夏季降水预报产品及国家气象信息中心提供的格点化降水融合产品进行分析,发现EFSS评分不受集合成员数影响,可获取一致性的评估结论。通过与适用于集合预报的常规技巧评分EETS(Ensemble Equitable Threat Score)对比分析发现,常规技巧评分受限于评分过低而无法有效反映强降水过程间差异性特征,EFSS方法则可有效提升强降水预报检验辨识度。
Abstract
The established precipitation skill scores are influenced by the conventional duplex retribution problem which is induced by slight spatial and temporal contradiction between forecasts and observations.The FSS (Fraction Skill Score) is considered an approved scientific and problemsolving spatial technique that has been proposed in many articles for deterministic validation.In addition,this technique disclosed significant advantages in the directive of solving duplex retribution problem.In the consideration of high-resolution ensemble forecast,the ensemble precipitation forecasts also owned the corresponding problems with deterministic forecasts.In this research article,a novel ensemble precipitation verification skill score with spatial technique EFSS (Ensemble Fraction Skill Score) is developed based on extending FSS and deterministic ensemble forecasts.By using daily ensemble forecast obtained from ECMWF (European Centre for Medium-Range Weather Forecasts),QP and National Meteorological Information Center (NMIC) during June and August of 2018,the scoring consistency and the difference of traditional skill score in operational application have been analyzed.The consequences of this research indicated that EFSS is not affected by the ensemble members and the consistent evaluation can be obtained.The EETS (Ensemble Equitable Threat Score) was extended from deterministic traditional skill score that is suitable for ensemble forecasting.The comparison of EFSS and EETS indicates that the traditional skill scoring owned the \soutis limited skills in the directive to effective assessment of different characteristics of heavy precipitation processes.It can be concluded that,the EFSS technique can effectively improve the identification of heavy precipitation forecast verification.
Keywords
neighborhood spatial verification ； ensemble forecasts ； traditional skill score ； EETS ； EFSS
