Allgemeine Meteorologie :  Wetterzentrale Forum Wetterzentrale Forum

| Wetterzentrale-Startseite | Wetterzentrale-Chat | Wetterchronik | wetter-foto.de | Das alte WZ-Forum-Archiv (05/1999-04/2007) |

| Nutzungsbedingungen/Forumsregeln/Datenschutz | Die neuesten Postings aus allen Foren | Wettersymbole einbinden | Präfixe in Betreffs verwenden |

Syn.Verifikationsvergleich von 6- und 10-Tages-Mod-Progs Dez.2017-Nov.2018
geschrieben von: Wetterfuchs (IP-Adresse bekannt)
Datum: 11. März 2019 21:11

VORBEMERKUNGEN ZUR VERGLEICHENDEN SYNOPTISCHEN MODELL-VERIFIKATION VON 6- UND 10-TAGES-MODELLPROGNOSEN

Neben der rein quantitativen, Gitterpunkts-orientierten Modell-Verifikation, wie sie an Wetterdienstzentren routinemäßig durchgeführt wird, läßt sich die Qualitätsprüfung von numerischen Wettervorhersage-Modellen auch auf der Basis der qualitativen Erfassung der synoptischen Strukturen durch die Prognose durchführen. Dies erweist sich auch im mittelfristigen Vorhersagebereich als sinnvoll. Von diesem Gedanken ausgehend wurden von mir in den letzten Jahren jeweils für die Tage eines ganzen Jahreszeitraumes hier im Forum synoptische Verifikationen der 6-Tages-Prognosen 12 UTC der Modelle EZMW und GFS durchgeführt. In der Forums-Diskussion rücken zunemend auch Mittelfrist-Prognosen bis zu 10 Tagen in den Vordergrund der Diskussion. Welchen Wert haben 10-Tages-Prognosen heute ? Erste kürzere Verifikations-Ergebnisse zu dieser Frage hatte ich bereits vor 10 Jahren hier gepostet. Mit dem neuen Posting soll nun im Vergleich mit der von mir bereits vorgestellten synoptischen Verifikation der 6-Tages-Prognosen von Dezember 2017 bis November 2018 einer Ganz-Jahres-Verifikation 10-tägiger Modell-Prognosen von EZMW und GFS mit Hilfe der synoptischen Betrachtungsweise nachgegangen werden.

Die Ausgangsmaterialien für die 10-Tages-Verifikation waren bei der Aufarbeitung die gleichen wie bei der 6-Tages-Verifikation, nämlich die in www.wetterzentrale.de veröffentlichten Basiskarten der großräumigen Druckfelder (Boden/500 hPa), mit Auswertung des geographischen Bereichs von Europa plus dem angrenzenden Atlantik bis zum Längengrad der Südspitze Grönlands. Umständebedingt stand mir dabei für die 10-Tages-Prognosen-Auswertung nicht die ganz volle Anzahl von 365 Verfikationstagen, sondern 20 Tage weniger, d.h. 345 Verifikationstagen zur Vergügung (betroffen hauptsächlich Mai und Juni). Um einen inhaltlich echten Vergleich der Qualität von 6-Tages- und 10-Tages-Prognosen zu erhalten, erschien es einzig sinnvoll, bei beiden Zeitbereichen die gleichen Beurteilungskriterien anzuwenden. Deshalb übernahm ich für die Verifikation der 10-Tages-Prognosen das bei der 6-Tages-Prognosen-Verifikation bewährte Qualitäts-Schema :

0 : Total gegensätzliche Strukturen von Prognose und Analyse in allen Teilbereichen
1 : Fundamentale Unterschiede in allen Teilbereichen
2 : Erhebliche Unterschiede in allen Teilbereichen
3 : Starke Unterschiede in den meisten Teilbereichen
4 : Relevante Unterschiede in Teilbereichen, einige Bereiche aber besser
5 : Insgesamt noch befriedigende Prognose oder Fälle mit regionalen Schwankungen zwischen guter und schlechter Lösung
6 : Allgemein befriedigende, vereinzelt auch gute Lösung
7 : Durchweg befriedigende bis gute Lösung
8 : Allgemein gute bis sehr gute Lösung
9 : Durchweg sehr gute Lösung
10: Perfekte Prognose in allen Teilbereichen

Nach qualitativer Betrachtung der synoptischen Strukturen wurde also für jede Prognose der Grad der Übereinstimmung von Prognose miit Analyse über das vorstehende Punkteschema ausgewertet.

Vor der nachfolgenden Betrachtung der Ergebnisse der synoptischen Modell-Verifikation hier noch ein weiterer Hinweis : Bei den hier behandelten 6-Tages- und 10-Tages-Prognosen gilt als Tag der datumsmäßigen Zuordnung immer der gleiche Tag, der Zieltag der Prognose-Runs, nicht der Ausgangstag dieser Runs(Analyse-Tag) der Prognosen.


ERGEBNISSE DES VERGLEICHS DER SYNOPTISCHEN VERIFIKATION DER 6-TAGES- UND 10-TAGES-PROGNOSEN VON EZMW UND GFS IM ZEITLICHEN ABLAUF, SOWIE IN MONATS- UND JAHRES- MITTELWERTEN

Die nachfolgenden 12 Grafiken zeigen den nach Monaten sortierten zeitlichen Ablauf der synoptischen Prognosen-Qualität der 6- und 10-Tagesprognosen, jeweils links des EZMW-Modells, rechts des GFS-Modells. Darunter für jeden Monat die Wiedergabe der jeweiligen Monatsmittelwerte der Prognosengüte.

DEZEMBER 2017 :



Mittelwerte Verifikation 6-Tages-Prognosen : EZMW 5,55 GFS 5,35
Mittelwerte Verifikation 10-Tages-Prognosen : EZMW 4,33 GFS 4,43

JANUAR 2018 :



Mittelwerte Verifikation 6-Tages-Prognosen : EZMW 6,29 GFS 5,74
Mittelwerte Verifikation 10-Tages-Prognosen : EZMW 4,77 GFS 4,73

FEBRUAR 2018 :



Mittelwerte Verifikation 6-Tages-Prognosen : EZMW 5,71 GFS 5,00
Mittelwerte Verifikation 10-Tages-Prognosen : EZMW 4,71 GFS 4,32

MÄRZ 2018 :



Mittelwerte Verifikation 6-Tages-Prognosen : EZMW 5,74 GFS 5,35
Mittelwerte Verifikation 10-Tages-Prognosen : EZMW 4,32 GFS 4,10

APRIL 2018 :



Mittelwerte Verifikation 6-Tages-Prognosen : EZMW 5,63 GFS 5,13
Mittelwerte Verifikation 10-Tages-Prognosen : EZMW 4,20 GFS 4,20

MAI 2018 :



Mittelwerte Verifikation 6-Tages-Prognosen : EZMW 5,26 GFS 5,10
Mittelwerte Verifikation 10-Tages-Prognosen : EZMW 4,36 GFS 4,28

JUNI 2018 :



Mittelwerte Verifikation 6-Tages-Prognosen : EZMW 5,17 GFS 4,97
Mittelwerte Verifikation 10-Tages-Prognosen : EZMW 4,40 GFS 4,36

JULI 2018 :



Mittelwerte Verifikation 6-Tages-Prognosen : EZMW 5,32 GFS 5,13
Mittelwerte Verifikation 10-Tages-Prognosen : EZMW 4,53 GFS 4,43

AUGUST 2018 :



Mittelwerte Verifikation 6-Tages-Prognosen : EZMW 5,16 GFS 4,84
Mittelwerte Verifikation 10-Tages-Prognosen : EZMW 4,10 GFS 4,35

SEPTEMBER 2018 :



Mittelwerte Verifikation 6-Tages-Prognosen : EZMW 5,37 GFS 5,23
Mittelwerte Verifikation 10-Tages-Prognosen : EZMW 3,55 GFS 3,55

OKTOBER 2018 :



Mittelwerte Verifikation 6-Tages-Prognosen : EZMW 5,61 GFS 5,32
Mittelwerte Verifikation 10-Tages-Prognosen : EZMW 3,97 GFS 3,69

NOVEMBER 2018 :



Mittelwerte Verifikation 6-Tages-Prognosen : EZMW 5,70 GFS 5,27
Mittelwerte Verifikation 10-Tages-Prognosen : EZMW 3,73 GFS 3,67

Was sind zusammenfassend die Ergebnisse der Abfolge der täglichen Gütewerte der Modell-Verifikation und der Monats- und Jahres-Mittelwerte ?

1. Wie die 6-Tages-Prognosen von EZMW und GFS demonstrieren auch die 10-Tages-Prognosen der beiden Modelle die typischen täglichen als auch längerfristigen Schwankungen der Prognosengüte, wenn auch nicht mit ganz so großer Schwankungsbreite. Die Ursachen der Schwankungen dürften bei beiden Prognosen die gleichen sein. Während bei den kurzfristigen Schwankungen wahrscheinlich eine unterschiedliche Anfangsdaten-Verfügbarkeit die Hauptrolle spielt, sprechen die längerfristigen Qualitätsschwankungen eher für Einflüsse unterschiedlich gut prognostizierbarer Großwetterlagen und Zyklogenesen.
2. Was bereits der optische Vergleich der Tageswerte der Güte von 6- und 10-Tages-Prognosen deutlich erkennen läßt, wird durch die Monatsmittelwerte der Prognosengüte bestätigt : Die 10-Tages-Prognosen wiesen bei beiden Modellen eine erkennbar geringere Trefferquote auf als 6-Tages-Prognosen. Dieses Ergebnis überrascht nicht, es deckt sich mit den Ergebnissen der offiziellen quantitativer Verifikation.
3. Aussagekräftig auch der Modell-Gütevergleich der Monats-Mittelwerte : Während, wie schon bekannt, bei den 6-Tages-Prognosen in allen betrachteten 12 Monaten des untersuchten Zeitraumes EZMW im Mittel besser als GFS, war bei den 10-Tages-Prognosen das Resultat der synoptischen Verfikation nicht so eindeutig : Da erweis sich das EZMW nur in 8 Monaten als das bessere Modell. In 2 Monaten (April und September) erreichten EZM und GFS im Mittel die gleiche mittlere synoptische Güte und in den restlichen zwei Monaten (Dezember und August) lag das GFS vor dem EZMW.
4. Wie sah die Jahresstatistik des Vergleichs von einerseits des Vergleichs der 6- und 10-Tages-Prognosen, anderserseits des Vergleichs EZMW und GFS aus? Gegenüber den 6-Tages-Prognosen von EZMW mit einer Jahresgüte von 5,54 kamen die 10-tägigen EZMW- Prognosen nur auf eine Jahresgüte von 4,24. Die entsprechenden Werte von GFS lauteten bei den 6-Tages-Prognosen 5,21 und bei den 10-Tages-Prognosen 4,17. Gut erkennbar verringerte sich der mittlere Güte-Vorsprung des EZMW gegenüber GFS von den 6-Tages-Prognosen zu den 10-Tages-Prognosen.

Zur weiteren Veranschaulichung der unter den Punkten 3 und 4 geschilderten Unterschiede zwischen den mittleren Prognosen-Qualitäten (Monate und Gesamtjahr) soll noch nachfolgende Grafik dienen :



Man sieht: Der Abfall der Prognosengüte von den 6-Tages-Prognosen zu den 10.Tages-Prognosen zeigte sich bei beiden Modellen und in allen Monaten deutlich. Dabei besonders auffällig der Rückgang der 10-Tages-Prognosen-Qualität relativ zur 6-Tages-Prognosen-Qualität am Ende des Jahreszeitraumes in den 3 Herbst-Monaten September bis November. Eine genauere Untersuchung dieses Tatbestandes in den zugehörigen Kartenprodukten zeigt als Ursache, daß die typisch im Herbst stärker werdenden Zyklonenentwicklungen zwar in den 6-Tages-Prognosen schon meist erfaßt wurden, in den 10-Tages-Prognosen jedoch deutlich weniger.


STATISTIK DER TÄGLICHEN STREUUNG DER PROGNOSENGÜTE UND DES TÄGLICHEN MODELL-RANKINGS

Eine statistische Betrachtung der von Tag zu Tag streuenden Werte der Prognosen-Qualität bietet eine wichtige Ergänzung zur Diskussion der monatlichen und Jahres-Mittelwerte. Die nachfolgende Grafik zeigt links die Streuungwerte für EZMW und rechts für GFS, jeweils von den Gütewerten der 6- und 10-Tages-Prognosen :



Klar zu sehen, daß sich der Gipfel der Tages-Häufigkeiten bei beiden Modellen von der Prognosengüte 5 bei den 6-Tages-Prognosen zur Prognosengüte 4 bei den 10-Tages-Prognosen verlagerte, also um eine ganze Skalen-Einheit zur schlechteren Seite hin. Interessanterweise weist dabei das EZMW-Modell an den Rändern der Streuungskurve etwas größere Häufigkeiten auf als GFS, sowohl bei der guten wie aber auch bei der schlechten Seite. Die Streuungs-Statistik ist eine sehr griffige Aussage zum Qualitätsverhältnis von 6- und 10-Tages-Prognosen.

Aus den Streuungskurven lassen sich auch Abschätzungen über die Anzahl relativ guter bzw. relativ schlechter Prognosen für beide Prognosenweiten machen. Als relatuv gut kann man alle Prognosen mit einer synoptischen Güteziffer von 6 und mehr bezeichnen, als relativ schlecht alle Prognosen mit einer Güteziffer von 4 und weniger. Die Auszählung lieferte ür den Zeitraum Dezember 2017 – November 2018 folgende Resultate :

EZMW : 6-Tages-Prognosen : Noten >= 6 : 178 Tage (48,8%)
Noten <= 4 : 58 Tage (15,9%)
10-Tages-Prognosen : Noten >= 6 : 47 Tage (13,6%)
Noten <= 4 : 206 Tage (59,7%)

GFS : 6-Tages-Prognosen : Noten >= 6 : 132 Tage (36,2%)
Noten <= 4 : 87 Tage (23,8%)
10-Tages-Prognosen : Noten >= 6 : 25 Tage ( 7,2%)
Noten <= 4 : 221 Tage (64,1%)

Bei EZMW reduzierte sich die Quote der relativ guten Prognosen von 48,8% bei den 6-Tages-Vorhersagen auf 13,6% bei den 10-Tages-Vorhersagen. Bei GFS belief sich der Rückgang von 36,2 % auf 7,2 %. Umgekehrt erhöhte sich die Quote der relativ schlechten Prognosen bei EZMW von 15,9 % (6-Tage-Prognosen) auf 59,7 % (10-Tage-Prognosen). Bei GFS stieg die entsprechende Quote von 23,8 % auf 64,1 %. Die Zahlen demonstrieren nicht nur wieder den Rückgang der Prognosen-Güte von den 6-Tages-Prognosen hin zu den 10-Tages-Prognosen, sondern auch erneut den Güte-Vorsprung von EZMW gegenüber GFS.

Der in den vorstehenden Betrachtungen zum Ausdruck gekommene mehr oder weniger deutliche Qualitätsunterschied zwischen den 6-Tages-Prognosen und 10-Tages-Prognosen im Zeitraum Dezember 2017 – November 2018 wurde noch durch ein weiteres Untersuchungskriterium beleuchtet : An wieviel Prozent der Tage des einjährigen Untersuchungszeitraumes war die 10-Tages-Prognose schlechter, gleich gut, oder sogar besser als die für den gleichen Tag geltende 6-Tages-Prognose? Hier die ausgezählten absoluten und prozentualen Werte für EZMW und GFS :

EZMW :

- 10-Tages-Prognose schlechter als 6-Tages-Prognose : 244 Tage (70,7 %)
- 10-Tages-Prognose gleich gut wie 6-Tages-Prognose : 60 Tage (17,4 %)
- 10-Tages-Pronose besser als 6-Tages-Prognose : 41 Tage (11,9 %)

GFS :

- 10-Tages-Prognose schlechter als 6-Tages-Prognose : 230 Tage (66,7 %)
- 10-Tages-Prognose gleich gut wie 6-Tages-Prognose : 80 Tage (23,2 %)
- 10-Tages-Prognose besser als 6-Tages-Prognose : 35 Tage (10,1 %)

Die Zahlenwerte 11,9 % zu 70,7 % bei EZMW und 10,1 % zu 66,7 % bei GFS sprechen wie schon die vorher präsentierten Daten bei beiden Modellen für einen klaren Qualitätsunterschied zwischen 10-Tages-Prognosen und 6-Tages-Prognosen.


RESUME`

In diesem Posting wurde eine vor 10 Jahren in kleinerem Umfang hier im Forum erstmals vorgestellte synoptische 10-Tages-Prognosen-Verifikation neu aufgegriffen und für den Jahreszeitraum Dezember 2017 - November 2018 in Relation zur im Dezember 2018 vorgestellten 6-Tages-Prognosen-Verifikation des gleichen Zeitraums gebracht. Es ging wesentlich um das Leistungs-Verhältnis der Prognosen der beiden Vorhersagezeiträume.
Über das von der 6-Tages-Prognosen-Verifikation her bekannte synoptische Beurteilungsschema wurden für die beiden Modelle EZMW und GFS folgende Auswertungen vorgenommen : Darstellung des tageweisen zeitlichen Ablaufs der synoptischen Gütewerte von EZMW und GFS, Bildung und Vergleich von Monats- und Jahresmittelwerten der Gütewerte, Darstellung und Betrachtung der Güte-Streuung der Prognosen und Statistik des Ranking zwischen den beiden Vorhersagezeiträumen und beiden Modellen.

In allen Fällen der Auswertung zeigte sich ein deutlicher Abfall der Prognosen-Güte von den 6-Tages-Prognosen hin zu den 10-Tages-Prognosen. Außerdem resultierte wie schon bei den 6-Tages-Prognosen auch für die 10-Tages-Vorhersagen bei EZMW eine bessere Prognosengüte als bei GFS. Der Unterschied war aber nicht so ausgeprägt wie bei den 6-Tages-Prognosen.

Wetterfuchs



1-mal bearbeitet. Zuletzt am 02.04.19 10:57.



Thema Klicks geschrieben von Datum/Zeit
  Syn.Verifikationsvergleich von 6- und 10-Tages-Mod-Progs Dez.2017-Nov.2018 1154 Wetterfuchs 11.03.19 21:11
  Re: Syn.Verifikationsvergleich von 6- und 10-Tages-Mod-Progs Dez.2017-Nov.2018 436 Triathlet70 11.03.19 21:56
  Dem kann ich mich nur anschließen! Klasse, Wetterfuchs! (oT) 374 Kaltlufttropfen (80 km sö v Berlin) 11.03.19 22:49
  Vielen Dank. Tolle, hilfreiche Arbeit. (oT) 356 norwester 13.03.19 09:28
  Sehr schöne Arbeit!! DANKE! (oT) 347 Bernd aus Datteln bei Dortmund 17.03.19 09:38
  Daumen hoch Wow! Vielen Dank ! (oT) 351 Daniel [Emsdetten/20km N Münster/39m+ 12.03.19 23:10
  Vielen Dank für die Ausarbeitung. Interessant wäre noch zu wissen, ob die 10 Tagesprognose in den letzten 10 Jahren besser geworden ist. (oT) 375 Günter aus Overath-Federath 305m 13.03.19 20:47
  Re: Vielen Dank für die Ausarbeitung. Interessant wäre noch zu wissen, ob die 10 Tagesprognose in den letzten 10 Jahren besser geworden ist. 361 Holgi in Angeln 18.03.19 10:44
  Sorry-die richtigen Zahlen zu Re: Vielen Dank für die Ausarbeitung. Interessant wäre noch zu wissen, ob die 10 Tagesprognose in den letzten 10 Jahren besser geworden ist. 402 Holgi in Angeln 18.03.19 10:54
  Re: Sorry-die richtigen Zahlen zu Re: Vielen Dank für die Ausarbeitung. Interessant wäre noch zu wissen, ob die 10 Tagesprognose in den letzten 10 Jahren besser geworden ist. 371 Federwolke 26.03.19 00:10
  Hallo Federwolke, da hast du recht! Deshalb lauteten meine nächsten Sätze im posting doch wie folgt: 357 Holgi in Angeln 26.03.19 22:20
  Re: Diesen Effekt, des heute unbewußt etwas strengeren... 451 Wetterfuchs 02.04.19 10:26
  Daumen hoch Vielen Dank für die auch graphisch gut aufgearbeitete Übersicht und Auswertung! (oT) 359 Braunsroda(BLK-Sachsen-Anhalt-287m) 17.03.19 11:28


In diesem Forum dürfen leider nur registrierte Teilnehmer schreiben.