Allgemeine Meteorologie :  Wetterzentrale Forum Wetterzentrale Forum

| Wetterzentrale-Startseite | Wetterzentrale-Chat | Wetterchronik | wetter-foto.de | Das alte WZ-Forum-Archiv (05/1999-04/2007) |

| Nutzungsbedingungen/Forumsregeln | Die neuesten Postings aus allen Foren | Wettersymbole einbinden | Präfixe in Betreffs verwenden |

Syn. Verifikation 6-Tages-Modell-Prognosen Dez.2016 - Nov.2017
geschrieben von: Wetterfuchs (IP-Adresse bekannt)
Datum: 20. Dezember 2017 00:49

ANMWERKUNGEN ZUR METHODE DER SYNOPTISCHEN VERIFIKATION :

Aufgabe der Modell-Verifikation ist es, den Grad der Treffsicherheit von Modellprognosen für Einzelfälle oder für längere Zeitabschnitte, z.B. Monate oder Jahre, zu ermitteln. Bei der rotinemäßigen Modell-Verifikation der Wetterzentralen wird auf der Basis von Gitterpunkts-Auswertungen die Güteüberprüfung rein quantiativ durchgeführt. Geht man bei der Verifikation von der Betrachtung synoptischer Feld-Strukturen aus, so handelt es sich um eine wesentlich qualitative, synoptische Verifikation : Wie gut können Modell-Prognosen diese Strukturen im voraus erfassen? Die nacfolgende Darstellung beschreibt in Fortführung früherer Postings die synoptische Modellprognosengüte für den abgelaufenen 1-Jahreszeitraum Dezember 2016 bis November 2017. Gegenstand der neuen Verifikation sind dabei die Prognosen von EZMW und GFS und zwar jeweils die mittelfristigen 6-Tages-Prognosen von 12 UTC. Dies erforderte bei der Auswertung insgesamt 2 x 365 = 730 Verifikationsvergleiche. EZMW und GFS erwiesen sich in früheren synoptischen Vorhersage-Prüfungen jeweils als die besten in der „Wetterzentrale.de“ gezeigten Modell-Prognosen. Bei der letzten synoptischen Modell-Verifikation für den Zeitraum Dezember 2015 bis November 2016 [www.wzforum.de] wurde neben EZMW und GFS auch noch das bisher drittbeste Modell, das GEM ausgewertet. Dort sind auch Links und Vergleiche zu noch früheren Verifikationsjahren angegeben.


DATENMATERIAL UND SYNOPTISCHES BEWERTUNGSSCHEMA :

Verifikationsgebiet ist wie schon früher der auf den Karten der Wetterzentrale gezeigte Bereich östlich des Längenkreises von Südgrönland, d.h. der größte Teil des Atlantiks und der gesamte europäische Bereich. Die ermittelte Prognosengüte bezieht sich auf den Durchschnitt dieses Gesamtgebiets. Als maßgebende synoptische Kriterien wurden folgende Feldstrukturen angesehen : Lage, Intensität, Gradient, Form und Ausrichtung von Druckgebilden am Boden und in der Höhe (500 hPa), unter zusätzlicher Berücksichtigung der thermischen Struktur von Frontalzonen und Luftmassen. Die resultierende synoptische Prognosengüte wurde für jeden Ziel-Tag im folgenden Güteschema zwischen 0 und 10 ausgedrückt :

0 : Total gegensätzliche Strukturen von Prognose und Analyse in allen Teilbereichen
1 : Fundamentale Unterschiede in allen Teilbereichen
2 : Erhebliche Unterschiede in allen Teilbereichen
3 : Starke Unterschiede in den meisten Teilbereichen
4 : Relevante Unterschiede in Teilbereichen, einige Bereiche aber besser
5 : Insgesamt noch befriedigende Prognose oder Fälle mit regionalen Schwankungen zwischen guter und schlechter Lösung
6 : Allgemein befriedigende, vereinzelt auch gute Lösung
7 : Durchweg befriedigende bis gute Lösung
8 : Allgemein gute bis sehr gute Lösung
9 : Durchweg sehr gute Lösung
10: Perfekte Prognose in allen Teilbereichen


DEMONSTRATION ZWEIER TAGES-VERIFIKATIONSBEISPIELE

Um deutlich zu machen, wie bei dem angegebenen Güteschema z.B. eine „gute“, eine „insgesamt befriedigende“ Prognose aussieht, oder was unter „relevanten Unterschieden“ zwischen Analyse und Prognose zu verstehen ist, sollen vorweg 2 Tages-Beispiele der Verifikation durch Karten erläutert werden. Ausgewählt sind je ein Zielzeitpunkt im Winter und im Sommer.

Der Wintertermin beschreibt die synoptische 6-Tages-Prognose-Situation für den 15.01.2017 12 UTC.

Oben : 6-Tages-Prognosen für den 15.01.2017 12 UTC, links EZMW , rechts GFS :
Unten : Analyse GFS vom 15.01.2017 12 UTC :




Der Verifikationsvergleich führte zu folgender Bewertung :

EZMW : 7 Punkte, GFS : 6 Punkte

Die synoptische Lage wurde, wie die Analyse demonstriert, am 15.01.17 12 UTC von einem großräumigen Trog-Keil-Muster bestimmt, mit einem Trog inclusive Bodentief-Struktur über Westrußland und dem Mittelmeer. Der westliche Keilbereich wurde von einem kräftigen Bodenhoch nordwestlich der iberischen Halbinsel gestützt. Im westgrönländischen Gebiet befand sich ein weiteres kräftiges Tief. Als Gegenstück erkennt man ganz im Osten ein starkes russisches Hoch. Großräumig hatten beide Modelle die Lage erfaßt. EZMW traf die Situation des nordwest-iberischen Hochs und Mittelmeertiefs nach Lage, Intensität und Form gut. Ähnliches gilt für Grönland und Rußland. Nur im Bereich Nordmeer/Eismeer waren Abweichungen erkennbar und verhinderten eine glatte Note 8. Bei GFS war das Mittelmeertief nur schwach angedeutet, dafür wurde aber das kleine westrussische Tief besser als bei EZMW erfaßt. Zu kräftig und südlich erscheint bei GFS das grönländische Tief.

Das zweite Demonstrationsbeispiel betrifft den sommerlichen Fall vom 04.08.2017 12 UTC :

Oben : 6-Tages-Prognosen für den 04.08.2017 12 UTC, links EZMW , rechts GFS :
Unten : Analyse GFS vom 04.08.2017 12 UTC :




Dieser Verifikationsvergleich führte zu folgendem Ergebnis :

EZMW : 4 Punkte, GFS : 5 Punkte

Ein generelles Problem aller Sommerprognosen ist die richtige Erfassung der deutlich kleinräumigeren und schwächeren Hochs und besonders Tiefs dieser Jahreszeit. Dies führt leich zu Intensitäts-, Lage- und Form-Fehlern. Dies ist auch beim Fall des 04.08.2017 gut zu erkennen. Noch meist befriedigend ist in den beiden Modell-Prognosen die Situation in der Höhe getroffen worden. GFS rechnete das skandinavische Tief, bei einer nur kleinen Verschiebung nach Westen, nach Intensität und Form ohne größere Abweichungen und noch weitgehend richtigen Gradienten. Bei EZMW erkennt man bei diesem Tief eine deutlich zu schwache Struktur und lagemäßig stärkere Verschiebung. Das Hoch nordwestlich der Azoren ist sowohl bei EZMW als auch bei GFS zu schwach getroffen. Abweichungen sieht man bei beiden Modellen auch im nordrussischen und polaren Bereich.


ÜBERBLICK ÜBER DEN ZEITLICHEN VERLAUF DER PROGNOSENQUALITÄT MIT VERGLEICH DER GÜTEMITTELWERTE DEZEMBER 2016 BIS NOVEMBER 2017

WINTER 2016/2017 UND FRÜHJAHR 2017 :

Die Betrachtung der Verifikationsergebnisse beginnt mit der grafischen Darstellung der zeitlichen Verläufe der täglichen Prognosengüte der 2 Modelle und der Angabe der monatlichen Mittelwerte. Hier zunächst für Dezember 2016 und Januar 2017 :



Mittelwerte (in Klammern Rangordnung) Dezember 2016 :

EZMW: 5,74(1) GFS: 5,29(2)

Mittelwerte (in Klammern Rangordnung) Januar 2017 :

EZMW: 5,74(1) GFS: 5,03(2)

Wie bei den Verifikationen der Vorjahre erwies sich das EZMW in den ersten beiden Wintermonaten erneut als eindeutig besseres Modell als das GFS. Beim Blick auf den täglichen Ablauf der Prognosequalität werden ebenfalls frühere Erfahrungen bestätigt : Nicht nur von Tag zu Tag, sondern auch im mehrtägigen Rhythmus veränderte sich die Prognosegenauigkeit, und dies bei beiden Modellen. Diese Erfahrung ist wohl hauptsächlich auf die von Wetterlage zu Wetterlage schwankende Prognosenschwierigkeit zurückzuführen.

Nun der Blick auf die Verifikation von Februar und März 2017:



Mittelwerte (in Klammern Rangordnung) Februar 2017 :

EZMW: 5,50(1) GFS: 5,43(2)

Mittelwerte (in Klammern Rangordnung) März 2017 :

EZMW: 5,29(1) GFS: 4,90(2)

Im letzten Wintermonat 2017 zeigte sich bei der mittleren Prognosegüte eine inverse Veränderungstendenz der Modelle : Während die Prognosen von EZMW gegenüber vorher im Mittel einen Rückgang der synoptischen Güte aufwiesen, war sie bei GFS besser als bei beiden Monaten davor. Trotzdem erwies sich auch jetzt EZMW besser als GFS. Zum März hin wuchs der Vorsprung von EZMW sogar an. Weitgehend unverändert war in beiden betrachteten Monaten die Neigung zu täglichen und mehrtätigen Schwankungen der Prognosequalität..

Nachfolgend die Ergebnisse der Verifikation für die Frühlingsmonate April und Mai 2017 :



Mittelwerte (in Klammern Rangordnung) April 2017 :

EZMW: 5,47(1) GFS: 5,03(2)

Mittelwerte (in Klammern Rangordnung) Mai 2017 :

EZMW: 5,10(1) GFS: 4,94(2)

EZMW erwies sich für den April erneut als spürbar besser als GFS. Zum Mai hin sank bei beiden Modellen die mittlere Genauigeit der synoptischen Prognosen auf das bisherige Jahresminimum ab. Das veränderte die Rangordnung zwischen EZMW und GFS allerdings nicht, die EZMW-Qualität blieb besser als bei GFS. Beim Blick auf die Grafik bestätigte sich darüberhinaus die Existenz der täglichen und mehrtägigen Qualitätsschwankungen.
.

SOMMER UND HERBST 2017:

Wie sah das Ergebnis der Modell-Verifikation der Sommermonate Juni und Juli 2017 aus?



Mittelwerte (in Klammern Rangordnung) Juni 2017 :

EZMW: 4,80(1) GFS: 4,77(2)

Mittelwerte (in Klammern Rangordnung) Juli 2017 :

EZMW: 5,19(1) GFS: 5,13(2)

Die Gütezahlen für den Juni 2017 bedeuteten für beide betrachteten Modell noch einmal niedrigere Qualitätswerte als schon im Frühjahr, wobei der Qualitäts-Vorsprung von EZMW jetzt nur noch sehr gering war. Im Juli erholten sich sowohl EZMW als auch GFS in der mittleren Prognosenqualität wieder, ohne Änderung der Führungsrolle des EZMW. Der Blick auf die Grafik der beiden Sommermonate läßt deutlich erkennen, daß die Vorhersagequalität sich offensichtlich hauptsächlich im Bereich 4 und 5 bewegte, mit nur gelegentlichen „Ausreißern“ nach oben. Die Tages- und Mehrtagesschwankungen erschienen jetzt eher nicht so ausgeprägt wie vorher.

Wie entwickelte sich im August und September 2017 die Treffsicherheit der 6-Tages-Prognosen von EZMW und GFS ?



Mittelwerte (in Klammern Rangordnung) August 2017 :

EZMW: 5,23(1) GFS: 5,10(2)

Mittelwerte (in Klammern Rangordnung) September 2017 :

EZMW: 5,53(1) GFS: 5,13(2)

Gegenüber dem vorangegangenen Monat Juli blieb die mittlere Treffsicherheit von EZMW und GFS im August auf einem ähnlichen Niveau, bei EZMW stieg sie zum September wieder an. Der Vorsprung von EZMW gegenüber GFS hatte in beiden Monaten weiterhin Bestand. Die Grafik der Zeitverläufe verriet anderseits wieder eine Zunahme der täglichen und mehrtägigen Qualitätsschwankungen.

Schließlich der Überblick über die Verifikationsergebnisse von Oktober und November 2017 :



Mittelwerte (in Klammern Rangordnungen) Oktober 2017 :

EZMW: 5,39(1) GFS: 5,26(2)

Mittelwerte (Rangordnungen) November 2017 :

EZMW: 5,63(1) GFS: 5,20(2)

Mit Übergang in den Voll- und Spätherbst 2017 näherte sich die Prognosen-Qualität wieder dem Niveau des Winters davor. Und auch jetzt existierte ein Qualitätsvorsprung von EZMW. Die Qualitäts-Schwankungen von Zieltag zu Zieltag und über mehrere Tage waren jetzt z.T. auffällig groß.


ZUSAMMENFASSENDE BETRACHTUNG VON MITTELWERT UND JAHRESGANG DER PROGNOSENGÜTE IM ZEITRAUM DEZEMBER 2016 BIS NOVEMBER 2017

Die nachfolgende Grafik zeigt von Dezember 2016 bis November 2017 den Jahresgang der Güte der 6-Tages-Prognosen von EZMW und GFS :



Noch ausgeprägter als in den vorangegangenen Jahren kennzeichnete die synoptische Güte der 6-Tages-Prognosen im betrachteten Zeitraum bei beiden Modellen, am stärksten aber beim EZMW, einen Jahresgang. Die Prognosengüte war am höchsten im Winter 2016/2017, zeigte ein deutliches Minimum jeweils im Juni, um zum Herbst hin wieder anzusteigen. Die größte Amplitude besaßen die Prognosen von EZMW mit fast einer Güte-Einheit. Im Großen und Ganzen bewegte sich die monatlich gemittelte Prognosengüte zwischen 5 = „Insgesamt noch befriedigend“ und 6 = „Allgemein befriedigende, vereinzelt auch gute Lösung“. Im 2. Kapitel mit der Demonstration zweier konkreter Beispiele wurde bereits der wichtigste Grund für den synoptischen Güte-Unterschied zwischen Winter und Sommer genannt : Im Winter sind die Tief- und Hochdruckgebilde deutlich großräumiger und ausgeprägter als im Sommer, wodurch die synoptischen Fehler insbesondere von Lage (Phasenverschiebung) und Form dieser Gebilde im Winter geringer sind. Die Prognose kleinräumiger synoptischer Gebilde ist schwieriger als die der großräumigen synoptischen Gebilde.

Der zweite wichtige Aspekt der 6-Tages-Prognosen-Verifikation ist das Ranking der beiden Modelle EZMW und GFS. Was sich bereits in der Besprechung der einzelnen Monate zeigte, bestätigt der Gesamtüberblick der oberen Grafik : Unabhängig vom gemeinschaftlichen jahreszeitlichen Auf und Ab der Prognosen-Qualität beider Modelle erwies sich das EZMW-Modell in jedem Monat gegenüber dem GFS als das bessere Modell, am deutlichsten in der kalten, am wenigsten in der warmen Jahresezeit. Über den Gesamtzeitraum Dezember 2016 – November 2017 gemittelt ergeben sich folgende Durchschnittwerte der synoptischen Prognose-Qualität :

EZMW : 5,38 GFS : 5,10

Es ist das erwartete Ergebnis mit EZMW vorne, GFS an 2.Stelle. Vergleicht man dieses Resultat mit den entsprechenden Werten vom Zeitraum Dezember 2015 – November 2016, so sieht man einen leichten Rückgang der Prognosengüte bei beiden Modellen :

EZMW: 5,47 GFS: 5,28

Der Vorsprung von EZMW gegenüber GFS war im Vorjahr aber ähnlich groß wie jetzt.


TÄGLICHE STREUUNG DER PROGNOSENGÜTE UND DES MODELL-RANKINGS

So wichtig die Betrachtung der Mittelwerte der Prognosengüte und ihres Ranking, monatlich oder über das ganze Jahr hinweg, prinzipiell ist, so ist für die praktische Anwendung der Verifikationsergebnisse genauso bedeutsam, den Umfang der täglichen Qualitätsstreuung und das mögliche täglich wechselnde Ranking zu kennen. Zur Beantwortung zunächst der ersten Frage die folgende grafische Darstellung der Jahres-Streuung (Häufigkeitsverteilung) der Benotungen der Prognosen von EZMW und GFS :



Man erkennt : Die Streuung der Prognosengüte war bei beiden Modellen, wie schon früher, groß. Sie bewegte sich zwischen den Werten 3 (schlechte Prognosen) und 8 (gute bis sehr gute Prognosen) mit einem deutlichen Häufigkeitsmaximum bei der mittleren Güte-Note 5. Schaut man nun auf die Unterschiede der Häufigkeitsverteilung von EZMW und GFS, so spiegeln sie die Jahres-Rangordnung wider : EZMW wies die meisten Fälle der Noten 6, 7 und 8 und die wenigsten Fälle der Noten 4 und 3 auf. D.h. durch alle Noten der positiven und negativen Seite hindurch erweist sich EZMW im Vorteil. Bemerkenswert das deutliche Maximum der Fälle bei der mittleren Note 5 : GFS kam an 154 Tagen auf diese Qualitätsnote, EZMW an 146 Tagen. Dies machte bei GFS 42,2 % aller Tage, bei EZMW 40,00 % aus. Die Wahrscheinlichkeit, daß sowohl bei EZMW als auch GFS die 6-Tages-Prognose insgesamt noch befriedigend oder regional schwankend zwischen gut und schlecht ist, ist also relativ hoch. Ergänzend hier noch die Statistiken für die Fälle mit der Note 6 und besser bzw. 4 und schlechter :

Summierung >= 6 :

EZMW : 149 Fälle (40,8 %) GFS : 111 Fälle (30,4 %)

Summierung <= 4 :

EZMW : 70 Fälle (19,2 %) GFS : 100 Fälle (27,4 %)

Trotz eines gewissen Rückgangs auch dieser Qualitätszahlen gegenüber dem Vorjahr erreichte EZMW immerhin noch in gut 40 Prozent, GFS in gut 30 Prozent aller Tage eine mehr als befriedigende, z.T gute bis sehr gute Lösung. Die unbefriedigenden Fälle lagen bei EZMW bei unter einem Fünftel, bei GFS bei über einem Viertel aller Tage.

Nun der Blick auf die Streung beim Modell-Ranking. Auch wenn im Mittel sich EZMW in jedem Monat gegüber GFS durchdetzte, heißt das nicht, daß jede Mittelfristprognose des EZMW besser als die entsprechende Vorhersage des GFS war. Dies erkennt man schon qualitativ, wenn man auf die oben gezeigten monatlichen Tageswerte der Prognosengüte schaut. Zur weiteren Veranschaulichung hier die Grafik mit den monatlichen Auszählungen der Vergleiche EZMW mit GFS. Ausgezählt wurden jeweils die 3 Klassen : EZMW besser als GFS, GFS besseer als EZMW und EZMW gleich GFS :



Analog den Aussagen der Mittelwerte der synoptischen Prognosenqualität und der Auszählung der Streuung der Güteziffern erkennt man, daß einerseits GFS in jedem Monat eine bestimmte Anzahl an besseren Prognosen als EZMW lieferte, andererseits aber EZMW monatlich insgesamt stets mehr „Siege“ davontrug. Dies war am deutlichsten in den Monaten Dezember 2016 bis April 2017, sowie September und November 2017. Aber auch hier gab es mindestens zwei Ausrufezeichen : Stets war eine größere monatliche Anzahl von Prognosenvergleichen pari und nur in zwei Monaten war EZMW in mehr als der Hälfte der Tage besser als GFS, nämlich im Januar und März 2017. Summiert man die Auszählung über alle Monate, erhält man für den Gesamtzeitraum Dezember 2016 – November 2017 folgenden Wertevergleich :

EZMW > GFS : 147 Tage (40,3 %) GFS > EZMW : 85 Tage (23,3 %)
EZMW = GFS : 133 Tage (36,4 %)

Was bedeutet diese Statistik für die Anwendung der mittelfristigen 6-Tages-Prognosen? Es existiert zwar eine Grund-Wahrscheinlichkeit, daß eine aktuelle 6-Tages-Prognose von EZMW besser sein wird als die von GFS, aber die vorstehenden Zahlen zeigen, daß man jederzeit auch mit dem umgekehrten Fall rechnen muß. Für die letztendliche Entscheidung Kriterien zu entwickeln, ist eine weitere wichtige Aufgabe der Modell-Verifikation.
.

Wetterfuchs



1-mal bearbeitet. Zuletzt am 20.12.17 23:24.



Thema Klicks geschrieben von Datum/Zeit
  Syn. Verifikation 6-Tages-Modell-Prognosen Dez.2016 - Nov.2017 1365 Wetterfuchs 20.12.17 00:49
  Re: Syn. Verifikation 6-Tages-Modell-Prognosen Dez.2016 - Nov.2017 308 MB 20.12.17 06:17
  Re: Syn. Verifikation 6-Tages-Modell-Prognosen Dez.2016 - Nov.2017 280 Markol 20.12.17 07:05
  Herzlichen Dank für deine Mühe! 273 mosl, Ostallgäu, 758m 20.12.17 08:22
  Re: Syn. Verifikation 6-Tages-Modell-Prognosen Dez.2016 - Nov.2017 251 Triathlet70 20.12.17 13:54
  Daumen hoch Vielen Dank für Deine klasse Verifikation! 230 Kaltlufttropfen (80 km sö v Berlin) 20.12.17 20:15
  Ein großes DANKESCHÖN für Deine umfangreiche Verifikation>>> 229 Ralf aus Teltow (südlich v. Berlin-Ze 21.12.17 00:54
  Re: Syn. Verifikation 6-Tages-Modell-Prognosen Dez.2016 - Nov.2017 235 Badner Land 21.12.17 09:57
  Archiv-Prognose-Karten von GFS/ECMWF 227 Dennis (Ellerhoop,12m) 23.12.17 01:35
  Ich stimme Deinem Vorschlag voll zu (oT) 175 Wetterfuchs 23.12.17 21:31
  Ich wünsche allen, die sich hier an der Reaktion auf mein... 242 Wetterfuchs 24.12.17 23:26
  Re: Ich wünsche allen, die sich hier an der Reaktion auf mein... 241 Kaltlufttropfen (80 km sö v Berlin) 26.12.17 23:49
  Re: Syn. Verifikation 6-Tages-Modell-Prognosen Dez.2016 - Nov.2017 179 Sigward 10.02.18 13:22


In diesem Forum dürfen leider nur registrierte Teilnehmer schreiben.