Allgemeine Meteorologie :  Wetterzentrale Forum Wetterzentrale Forum

| Wetterzentrale-Startseite | Wetterzentrale-Chat | Wetterchronik | wetter-foto.de | Das alte WZ-Forum-Archiv (05/1999-04/2007) |

| Nutzungsbedingungen/Forumsregeln | Die neuesten Postings aus allen Foren | Wettersymbole einbinden | Präfixe in Betreffs verwenden |

Syn. Verifikation 6-Tages-Modell-Prognosen Dez.2012 - Nov.2013
geschrieben von: Wetterfuchs (IP-Adresse bekannt)
Datum: 27. Juni 2014 11:10

VORBEMERKUNGEN UND DATENMATERIAL :

Wer mit Modell-Prognosen arbeitet, weiß, daß ihre Qualität Schwankungen unterliegt. Dies nicht nur von Tag zu Tag, sondern auch von Modell zu Modell. So entsteht der Wunsch, die Güte der Qualitätsschwankungen in systematischer Verifikation zu untersuchen. Die sich daraus ergebenden Schlüsse können helfen, aktuelle Modell-Prognosen besser einzuschätzen. Die zur Verfügung stehenden Modelle weisen Unterschiede in ihrer physikalischen und formalen Struktur (z.B. räumliche Auflösung) auf und können auf verschiedene Großwetterlagen unterschiedlich gut reagieren. Dabei gibt es Modelle, die dabei in der Regel besser sind als andere. Dies zu erkennen ist eine Hauptzielrichtung der Modell-Verifikation.

Wie aber verifiziert man Modell-Prognosen? Die operationell übliche Modell-Verifikation basiert auf quantitativen Verfahren des Orts- oder Gitterpunktsvergleichs zwischen Prognosen- und Analysen-Werten. Neben der quantitiven Betrachtungsweise bietet sich auch eine mehr synoptisch-feldmäßig orientierte Vorgehensweise an. Wer als Meteorologe operationell arbeitet, den interessiert auch die richtige Erfassung der synoptischen Strukturen wie z.B. der Druck-, Wind- und Temperaturfelder. Eine derartige Modellprüfung möchte ich als „synoptische“ Verifikation bezeichnen. Sie arbeitet mit der Mustererkennung und ordnet dem Grad der Übereinstimmung Bewertungszahlen zu. Im Forum habe ich diese Art der Verifikation schon in mehreren Beiträgen realisiert, sowohl für markante Fälle der Kurzfristvorhersage (z.B. Sturm- und Orkanlagen) als auch bei Mittelfristvorhersagen als Langzeitverifikation. Zu letzteren gehörten Gütebetrachtungen der 6-Tages-Prognosen der Modelle EZMW, GFS, GEM, JMA, NOGAPS und UKMO, ausgehend jeweils vom täglichen 12 UTC-Termin. Dies geschah konkret für den 1-Jahreszeitraum Dezember 2010 bis November 2011 [www.wzforum.de] sowie Dezember 2011 bis November 2012 [www.wzforum.de].

Mit dem neuen Posting wird die synoptische 6-Tages-Verifikation für den daran anschließenden Zeitraum Dezember 2012 bis November 2013 dargestellt. Zu diesem Zweck wurden wie bisher täglich aus dem Karten-Pool der Wetterzentrale (WZ) die 6-Tages-12 UTC-Prognosen für Bodendruck/500hPa archiviert, zusätzlich die zugehörigen 12 UTC-Analysen von GFS. Bei Ausfall der WZ-Karten konnte der Kartenbestand über WeatherOnline oder. Meteociel ausgeglichen werden. Unter dem Strich gab es nur 2 Zieltage mit Totalausfall, so daß 363 Tage (entsprechend 6 x 363 = 2178 Modellvergleiche) für die Verifikation genutzt werden konntenl.


DAS SYNOPTISCHE BEWERTUNGSSCHEMA :

Bei der Verifikation wurde das schon bisher dafür entwickelte Verfahren auf der Grundlage synoptischer Struktur-Kriterien und Bewertungszahlen weitergenutzt :

Synoptische Struktur-Kriterien :

Für den Bereich Europa/Atlantik ging es großräumig und regional um

+ Lage, Intensität, Gradient, Form, Ausrichtung von Druckgebilden Boden und Höhe (Zyklonen/Tröge, Antizyklonen/Keile) sowie
+ Struktur und Situation von Frontalzonen und Luftmassenbereichen

Der Grad der Übereinstimmung zwischen Prognose und Analyse wurde vor diesem Hintergrund mit folgendem Bewertungsschema erfaßt :

Bewertungsstufen ( 0 bis 10) :

0 : Total gegensätzliche Strukturen von Prognose und Analyse in allen Teilbereichen
1 : Fundamentale Unterschiede in allen Teilbereichen
2 : Erhebliche Unterschiede in allen Teilbereichen
3 : Starke Unterschiede in den meisten Teilbereichen
4 : Relevante Unterschiede in Teilbereichen, einige Bereiche aber besser
5 : Insgesamt noch befriedigende Prognose oder Fälle mit regionalen Schwankungen zwischen guter und schlechter Lösung
6 : Allgemein befriedigende, vereinzelt auch gute Lösung
7 : Durchweg befriedigende bis gute Lösung
8 : Allgemein gute bis sehr gute Lösung
9 : Durchweg sehr gute Lösung
10: Perfekte Prognose in allen Teilbereichen

Die genannten Bewertungsstufen berücksichtigten stets den gesamten betrachteten europäisch-atlantischen Bereich (s.u.) und nicht nur etwa Mitteleuropa. Es konnte also passieren, daß die Prognosenqualität für unseren Raum deutlich von der Bewertung des übrigen Bereichs und somit des Gesamtbereichs abwich. In der Bewertungsstufe 5 wird dieser Tatbestand direkt angesprochen. Der europäisch-atlantische Bereich wird auf den Karten normalerweise bis zu den östlichen Küsten Kanadas und der USA dargestellt. Eine Ausnahme bilden die Darstellungen der UKMO-Produkte, die bei WZ nach Westen hin räumlich beschränkt sind, im Mittelfristbereich von 6 Tagen grob bis zum Längengrad von Südgrönland. Um die Vergleichbarkeit der Verifikationsergebnisse zu wahren, wurde deshalb bei allen Modellen nur das Gebiet östlich dieses Längengrades berücksichtigt.

Um die Methodik der nachfolgenden Verifikationsergebnisse zu veranschaulichen sind nachfolgend beispielhaft zwei Zieltermine mit der Verifikation der 6 Modelle kartenmäßig gezeigt und erläutert. Der erste Termin präsentiert die Ergebnisse der Verifikation für den 08.01.2013 12 UTC :

Oben : 6-Tages-Prognosen EZMW, GFS, GEM für den 08.01.2013 12 UTC
Mitte : Analyse GFS vom 08.01.2013 12 UTC
Unten : 6-Tages-Prognosen JMA, NOGAPS, UKMO für den 08.01.2013 12 UTC





Der synoptische Feldvergleich führt zu folgender Bewertung :

EZMW : 7 Punkte, GFS : 8 Punkte, GEM : 5 Punkte, JMA : 5 Punkte, NGP : 5 Punkte, UKMO : 6 Punkte.

Eine in der Summe gute Prognose bot GFS. Das zeigte sich zunächst mit sehr guter Leistung beim markanten Tiefdrucksystem draußen auf dem Atlantik. Recht gut erfaßt auch die Situation im Vorderfeld über West- und Mitteleuropa sowie über dem Nordmeer. Gewisse Einschränkungen galten nur für Südrußland (Tief) und im Grenzbereich zu Asien (Hoch). EZMW brachte die atlantischen Verhältnisse auch sehr gut, zeigte aber über dem Nordmeer (Tief) und über der Nordsee Intensitäts- und Lageabweichungen. Die drittbeste Prognose bot UKMO, wobei allerdings das atlantische Tief lagemäßig verschoben war. Gewisse Abweichungen von der Analyse boten bei UKMO auch die anderen Gebiete. Die 3 übrigen Modelle (GEM, JMA und NGP) wiesen zwar auch keine massiven Fehleinschätzungen auf, boten aber regional stärker wechselnde Leistungen. GEM rechnete über dem Atlantik sehr gut, präsentierte andererseits in allen anderen Gebieten deutlichere Abweichungen. JMA und NOGAPS ihrerseits legten jeweils ein kräftiges Tief über dem Atlantik zu weit südlich. JMA hatte gleichzeitig Vorteile über West- und Mitteleuropa, NGP über Südrußland.

Das zweite Demonstrationsbeispiel ist der sommerliche Fall vom 14.07.2013 12 UTC :

Oben : 6-Tages-Prognosen EZMW, GFS, GEM für den 14.07.2013 12 UTC
Mitte : Analyse GFS vom 14.07.2013 12 UTC
Unten : 6-Tages-Prognosen JMA, NAVGEM, UKMO für den 14.07.2013 12 UTC





Jahreszeitengemäß war dieser Termin von eher schwachgradientigen Druckverhältnissen geprägt. Der Verifikationsvergleich hatte folgendes Ergebnis :

EZMW : 5 Punkte, GFS : 4 Punkte, GEM : 6 Punkte, JMA : 8 Punkte, NVG : 4 Punkte, UKMO : 6 Punkte.

In diesem Fall brachte nur JMA eine gute Leistung. JMA erfaßte alle wesentlichen Druckgebilde zwischen den Azoren und den Britischen Inseln, ebenso die Tiefdruckkette von der Barentssee über das Nordmeer bis zum Gebiet südöstlich Grönland. Auch in den Festlandsgebieten gab es keine relevanten Abweichungen. UKMO und GEM folgten bewertungsmäßig 2 Stufen hinter JMA. Beide zeigten sich relativ gut mit den Druckgebilden über dem Atlantik und dem angesprochenen Hoch. Einen Mangel stellte bei UKMO aber die (für dieses Modell typische) geglättete Struktur der Isobaren dar, GEM seinerseits überbetonte die Stärke des Hochs südwestlich der Britischen Inseln. Erst hinter JMA, GEM und UKMO landete an diesem Tag EZMW auf dem 4.Rang. Der Bereich von Island bis zu Ostsee zeigte Abweichungen von Isobarenausrichtung und Druckfeldstruktur und auch das Hoch war zu stark. Am schlechtesten schnitten GFS und NAVGEM ab. GFS rechnete eine fast glatte Frontalzone vom Atlantik bis zur Nordsee, wodurch auch das Hoch verschoben war. Auffällig auch die Unterschiede im subpolaren Bereich. Sehr ähnlich die Mängel bei NAVGEM, wobei zusätzlich die verschobene Lage des Haupttiefs nach Nordskandinavien auffiel. Das Hoch wurde aber besser als bei GFS erfaßt.


ERGEBNISSE DER VERIFIKATION :

Parallel zu der Verifikation der 2 Jahre zuvor wurden zunächst die zeitlichen Verläufe der synoptischen Bewertungen aller 12 Monate bestimmt und grafisch erfaßt. Daraus ergab sich jeweils ein monatliches und Jahres-Ranking unter den 6 Modellen. Weitere Auswertungen betrafen die Häufigkeitsverteilungen der berechneten Gütezahlen getrennt für die 4 Jahreszeiten und das ganze Jahr. Eine interessante Fragestellung war zusätzlich die nach der täglichen Relativ-Rangordnung, d.h. die Frage, wie oft jedes Modell jeweils allein oder mit anderen Modellen zusammen bestes Modell des Tages war und umgekehrt allein oder mit anderen Modellen zusammen schlechtestes Modell. Zum Abschluß ging es um einen zusammenfassenden Vergleich der neuen Ergebnisse mit den bisherigen Verifikationserfahrungen bei den 6 Modellen.


VERIFIKATIONSVERLAUF DEZEMBER 2012 - FEBRUAR 2013 :

Zunächst der grafische Überblick über den zeitlichen Verlauf der synoptischen Bewertung im Winter 2012/2013 :

Dezember 2012 :



EZMW : 6,10 GFS : 6,27 GEM : 5,70 JMA : 5,50 NGP : 4,83 UKMO : 5,47

Januar 2013 :



EZMW : 5,90 GFS : 5,77 GEM : 5,80 JMA : 5,50 NGP : 5,03 UKMO : 5,47

Februar 2013 :



EZMW : 6,71 GFS : 6,43 GEM : 6,04 JMA : 6,21 NGP : 5,79 UKMO : 6,18

Die Bewertungen für EZMW sind in Blau, für GFS in Rot, GEM in Grün, JMA in Gelb, NGP in Braun und UKMO in Violett gezeigt. Die zwei oben erwähnten Ausfälle im Datenmaterial betrafen beide den Winter, und zwar die Zieltermine 09.12.2012 und 27.01.2013. Wie der Überblick demonstriert, schwankte wie schon in den Vorjahren die synoptische Qualität der Prognosen sowohl in einem größeren Zeitrhythmus als auch von Tag zu Tag. Insgesamt war das Ergebnis für die 3 Wintermonate, wie noch gezeigt wird, aber relativ gut, wobei der Februar innerhalb des Winters sich bei allen Modellen bei den Prognosen als am besten erwies, was offensichtlich mit der spezifischen Großwetterlagen-Situation dieses Monats zusammenhing. Unter dem Strich war, wie monatlichen Mittelwerte zeigen, im Modell-Ranking EZMW im Hochwinter, Januar und Februar das beste Modell, im Dezember mußte das EZMW dem GFS den Vortritt lassen. Als am schwächsten erwies sich jeweils NOGAPS (NGP). Faßt man den Winter als Einheit zusammen, so ergaben sich folgende Werte. :

EZMW : 6,23 GFS : 6,15 GEM : 5,84 JMA : 5,57 NGP : 5,20 UKMO : 5,69

EZMW lag insgesamt an der Spitze, dahinter GFS. NGP nahm erwartungsgemäß den letzten Platz im Ranking ein. Das so ermittelte Winter-Ranking spiegelt sich auch in den Häufigkeitsverteilungen der täglichen Benotungen wider :



Insgesamt streuten die Bewertungen zwischen den Stufen 2 und 8. Auffällig die 2 Gipfel der Häufigkeit, einmal bei der Bewertung 5 und dann bei 7, besonders vertreten durch JMA. Bei den besseren Bewertungen ab der Stufe 7 dominierten EZMW und GFS. Umgekehrt waren diese beiden Modelle bei den schlechteren Noten unterhalb 5 am wenigsten vertreten, EZMW bei Note 3 überhaupt nicht. Entsprechend den Verhältnissen der Mittelwerte führte NGP bei den schlechten Noten die Rangordnung an, umgekehrt war bei der guten Note 8 dieses Modell gar nicht vertreten. Summiert man alle Fälle mit mindestens der Benotung 6 und mehr auf, so erkennt man, wie oft man bei den einzelnen Modellen mit recht sicheren Prognosen rechnen konnte. Diese Quote lag bei EZMW bei 72,7 %, bei GFS bei 67,0 %, bei UKMO bei 56,8 %, bei GEM bei 54,5 %, bei JMA bei 46,6% und bei NOGAPS bei 42,0%.

Die Vorrangstellung von EZMW und GFS wurde auch beim täglichen Relativ-Vergleich der Modelle deutlich, wobei es nur darum ging, ob ein Modell am konkreten Tag besser oder schlechter war als die anderen, unabhängig davon ob die Prognosen insgesamt gut oder schlecht ausfielen. Dazu wurden die täglichen Kategorien „Bestes Modell allein“, „Bestes Modell zusammen mit anderen“, „Summe von beidem“ „Schlechtestes Modell allein“ ,„Schlechtestes Modell zusammen mit anderen“ und „Summe von beiden“ ausgewertet und grafisch dargestellt. Dabei zeigte der Winter folgendes Bild (in der Grafik unter den Abkürzungen „Höchst“, „Höchst+“, „Summe“,„Tiefst“, „Tiefst+“, „Summe“ wiedergegeben):



50 mal waren EZMW und GFS in der Summe (alleine oder zusammen mit anderen Modellen) vorne, dagegen nur 14 mal NGP. An 3.Stelle folgte mit 30 Fällen GEM, an 4.Stelle UKMO mit 23 Fällen, dicht gefolgt von JMA mit 22 Fällen. Umgekehrt war NGP bei der Summe der schlechtesten täglichen Modelle mit 50 Fällen einsamer Spitzenreiter. Da erwies sich EZMW mit nur 12 Fällen (dabei keinmal alleine schlechtestes Modell!) deutlich als am günstigsten.


VERIFIKATIONSERGEBNISSE MÄRZ - MAI 2013 :

Auch für das Frühjahr 2013 hier zunächst der zeitliche Verlauf der Prognosengüte:

März 2013 :



EZMW : 6,19 GFS : 5,90 GEM : 5,58 JMA : 5,48 NVG : 4,90 UKMO : 5,61

April 2013 :



EZMW : 6,03 GFS : 5,70 GEM : 5,17 JMA : 5,50 NVG : 5,07 UKMO : 5,27

Mai 2013 :



EZMW : 5,68 GFS : 5,52 GEM : 5,45 JMA : 5,13 NVG : 5,23 UKMO : 5,35

Die Neigung zu kurzfristigen und längerfristigen Schwankungen der Prognosenqualität konnte auch im Frühjahr beobachtet werden. Dabei erwies sich EZMW, wie die monatlichen Güteziffern zeigen, in allen 3 Monaten als „Klassenprimus“. Den zweiten Platz behauptete GFS. Der Modell-Wechsel von NOGAPS (NGP) zu NAVGEM (NVG) brachte keine wesentliche Änderung beim Modell der US-Navy, im März und April blieb das Navy-Modell an der letzten Stelle, nur im Mai wurde die „rote Laterne“ an JMA übergeben. UKMO und GEM lagen im Schnitt an dritter bzw. vierter Stelle fast gleichauf. Verglichen mit dem Winter konnte jahreszeittypisch bei allen Modellen ein gewisser Rückgang der Qualität der Prognosen verzeichnet werden. Hier die genauen Zahlenwerte des Frühjahrs :

EZMW : 5,97 GFS : 5,71 GEM : 5,40 JMA : 5,37 NGP : 5,07 UKMO : 5,41

Vergleicht man diese Werte mit den Verhältnissen im Winter, so erkennt man einen offensichtlich jahrzeitbedingten Rückgang der synoptischen Prognosengüte bei allen Modellen.

Nun der Blick auf die Häufigkeitsverteilungen der täglichen Modellqualität :



Wie im Winter bewegte sich die Gesamtstreuung zwischen den Bewertungen 2 und 8. In den zwei besten Notenkategorien 7 und 8 war EZMW jeweils führend, umgekehrt in den schlechteren Benotungen 5 bis 3 war EZMW am wenigsten vertreten. Die Modelle EZMW, GFS, GEM, JMA und UKMO besaßen ihr Häufigkeitsmaximum bei 6, was nach Definition einer befriedigenden bis guten Mittelfristprognose entspricht. NVG hatte dagegen ein auffällig deutliches Häufigkeitsmaximum bei der Benotung 5. D.h. auch bei dieser Betrachtung lag NVG klar hinten. Faßt man wieder alle Fälle mit Bewertungen von 6 oder besser zusammen, so ergaben sich für das Frühjahr 2013 diese Fallzahlen : EZMW 66,3 % aller Termine, GFS 57,6 %, UKMO 52,2%, GEM 48,9 %, JMA 46,7% und NAVGEM 31,5 %.

Ergänzend wieder der Blick auf die Statistik der täglichen Relativ-Rankings :



Man sieht unmittelbar, daß EZMW in 50% aller Fälle bestes oder zusammen mit anderen Modellen bestes Modell war (Kategorie Summe). Den zweitbesten Wert erzielte mit 35% GFS. NVG kam nur auf 15 % aller Fälle, wobei es nur 1 Fall gab, bei dem NVG alleine bestes Modell war. Umgekehrt erwies sich EZMW im Frühjahr nur 1 mal als alleine schlechtestes Modell.


VERIFIKATIONSERGEBNISSE JUNI - AUGUST 2013 :

Wie entwickelte sich die Qualität der 6-Tages-Prognosen im Sommer 2013? Nachfolgend die Grafiken ihrer Zeitverläufe und in Zahlen die monatlichen Mittelwerte :

Juni 2013 :



EZMW : 6,03 GFS : 5,83 GEM : 5,67 JMA : 5,30 NVG : 5,23 UKMO : 5,53

Juli 2013 :



EZMW : 5,42 GFS : 5,26 GEM : 5,19 JMA : 5,10 NVG : 5,00 UKMO : 5,16

August 2013 :



EZMW : 5,19 GFS : 5,23 GEM : 5,16 JMA : 5,39 NVG : 4,90 UKMO : 5,39

Während die Schwankungsneigung der Prognosenqualität der Modelle von Tag zu Tag und im längeren Rhythmus auch das Bild im Sommer bestimmte, erwies sich im Juni und Juli EZMW im Monatsdurchschnitt erneut als das beste Modell. Im August hatten diese Rolle bemerkenswerterweise dann das JMA und UKMO inne. EZMW erreichte im August 2013 sogar nur den 3.Rang, wobei allerdings der Abstand zur Spitze recht gering war. Unverändert eine relativ schlechte Rolle spielte das NVG, das sogar in allen 3 Sommermonaten den geringsten Qualitätswert aufwies. Für das Modell-spezische Sommermittel der synoptischen Prognosenqualität errechneten sich folgende Zahlenwerte :

EZMW : 5,54 GFS : 5,43 GEM : 5,34 JMA : 5,26 NVG : 5,04 UKMO : 5,36

Auffällig, daß der Güte-Unterschied zwischen dem besten Modell (EZMW) und dem schlechtesten Modell (NVG) im Sommer besonders klein wurde, mit einer Differenz von 0,50 Punkten nur halb so groß war wie im Winter mit 1,03 Punkten. Im übrigen lag GFS wie in den beiden vorhergehenden Jahreszeiten an 2.Stelle, GEM und UKMO wie bisher nahe beieinander.

Was ergab sich im Sommer aus den Häufigkeitsverteilungen der Bewertungen ?



Die Darstellung demonstriert auch hier, daß es im Sommer durch EZMW und GFS keine deutlich herausstechende Leistung gab. Beim Notenwert 6 (allgemein befriedigende, vereinzelt auch gute Lösung) lag sogar UKMO an der Spitze. Am häufigsten war für alle Modelle die nur insgesamt befriedigende Benotung 5 vertreten, anders als noch im Winter und Frühjahr. Das deutet daraufhin, daß es aus synoptischer Sicht im Sommer allgemein am schwersten ist, wirklich gute Ergebnisse zu erzielen. Faßt man alle Fallzahlen mit der Benotung 6 und besser zusammen, so erzielte EZMW eine Prozentbetrag von 47,8 %, d.h. spürbar unter den Werten von Winter und Frühjahr. Nur knapp hinter EZMW erreichte GFS 44,6 %, gefolgt von UKMO mit 40,2 %, GEM und JMA mit 38,0 % und am Ende NVG mit 23,9 %.

Zur Abrundung der Sommerstatistik noch der Blick auf die täglichen Relativ-Rangordnungen:



Daß EZMW sowohl in der Kategorie alleiniges bestes Modelle als auch zusammen mit anderen Modellen bestes Modell, und somit auch in der Summe beider, im Sommer mehr oder weniger deutlich vorne lag, mag im ersten Moment in der Klarheit der Aussage überraschen. Ganz offensichtlich war für EZMW der tägliche Vorsprung absolut gesehen in einer Vielzahl der Fälle nur knapp. NVG schnitt in den 3 Relativ-Kategorien wieder relativ schlecht ab.


VERIFIKATIONSERGEBNISSE SEPTEMBER - NOVEMBER 2013 :

Welche Verifikationserkenntnisse brachte schließlich der Herbst 2013? Begonnen sei wieder mit dem zeitlichen Überblick über die drei Monate :

September 2013 :



EZMW : 6,00 GFS : 5,63 GEM : 5,20 JMA : 5,13 NVG : 5,20 UKMO : 5,43

Oktober 2013 :



EZMW : 5,87 GFS : 5,52 GEM : 5,52 JMA : 5,55 NVG : 5,23 UKMO : 5,39

November 2013 :



EZMW : 6,17 GFS : 5,53 GEM : 5,87 JMA : 5,23 NVG : 5,03 UKMO : 5,23

Wie in den Vormonaten kam es auch im Herbst zu kurz- und längerfristigen Schwankungen der Prognosengüte. In den monatlichen Mittelwerten der Prognosengüte behauptete EZMW in allen 3 Monaten seine führende Position. GFS erreichte dagegen nur im September den zweiten Platz, im Oktober war JMA knapp vor GFS, im November erwies sich GEM als deutlicher Zweiter. Im Oktober und November blieb NVG Schlußlicht des Rankings, nur im September lag JMA im Mittel knapp hinter NVG. Im Gesamtherbstmittel hielten EZMW und NVG deutlich ihre bisherigen jahreszeitlichen Rangpositionen :

EZMW : 6,01 GFS : 5,56 GEM : 5,53 JMA : 5,31 NVG : 5,15 UKMO : 5,35

Hinter dem Spitzenreiter EZMW und dem Zweiten GFS platzierten sich GEM und UKMO. NVG wurde erneute Letzter. Diese Verhältnisse spiegelten sich auch im Bild der Häufigkeitsverteilungen der Benotungen wider :



Die Häufigkeitsverteilung des Herbstes hatte die Form einer schiefen Gauss-Verteilung mit Betonung der besseren Güteklassen. In den oberen Güteklassen 7 und 8 erwies sich auch im Herbst EZMW als führendes Mittelfrist-Modell. Während der Gipfel der Häufigkeit bei allen Modellen jetzt bei der Benotung 5 lag, war die Zahl der schlechten Prognosen mit der Benotung 3 wie schon im Sommer relativ klein. Bei der Zahl der Prognosen mit einer Güte von Stufe 6 und besser erzielte EZMW wieder eine recht gute Quote mit 61,5 %. GFS und GEM waren gleichauf mit jeweils 47,3 %. An vierter Stelle folgte UKMO mit 41,8 %. Dahinter positionierte sich JMA mit 39,6 %. Das Schlußlicht bildete erneut NVG mit 33,0 %.

Klare Strukturen zeigte das Bild der täglichen Relativ-Vergleiche der Modellgüte :



Sowohl bei den Zahlen der besten Tages-Platzierungen als auch de schlechtesten Tages-Ränge gab EZMW deutlich den Ton an. Den Gegenpol bildete erneut NVG.


ZUSAMMENFASSENDE VERIFIKATIONSERGEBNISSE FÜR DEN GESAMTZEITRAUM DEZEMBER 2012 - NOVEMBER 2013 :

Nach der getrennten Betrachtung der Monate und Jahreszeiten bietet sich ein zusammenfassendes Verifikations-Resume‘ des Gesamtzeitraums Dezember 2012 – November 3013 an.

Dazu zunächst zu den Jahresmitteln der Benotungen der 6 Modelle :

EZMW : 5,93 GFS : 5,71 GEM : 5,52 JMA : 5,40 NGP/NVG : 5,12 UKMO : 5,45

Es überrascht nicht, daß EZMW im Jahresmittel eindeutig an der Spitze des Modell-Rankings stand. Noch eindeutiger war die Schlußlicht-Position von NGP/NVG. Die Neuformulierung des US-Navy-Modells zum März 2013 hat also die Gesamt-Rangordnung nicht verändert. Die zweite Position des Jahres-Rankings kam erwartungsgemäß GFS zu. Die Nächstplatzierten GEM (3.Platz), UKMO (4.Platz) und JMA (5.Platz) lagen in ihrer mittleren Qualität der 6-Tages-Prognosen relativ nahe beieinander .

Zur Frage des Jahresganges der Prognosenqualität weist die folgende Grafik die zeitliche Abfolge der monatlichen Mittelwerte der Prognosengüte aller 6 Modelle aus. Ergänzend erscheinen in grau-gemusterten Säulen jeweils die monatlichen Gesamtmittelwerte aller Modelle :



Erkennbar ist, wie schon oben im Text angedeutet, daß die Wintermonate Dezember 2012 – Februar 2013 insgesamt die besten synoptischen Verifikationswerte aufwiesen, mit dem Jahres-Maximum im Februar. Das galt für alle Modelle gleichsam. In dieser Eindeutigkeit kann der Grund nur in den typisch winterlichen starken und großräumigen Tief- und Hochdruckstrukturen liegen. In den nachfolgenden 3 Frühjahrsmonaten gab es dann einen kontinuierlichen Rückgang der Prognosengüte, mit Ausnahme von NVG, dessen Prognosequalität zum März hin (beim Wechsel von NGP auf NVG) gleich einen auffällig starken Rückgang aufwies, um sich dann aber wieder leicht zu verbessern, ohne den letzten Platz im Ranking zu verlassen. Die Frühjahrsschwäche der Modelle steht wahrscheinlich im Zusammenhang mit dem in dieser Jahreszeit beobachteten Zirkulationsrückgang, d.h. der Abschwächung und Verkleinerung der relevanten Druckgebilde in dieser Jahreszeit. Sieht man vom Juni ab, der wieder etwas bessere Gütewerte brachte, blieb die Qualität der 6-Tages-Modell-Prognosen etwa auf dem niedrigeren Frühjahresniveau, was wohl auch mit der abgeschwächten synoptischen Zirkulation zusammenhängt. Ein sehr interessantes Begleitphänomen der Absenkung der synoptischen Prognosequalität ist die Verkleinerung der Qualitätsdifferenz zwischen bestem und schlechtestem Modell. Wie bereits weiter oben im Zusammenhang mit der Sommer-Verifikation angesprochen betrug dieser Unterschied (konkret EZMW-NGP/NVG) im Winter 1,03 Punkte, im Sommer nur noch 0,5 Punkte, also nur die Hälfte. Im Herbst, mit der neuen Anfachung der Zirkulation und Entwicklung wieder kräftigerer und größerer Druckgebilde, erholte sich die Güte der 6-Tages-Prognosen leicht und auch Unterschied von EZMW und NVG wuchs wieder an.

In der folgenden Grafik ist zur optischen Verdeutlichung die Rangordnung für die einzelnen Modelle im Jahresverlauf direkt wiedergegeben :



Die Betrachtung der Grafik zeigt, daß sich EZMW in 10 der 12 Monate als bestes Mittelfristmodell erwies. Nur im Dezember und August stand EZMW nicht an 1. Stelle. Im Dezember erreichte EZMW den 2. Platz, im August nur den 4.Platz. Wie schon erwähnt war allerdings der absolute Notenunterschied zur Spitze besonder im August relativ klein. GFS platzierte sich im Dezember ganz vorne, in 8 Monaten an 2.Stelle außerdem im Januar, August, Oktober und November an 3.Stelle. GEM besaß den besten Rang im Februar und November mit jeweils dem 2.Platz, zusätzlich gab es 7 dritte Plätze, 2 vierte und 1 fünften Platz (April). JMA kam je 1 mal auf den ersten Platz (August) und zweiten Platz (Oktober). Ansonsten reichte es zu einem 3. Rang und drei 4. Positionen. Schließlich lag JMA auch zweimal an letzter Stelle (Mai, September). Für NGP/NVG gab es deutlich überwiegend letzte Plätze (11 Monate), nur September (4.Platz) und Mai (5.Platz) sah das Ranking für dieses Modell etwas freundlicher aus. UKMO befand sich im August ganz vorne, kam 2 mal auf den 3.Rang (März, September), 7 mal auf 4.Rang und 3 mal auf den 5.Rang (Dezember, Januar, Oktober). Schaut man sich die Schwankungen des Rangs der 6 Modelle an, so streut die Benotung bei JMA und UKMO am stärksten und bei GFS und NGP/NVG am wenigsten.

Nicht nur die Monatsmittelwerte der Prognosenqualität wiesen Streuungen auf. Interessant für die Einschätzung der Modelle ist auch der Umfang der täglichen Qualitätsstreuung im Jahresverlauf. Hier dazu die Grafik :



Bei den Modellen GFS, GEM, JMA, NVG und UKMO wurde die größte Häufigkeit bei der Benotung 5 beobachtet. Nur EZMW erreichte die häufigsten Benotungen bei der Gütestufe 6. Dazu war EZMW auch bei den Notenkategorien 7 und 8 deutlich führend. Zur schlechteren Seite hin ab Note 5 war EZMW stets alleine oder mit anderen Modellen am wenigsten vertreten. Faßt man die Fälle mit mindestens Stufe 6 und mehr zusammen, um zu sehen mit welcherm Prozentsatz man mit recht guten Ergebnissen rechnen konnte, so ergaben sich folgende Jahreswerte:

EZMW : 62,0% GFS : 54,0% GEM : 35,3% JMA : 42,7% NGP/NVG : 32,5%
UKMO : 47,7%

Bei EZMW konnte man also von fast zwei Dritteln aller Prognose von recht guter Leistung sprechen. NGP(NVG kam am Ende des Rankings dagegen nur auf knapp ein Drittel besserer Prognosen. GFS zeigte als klar zweitbestes Modell bei gut der Hälfte der Prognosen die Kategorie mindestens Note 6. An dritter Stelle behauptete sich mit etwas unter 50% UKMO. JMA erreichte noch einen Anteil in den vierziger Prozentwerten, GEM nur in den dreißiger Prozenten.

Fragte man sich unabhängig vom Gesamtniveau der Prognosengüte der 6 Modelle wie oft jedes Modell bestes (alleine oder zusammen mit anderen) oder schlechtestes (alleine oder zusammen mit anderen) war, so erhält man folgende Jahresstatistik :



Auch bei dieser Betrachtungsweise zeigte EZMW klar seine Spitzenstellung : Bei den Fällen mit alleinigem 1.Platz (Kategorie Höchst), mit dem 1. Platz zusammen mit anderen Modelle (Kategorie Höchst +) und der Kategorie Summe der beiden lag EZMW deutlich vorne. Umgekehrt zeigte EZMW bei den schlechten Rängen die geringste Jahreshäufigkeit. GFS kam bei beiden Kategorie-Seiten jeweils auf die zweitbeste Jahresbeurteilung. GEM lag jeweils knapp besser oder gleich mit UKMO. Deutlich befand sich auch hier NGP/NVG am Ende der Modell-Rangordnung.


ZUSAMMENFASSENDER MODELL-VERGLEICH DER LETZTEN 3 JAHRE:

Nach nun insgesamt 3 Jahren der synoptischen Langzeiverifikation der 6-Tages-Prognosen (s.o.) soll zum Abschluß dieses Postings ein kurzes Resume‘ der bisherigen Ergebnisse gezogen werden. Gab es in den 3 Jahren Unterschiede in der Prognosenl-Qualität, haben sich Rangordnungen der Modelle jeweils bestätigt oder verschoben? Was kann man als für die 3 Jahre als allgemein gültig für das Ranking herausfiltern?

Hier der vergleichende Blick auf die Monatsmittelwerte der 3 Jahre mit dem jeweiligen Modell-Rang in Klammern :

Dezember 2010 bis November 2011 :

EZMW : 6,13(1) GFS : 5,65(2) GEM : 5,40(5) JMA : 5,50(4) NGP : 5,04(6)
UKMO : 5,53(3)

Dezember 2011 bis November 2012 :

EZMW : 5,77(1) GFS : 5,51(2) GEM : 5,28(3) JMA : 5,22(5) NGP : 4,99(6)
UKMO : 5,25(4)

Dezember 2012 bis November 2013 :

EZMW : 5,93(1) GFS : 5,71(2) GEM : 5,52(3) JMA : 5,40(5) NGP/NVG : 5,12(6)
UKMO : 5,45(4)

Zunächst läßt sich feststellen, daß die 3 Jahre insgesamt ungefähr auf der gleichen Ebene liegen. Daß die Qualitätswerte im zweiten Jahr generell etwas niedriger ausfielen, kann verschiede Gründe haben : Eine unterschiedliche synoptische Situation, die die mittlere Prognosenqualität gedämpft hat oder auch eine etwas strengere Anwendung der zugrunde gelegten Beurteilungskriterien. Aussagekräftig ist in jedem Fall der relative Vergleich der Modelle untereinander. Und da erkennt man zweierlei deutlich : In allen 3 Jahren warEZMW Spitzenreiter, wobei allerdings der Vorsprung vor GFS, dem jeweils Zweiten, vom ersten bis zum dritten Jahr kontinuierlich zurückgegangen ist. Klar erscheint, daß das US-Navy-Modell (NGP/NVG) stets das Ende des Modell-Rankings innehatte. Mit dem Wechsel von NGP zu NVG hat sich höchstens eine sehr leichte Verbesserung ergeben. Zwischen der Spitzengruppe mit EZMW/GFS und den am Ende stehenden NGP/NVG wechselten die 3 Modelle GEM, JMA und UKMO untereinander teilweise ihre Rangordnung, wobei GEM zwei mal, UKMO ein mal und JMA kein mal auf Rang 3 kam.

Wetterfuchs



2-mal bearbeitet. Zuletzt am 15.08.14 22:04.



Thema Klicks geschrieben von Datum/Zeit
  Syn. Verifikation 6-Tages-Modell-Prognosen Dez.2012 - Nov.2013 4175 Wetterfuchs 27.06.14 11:10
  Re: Syn. Verifikation 6-Tages-Modell-Prognosen Dez.2012 - Nov.2013 1503 Triathlet70 27.06.14 12:25
  Was 'ne Arbeit!!! Toll! Danke aus Mainz! (oT) 1407 bamz 27.06.14 19:37
  Chapeau! (oT) 1378 willi wien 27.06.14 20:49
  Vielen Dank für die Ausarbeitung! 1402 Christoph (Halle/Saale) 28.06.14 21:34
  Vielen Dank für Deinen herausragenden Beitrag! 1407 Kaltlufttropfen (80 km sö v Berlin) 29.06.14 07:35
  Richtiger Hinweis... 1428 Wetterfuchs 29.06.14 21:48
  Mensch Leute 1417 Triathlet70 04.07.14 10:17
  Die Diskussion ist ja nicht neu, das Forum ist ein Anderes geworden... (oT) 1362 Thomas K. 04.07.14 10:21
  Wunderbarer Beitrag (oT) 1352 Arcus 29.06.14 11:18
  Daumen hoch Vielen Dank! Vielleicht sollten solch herausragende Ausarbeitungen durch Farbe kenntlich gemacht werden (oT) 1336 snow 04.07.14 10:54
  Heute genau vor 1 Monat..... 1391 Wetterfuchs 27.07.14 14:16
  Daumen hoch Beispielhaft für die spitzenmäßige Arbeit eines Profis unter den Forumsmitgliedern, ... 1362 Anonymer Teilnehmer 27.07.14 18:52
  Daumen hoch Re: Beispielhaft für die spitzenmäßige Arbeit eines Profis unter den Forumsmitgliedern, ... 1397 Wetterfuchs 29.07.14 23:25
  Danke für deine aufwändige Ausarbeitung 1379 Jürgen H. 08.08.14 20:14
  Vielen Dank für diese sicherlich zeitaufwändige Arbeit! (oT) 1369 Braunsroda(BLK-Sachsen-Anhalt-287m) 30.07.14 10:29
  Danke! 1347 S1dy 03.08.14 17:45
  Besten Dank für diese Analyse 1350 PeterausKerkrade 05.09.14 13:15
  Tack för bra Verifikation. 1900 Skandinavien-Hoch 22.10.14 16:33
  Sehr interessant- besten Dank (oT) 376 lenti - Schoemberg / Nordschwarzwald 29.04.17 05:35


In diesem Forum dürfen leider nur registrierte Teilnehmer schreiben.