Allgemeine Meteorologie :  Wetterzentrale Forum Wetterzentrale Forum

| Wetterzentrale-Startseite | Wetterzentrale-Chat | Wetterchronik | wetter-foto.de | Das alte WZ-Forum-Archiv (05/1999-04/2007) |

| Nutzungsbedingungen/Forumsregeln/Datenschutz | Die neuesten Postings aus allen Foren | Wettersymbole einbinden | Präfixe in Betreffs verwenden |

Verifikation Kurzfristvorherhersage Modellprognosen bis +54h, Dezember 2017
geschrieben von: Janek (Leipzig, 135m) (IP-Adresse bekannt)
Datum: 30. Dezember 2017 12:45

Hallo zusammen,

ich habe auf vielfachen Wunsch mal die aktuelle Statistik der letzten 30 Tage (29.11.-28.12.2017) für die Kurzfristprognosen der verschiedenen Modelle zusammengestellt.

Bezugsgebiet ist Mitteleuropa, bzw. genauer gesagt die SuperHD-Domain, siehe: [kachelmannwetter.com]
Es wurden jeweils alle verfügbaren Prognosen mit Vorhersagelängen von 6-54h herangezogen. Grund für die Abschneidung bei 54h ist, dass dort einige Modelle wie z.B. Euro4 aufhören und außerdem bei dieser Form der Verifikation der Fokus auf "ganzheitlicher" Modellgüte liegt, weniger auf der reinen Druckentwicklung. Bei Mittelfristverifikationen sind z.B. korrekte Temperaturwerte oder Niederschlagswerte extrem von der korrekten Druckentwicklung abhängig, wodurch keine direkte Aussage mehr über das zugrunde liegende Modell getroffen werden kann bzgl. Temp, Wind, Schnee usw.

Die automatische Verifikation läuft für alle gängigen Bodenparameter, die da wären:
TL=2m Temperatur
TD=2m Taupunkt
FF=10m Mittelwind
G1h=Böen letzte Stunde
GL1h=Globalstrahlung 1h
Sh=Sonnenscheindauer 1h
QFF=Bodendruck auf Meereshöhe
TN=Minimumtemp. letzte 12h
TX=Maximumtemp. letzte 12h
SNO=Schneedecke
RR12=12h Niederschlag
RR24h=24h Niederschlag

Die im Folgenden aufgelisteten Tabellen mit den Gütemaßen (engl. Skill Scores) umfassen folgende Maßzahlen:
BIAS=systematische Über- oder Unterschätzung durch die Prognose; Idealwert=0
MAE=mean absolute error, mittlerer absoluter Fehler; Idealwert=0
RMSE=root mean square error, Wurzel der aufsummierten quadratischen Abweichungen; Idealwert=0
CORREL=Korrelation zwischen allen Vorhersage- und Messwerten; Idealwert=1 (CORREL01 ist eine leicht abweichende Berechnung nur für den Wertebereich >0)
FSS1=fractional skill score, wieviel Prozent der Prognosewerte sind im engen Qualitätsband; Idealwert=1 (100%)
FSS2=fractional skill score, wieviel Prozent der Prognosewerte sind im weiteren Qualitätsband (doppelte Breite als bei FSS1); Idealwert=1 (100%)

Am Ende wird aus allen Einzelscores (Bias, MAE usw.) der Composite Score (kurz: SCORE) berechnet. Dieser ist parameterspezifisch gewichtet und eliminiert Berechnungsartefakte, die z.B. bei prozentualen Abweichungen von sehr geringen Niederschlägen vorkommen können. Außerdem ist er viel stabiler als z.B. eine reine RMSE-Betrachtung, wie es nach wie vor vielerorts Standard ist. Hintergrund ist, dass z.B. der RMSE beim Niederschläg oder Windböen Prognosen bevorzugt, die sehr konservativ sind und im Sommer z.B. lieber keine Schauer/Gewitter anzeigen anstatt etwas "zu riskieren". Dafür ist z.B. die Korrelation gut geeignet, allein aber zu fragil.

Das Ranking erfolgt dann nach dem SCORE in der Spalte RANK. Der maximale Composite SCORE beträgt 10, der minimale -10, wobei alles unter 0 schon katastrophale Fehlprognosen sind.

Nun zu den Parametern.
TL=2m Temperatur:
http://www.superzelle.de/maps/kmw/verif30d20171229/Verif_DACH_TL_171229_30days.png
Erwartunsgemäß liegt hier das SuperHD (Schweizer Flagge) mit seinem Ensemble-Pendant ganz vorn. Das deutsche HD und Rapid folgen auf den Plätzen.
Das kanadische GEM ist im Winter viel zu kalt (im Mittel -1.65 K), dadurch landet es abgeschlagen auf dem letzten Platz. Aber auch ECMWF (Euro), GFS, Hirlam (Niederlande) sind im Mittel nicht sonderlich gut, vor allem im Gebirge. Zu Brasilien weiter unten mehr.

TD=2m Taupunkt:
http://www.superzelle.de/maps/kmw/verif30d20171229/Verif_DACH_TD_171229_30days.png
Hier sieht es leicht anders aus, vor allem weil das SuperHD/SwissHD zu niedrigen Taupunktwerten tendiert (Bias!) und dadurch im Mittelfeld liegt (Im Winter). Hier sticht vor allem das Euro4 (UK) heraus, auch das RapidHD ist sehr gut -- wobei dieses auch immer nur bis +27h geht und entsprechend bei allen Parametern einen (etwas unfairen) Vorteil gegenüber den anderen hat.

FF=10m Mittelwind:
http://www.superzelle.de/maps/kmw/verif30d20171229/Verif_DACH_FF_171229_30days.png
Keine allzu große Streuung hier, Rapid wieder vorn u.a. dank halbiertem Prognosehorizont.

G1h=Böen letzte Stunde:
http://www.superzelle.de/maps/kmw/verif30d20171229/Verif_DACH_G1h_171229_30days.png
Eine klare Angelegenheit: nach SuperHD und 4x4 (und Rapid) kommt lange nichts. Auf den letzten Plätzen Australien und ECMWF, die allerdings auch nur 3h-Böen liefern, wodurch sich ein leichter Nachteil ergibt. Beim BIAS sieht man aber, dass das ECMWF hier grundsätzlich ein Problem hat.

GL1h=Globalstrahlung 1h:
http://www.superzelle.de/maps/kmw/verif30d20171229/Verif_DACH_GL1h_171229_30days.png
Interessanterweise liegt hier ebenfalls das SuperHD ganz vorn. Es hat zwar gerne mal etwas zu viel Wolken im Gepäck bei neutraler Schichtung, aber gerade mit den Hochnebeltagen hatten andere Modelle mehrheitlich größere Probleme.
Australien und Kanada laufen hier außer Konkurrenz, da sie nur 3h-Summen also GL3h liefern, das muss man einfachmal ignorieren in der Tabelle.

Sh=Sonnenscheindauer 1h:
http://www.superzelle.de/maps/kmw/verif30d20171229/Verif_DACH_Sh_171229_30days.png
Ähnlich wie bei der Globalstrahlung, aber nur wenige Modelle verfügbar. SuperHD im Mittel mit der geringsten Überschätzung und dem mit Abstand am besten MAE. Allerdings ist der Abstand zu Platz 3 relativ gering im Composite Score, das zeigt, dass der MAE hier allein kein guter Indikator ist (wird auch subjektiv unterstützt, wo das deutsche HD doch recht gut ist).

QFF=Bodendruck auf Meereshöhe:
http://www.superzelle.de/maps/kmw/verif30d20171229/Verif_DACH_QFF_171229_30days.png
Hier gibt es einen Bruch nach Rapid und dann nochmal nach dem SuperHD. Rapid dank kurzer Prognoselänge vor ECMWF, was sonst die Krone auf hat beim Druck. Hirlam mit konsequenter Unterschätzung, Brasilien wie fast überall mit großen Problemen. Ein 6er Score beim Druck ist schon außergewöhnlich schwer zu erreichen. Alles über 8.5 ist generell gut.

TN=Minimumtemp. letzte 12h:
http://www.superzelle.de/maps/kmw/verif30d20171229/Verif_DACH_TN_171229_30days.png
Nach dem deutschen Globalmodell (6.44) kommt länger nichts, Rapid und SuperHD deutlich vorn. ECMWF deutlich zu kalt, Australien zu warm.

TX=Maximumtemp. letzte 12h:
http://www.superzelle.de/maps/kmw/verif30d20171229/Verif_DACH_TX_171229_30days.png
Deutlicher Unterschied zum Tmin: SuperHD allein vorn, Rapid deutlich weiter unten. GermanHD wie fast bei allen Parameters auf dem Treppchen.

SNO=Schneedecke:
http://www.superzelle.de/maps/kmw/verif30d20171229/Verif_DACH_SNO_171229_30days.png
Klare Domäne von SuperHD und RapidHD. Nach dem deutschen HD erstmal eine Weile nichts. ECMWF mit zuviel Schnee im Mittel, vor allem in mittleren Höhenlagen sowie in den Alpen in der ersten Dezemberhälfte deutlich zu hoch. Hirlam indiskutabel, Euro4 auch eher mau, vor allem zum Modellstart Panne.

RR12=12h Niederschlag:
http://www.superzelle.de/maps/kmw/verif30d20171229/Verif_DACH_RR12_171229_30days.png
Jetzt kommt der knifflige Teil. Eine Punktverifikation wie diese ist bzgl. Niederschlag eine heikle Angelegenheit. Zum einen sind hoch aufgelöste Modelle bei bestimmten Staulagen klar im Vorteil, andererseits sind sie es, die bei leicht verschobenen Schauerbändern oder schmalen Fronten massiv Abzug bekommen, während globale/grobe Modelle hier dank "verschmierter" Niederschlagsgebiete weniger anfällig sind.
Auch hier gibt es eine 2-Klassen-Gesellschaft: die guten Modelle bis einschließlich GermanHD (6.55) unterscheiden sich im Mittel nicht so sehr, mal ist jenes besser mal das andere. ECMWF sehr gut, SuperHD auch (vor allem das Ensemble-Mittel auf Platz 1), die deutschen Modelle generell auch.
Brasilien: tja... da läuft fast täglich irgendetwas schief, vor allem beim Niederschlag. Eine satte -2.79 im Mittel, lieber nicht anschauen ;-)

RR24h=24h Niederschlag:
http://www.superzelle.de/maps/kmw/verif30d20171229/Verif_DACH_RR24h_171229_30days.png
Ähnlich dem 12h-Niederschlag, aber im oberen Teil geringere Abstände, während die 2. Garde (alles ab GFS) stärker abfällt.
Noch eine Anmerkung zum Bias bei Niederschlag im Winter: die recht hohen Überschätzungen bei quasi allen Modellen sind z.T. auch auf Messfehler bei Schneefall zurückzuführen, welche hierfür nicht korrigiert wurden (u.a. weil das grundsätzlich schwer bis unmöglich ist, Stichwort Heizung). Die ca. +16% beim SuperHD (3.16 Modell vs. 2.73 Messung) sind dann schon recht gut, wenn man im Mittel 10% Messfehler abzieht.


Zusammenfassend kann man sagen:
- es gibt nur wenige Modelle, die überall gut sind: das deutsche HD sowie SuperHD (mit Abstrichen beim zu niedrigen Taupunkt) und Euro4 (mit Problemen bei der Schneedecke, im Sommer hat es noch weitere...).
- Rapid schneidet grundsätzlich gut ab (außer beim Tmax), was aber zum Teil an der gerade einmal halben Prognoselänge (27h ggü. 54h bei den anderen) liegt. Aber auch sonst wäre es vorn mit dabei, aber seltener auf Platz 1.
- ECMWF fällt vor allem bei den Böen und der Schneedecke negativ auf. Bei der Temperatur und dem Taupunkt ist es vor allem im Gebirge nicht gut, Druck und Niederschlag sind ausgezeichnet.
- subjektiv gibt es vor allem bei den hoch aufgelösten Modellen noch weitere Stärken, die in so einer automatischen Verifikation nur unzureichend bis gar nicht erfasst werden können. Z.B. das Schauerpotenzial oder Blitze ja/nein, da ist z.B. das SuperHD "gefühlt" deutlich vor Rapid, Euro4 im Winter auch oft nicht schlecht. Auch die Niederschlagsphase kann hiermit nicht verifiziert werden.

Falls ich etwas unterschlagen haben sollte in der Erklärung, bitte nachfragen.

Viele Grüße
Janek



Thema Klicks geschrieben von Datum/Zeit
  Verifikation Kurzfristvorherhersage Modellprognosen bis +54h, Dezember 2017 1095 Janek (Leipzig, 135m) 30.12.17 12:45
  Danke für dieses interessante Schmankerl zum Jahresausklang (oT) 171 Lobo 30.12.17 12:52
  Nur am Rande: Sind weitere Modelle für Kachelmannwetter geplant, z.B. die ARPEGE-Ableger (Alaro oder Arome)? 216 Lobo 30.12.17 13:24
  ja, wir checken ob es machbar ist. (oT) 171 Janek (Leipzig, 135m) 30.12.17 15:51
  Danke für die spannende Übersicht! Da schneidet das WRF ja recht gut ab! Antrieb vom EZMW mit DA? (oT) 170 Thomas(Stgt.-Dürrlewang, 420 m) 30.12.17 13:27
  weder noch, DA kommt aber nächstes Jahr. (oT) 177 Janek (Leipzig, 135m) 30.12.17 15:52
  Mit DA geht sicher noch was. Auf 1km aber sehr CPU-lastig - leider... (oT) 167 Thomas(Stgt.-Dürrlewang, 420 m) 30.12.17 16:17
  Danke Janek, für die im positiven Sinne ganz gefühllose objektive Verifikation (oT) 192 Anonymer Teilnehmer 30.12.17 14:53
  Die gefühlvolle subjektive Verifikation vom Fuchs möchte ich ebenfalls nicht missen, ohne beide gegeneinander auszuspielen... ;-) (oT) 170 Kaltlufttropfen (80 km sö v Berlin) 30.12.17 16:53
  Vielen Dank für die ausgezeichnete Verifikation (oT) 166 HJH 30.12.17 16:40
  Daumen hoch Vielen Dank, klasse! (oT) 165 Kaltlufttropfen (80 km sö v Berlin) 30.12.17 16:50
  Super interessant. Besten Dank. 253 lenti - Schoemberg / Nordschwarzwald 30.12.17 17:19
  Das ist ein leicht modifiziertes ECMWF. (oT) 193 Anonymer Teilnehmer 30.12.17 17:20
  Ok, danke, Jörg, 225 lenti - Schoemberg / Nordschwarzwald 30.12.17 18:13
  Norwegen hat eine deutsche Flagge? :-o (oT) 175 Anonymer Teilnehmer 30.12.17 18:16
  Re: Verifikation Kurzfristvorherhersage Modellprognosen bis +54h, Dezember 2017 230 lenti - Schoemberg / Nordschwarzwald 30.12.17 18:42
  HD ist das 7x7 und ohne HD das ICON. Wo deutsche Flagge, da DWD (oT) 177 Anonymer Teilnehmer 30.12.17 18:47
  Thx. (oT) 173 lenti - Schoemberg / Nordschwarzwald 30.12.17 18:58
  Spannend. Danke! (oT) 225 Henning, (Paderborn (110m)) 01.01.18 22:47


In diesem Forum dürfen leider nur registrierte Teilnehmer schreiben.