Die vom R-Faktor-Modell abgegebenen Schätzungen wurden durch einen Ex-Post-Vergleich validiert. Hierbei werden die jeweils ersten abgegebenen Schätzungen (inkl. Nowcast erwarteter Nachmeldungen am jeweiligen Berichtstag) mit der heutigen R-Schätzung im Zeitverlauf (Berücksichtigung tatsächlich bekanntgewordener Nachmeldungen verglichen).
Da die Güte der Schätzung zum jeweiligen Berichtstag noch recht hohen Ungewissheiten und späteren Korrekturbewegungen durch Nachmeldungen unterliegt, werden die entsprechenden Validierungswerte zudem für die am Berichtstag für den Vortag aktualisierten R-Schätzungen (bereits ein zusätzlicher Tag Nachmeldungen bekannt) sowie für den aktualisierten Schätzpunkt zwei Tage zuvor ausgewiesen. Diese Werte geben Aufschluss über die angepasste Prognosegüte der letzten beiden Schätzpunkte vor dem Berichtstag.
Kennzahlen
Validierung der vom Modell abgegebenen R-Schätzungen für Schleswig-Holstein im Zeitraum vom 26. Januar 2021 (Start der aktuellen Modell Routine) bis 9. Januar 2022:| Berichtstag | Vortag | Vortag -1 | |
|---|---|---|---|
| abgegebene Schätzungen | 346 | 345 | 344 |
| Korrelation | 0,9273 | 0,9562 | 0,9759 |
| RMSE | 0,0042 | 0,0032 | 0,0024 |
| R² (Bestimmtheitsmaß) | 0,8598 | 0,9143 | 0,9524 |
| mittlere Korrekturbewegung | -4,22% | -3,15% | -2,19% |
| 5% Quantil Korrekturen | -11,53% | -9,65% | -6,83% |
| 95% Quantil Korrekturen | +7,01% | +4,27% | +4,22% |
Die Korrkturbewegungen zeigen an, wie stark sich abgegebene R-Schätzungen aufgrund von Differenzen zwischen ursprünglich geschätzten und später tatsächlich eingetretenen Nachmeldungen noch angepasst hat. Die Werte werden al Prozentwert bezogen auf die Ausgangsschätzung angegeben.
Insgesamt zeigt sich, dass die Erstschätzungen die Reproduktionszahl im Mittel etwas überschätzt haben. Mit Bestimmtheitsmaßen von durchgängig über 0,8 zeigt sich eine gute Modellgüte. Es ist auch zu erkennen, dass sich die R-Schätzungen mit einem oder zwei zusätzlichen Tagen Abstand nochmals deutlich nachschärfen, sodass sich beispielsweise für den jeweils zwei Tage zurückliegenden Schätzer eine sehr hohe Validität zeigt.