Statistisches Rauschen im Thüringer Frühwarnsystem.

kurze Zusammenfassung

Der Beitrag analysiert die zu erwartende Güte des sogenannten Schutzwertes im Thüringer Covid19-Frühwarnsystem und kommt zu dem Ergebnis, dass Landkreise mit geringerer Einwohnerzahl wahrscheinlich deutlich überproportional von einem rein zufälligen Überschreiten von Warnschwellen (Ausreißern) betroffen sein dürften. Gleichermaßen ergibt sich das Risiko, dass ebenso zufällig temporär weniger oder keine Hospitalisierungen auftreten und relevante Risikosituationen zu spät identifiziert werden.

Die Eckdaten und Ergebnisse einer beispielhaft durchgeführten Monte-Carlo-Simulation für verschiedene Einwohnerzahlen werden vorgestellt und zeigen zu erwartende Schwierigkeiten bezüglich der Validität und der Vergleichbarkeit des Wertes auf. Dennoch stellt das neue Frühwarnsystem eine deutliche Verbesserung gegenüber einer rein inzidenzbasierten Steuerung dar und ist damit ein Schritt in die richtige Richtung.

Zusammenfassend ergibt sich die Einschätzung, dass es bezüglich der Hospitalisierungsinzidenz noch Weiterentwicklungsbedarf und auch entsprechende Möglichkeiten gibt. Ziel sollte sein, über unterschiedlich große Landkreise und kreisfreie Städte hinweg eine angemessene Vergleichbarkeit und Güte der Kennzahl sowie der damit verbundenen Ampelschaltungen und Maßnahmen zu gewährleisten.

Am 24. August 2021 führte Thüringen das neue Frühwarnsystem ein, welches eine angemessenere Maßnahmenfindung entsprechend der Hospitalisierung und der Auslastung der Intensivstationen ermöglichen soll.

Neben dem bisherigen Indikator, der 7-Tage-Inzidenz, wurden zwei Zusatzindikatoren eingeführt, um die Entwicklung der Covid19-Pandemie sachgerecht zu bewerten: 

  • Der Schutzindikator, die 7-Tage-Hospitalisierungsinzidenz, misst dabei auf der Ebene der Landkreise und kreisfreien Städte, wie viele Corona-Patienten in der vergangenen Woche hospitalisiert wurden. Auch diese Inzidenz wird auf je 100.000 Einwohner normiert.
  • Der Belastungsindikator, der Anteil der coronabedingt betreuten Intensivpatienten (gemessen an der gesamten ITS-Kapazität) wird auf Landesebene hinzugezogen und für alle Kreise und kreisfreien Städte einheitlich verwendet.

Damit gehört Thüringen aktuell zu den wenigen Bundesländern, welche ihre Ampel systematisch um weitere Kennzahlen ergänzen. 

Aktuelle Werte und Informationen zur Ausgestaltung des Systems finden Sich unter TMASGFF: Frühwarnsystem .

Nebenbedingung: Belastung des Gesundheitswesens

Die Einstufung der einzelnen Kreise im Ampelsystem wird somit von Nebenbedingungen abhängig gemacht, welche die Belastung des Gesundheitswesens abfragen oder entsprechende Indikatoren zu kritischen Tendenzen liefern sollen. Dem wird das System in seinem methodischen Ansatz auch gerecht.

Um eine höhere Warnstufe im Ampelsystem auszulösen, muss dazu über drei Tage in Folge mindestens je einer der beiden Zusatzindikatoren ebenfalls eine entsprechende Schwelle überschritten haben.

Dieser Beitrag beleuchtet den Schutzwert (7-Tage-Hospitalisierungsinzidenz), welcher ebenfalls auf Ebene der Thüringer Landkreise und kreisfreien Städte ermittelt wird, etwas genauer.  

Hospitalisierungsinzidenz: Die Idee

Gemessen wird der Schutzwert sozusagen am Krankenhauseingang. Patienten, welche mit Covid19 in den vergangenen sieben Tagen hospitalisiert wurden, werden in Relation zur Einwohnerzahl gesetzt und je 100.000 ausgewiesen, sodass eine normierte Kennzahl entsteht, welche Vergleichbarkeit ermöglichen soll.

Dieses Vorgehen ergibt deshalb Sinn, weil die vermutlich bevorstehende Belastung der Kliniken früher bemessen werden kann als erst zum Zeitpunkt der Aufnahme auf eine Intensivstation. Darin dürfte sich auch die Bezeichnung als "Schutzwert" begründen. Rechtzeitige Reaktionen bei steigenden Hospitalisierungszahlen können die spätere Inanspruchnahme von Intensivstationen begrenzen und diese vor einer Überlastung schützen.

Bruchteil der Infizierten hospitalisiert

Aktuell ist zu beobachten, dass schätzungsweise 5 Prozent der Infizierten auch hospitalisiert werden. Die Datenbasis hierfür ist jedoch noch gering. Da der Zeitversatz zwischen Infektion und Hospitalisierung eine große Rolle spielt, könnte sich infolge einer steigenden Inzidenz auch noch eine höhere Hospitalisierungsquote zeigen.

Ungeachtet dessen ist der Anteil der Hospitalisierungen deutlich niedriger als beispielsweise im Herbst 2020. Besonders die Impfungen mit Schwerpunkt in den höheren Alters- und den vulnerablen Gruppen wirken sich spürbar entlastend auf die Hospitalisierung aus. Dies ist auch der Grund, weshalb die Inzidenz allein keine geeignete Messgröße ist, um die Belastung des Gesundheitswesens zu bewerten. Kennzahlen wie der Schutzwert ermöglichen dann eine differenziertere Lagebewertung.

Abbildung 1: Warnstufen im Frühwarnsystem: Schutzwert mit erster Schwelle bei 4 Hospitalisierungen je 100.000 Einwohner (Mitte gelb); Abbildung: TMASGFF

Herausforderungen in der Vergleichbarkeit lässt der Schutzwert dennoch erwarten: Der unterste Schwellwert von 4,0 Hospitalisierungen je 100.000 Einwohner bedeutet für eine Stadt wie Suhl mit rund 36.000 Einwohnern, dass bereits mit zwei Hospitalisierungen in einer Woche ein Schutzwert von 5,5 und Warnstufe 1 erreicht werden würde. Bei drei Hospitalisierungen würde mit einer Kennzahl von 8,2 je 100.000 Einwohner schon die zweite Warnstufe im Zusatzindikator angezeigt werden. 

Die auf die erste Nachkommastelle ausgewiesene Kennzahl ist also alles andere als filigran, sondern ziemlich sprunghaft. Je geringer die Einwohnerzahl, umso größer sind die Stufen je zusätzlichem Hospitalisierungsfall. Nach wenigen Wochen dürften versierte Leser das mögliche Spektrum der Kennzahlen in ihrem Landkreis und auch die Stufen, mit denen sie sich bewegt, wohl auswendig kennen. 

Der Zufall spielt mit

Wir kennen das Prinzip von Zufallsexperimenten wie Würfelspielen oder dem Münzwurf: Erst nach einer ausreichenden Anzahl von Versuchen zeigt sich eine aussagefähige Verteilung. Werfen wir eine Münze jedoch nur zweimal, ist es alles andere als gewiss, dass Kopf und Zahl je einmal dabei sein werden.

Bei einer Grundgesamtheit von ein oder zwei Hospitalisierungsfällen wie am Beispiel der Stadt Suhl ist die statistische Aussagekraft gering. Im Falle von beispielsweise 20 Infizierten in einer Woche, ist es eher dem Zufall zuzuschreiben, ob sich daraus ein, zwei oder auch gar kein Hospitalisierungsfall ergibt. Selbst eine Zahl von drei ist durchaus im realistischen - rein zufallsbasierten - Wahrscheinlichkeitsspektrum und besitzt keineswegs eine besondere Prognosegüte bezüglich der sich abzeichnenden Auslastung. Dies wäre erst dann gegeben, wenn sich über eine deutlich höhere Anzahl von Fällen entsprechende Verhältnisse herauskristallisieren. 

Derartige Ungleichverteilungen sind normal und müssen bei geringer Stichprobenzahl sogar erwartet werden: So wie bei einem einzigen Münzwurf zu erwarten ist, dass nur entweder Kopf oder Zahl herauskommen kann.

Eine Frage der Zeit

Doch im Frühwarnsystem würde eine entsprechende Ampelfarbe (sofern auch die Inzidenz den Schwellwert überschritten hat), zunächst auf dem neuen Niveau verweilen. Und jeden weiteren Tag wird erneut erhoben. Das bedeutet: Die Wahrscheinlichkeit möglicher ungünstiger Zufälle, welche sich dann in Ampelfarben manifestieren würden, summiert sich.

Für eine Stadt wie Suhl bedeutet das: Es ist nur eine Frage der Zeit (oder stochastisch ausgedrückt: eine Frage der Anzahl der Durchgänge), bis binnen drei Tagen mindestens zwei Hospitalisierungsfälle auftreten. Sind kleine Kreise wie Suhl nun ein Sonderfall, den ich hier herausgegriffen habe? Eine Ausnahme?

Wie groß ist das statistische Rauschen?

Nicht alle Landkreise sind nun - bezogen auf die Einwohnerzahl - so klein wie Suhl. Und auch der Schwellwert muss zunächst drei Tage in Folge überschritten sein. Ein Tag allein genügt nicht. Wie wahrscheinlich ist das? Wie groß sind die mögliche Streuung, das sogenannte statistische Rauschen, und die Wahrscheinlichkeit, rein zufällig in eine höhere Ampelfarbe eingestuft zu werden?

Noch sind Inzidenzen und Hospitalisierungen gering

Effekte wie der hier geschilderte spielen aktuell (7-Tage-Inzidenz von 23,3 am 31.8.2021 bei rund 20 Hospitalisierungen in ganz Thüringen) kaum eine Rolle. Noch bewegen sie sich unter dem Radar der Ampelschwellen. Doch die Frage, welche sich stellt: Wie tickt unsere neue Ampel bei höheren Belastungen, welche für den Herbst durchaus zu erwarten sind?

Zufallsexperiment: Inzidenz 50

Ich möchte mit folgender Simulation eine erste Einschätzung zum Verhalten der Hospitalisierungsinzidenz auf Land- und Stadtkreisebene wagen. Ein Zufallsexperiment (Monte-Carlo-Simulation) soll Licht ins Dunkel bringen.

Zielsetzung

Im Zentrum der Simulation steht die Frage:

Wie wahrscheinlich ist es, dass in Landkreisen mit unterschiedlichen Einwohnerzahlen innerhalb von 14 Tagen rein zufällig eine höhere Warnstufe ausgelöst wird als zu erwarten wäre?

Die Annahmen

Durch die geringen Fallzahlen der vergangenen Wochen, die Impfungen und neue Delta-Variante sind die Annahmen noch mit Vorsicht zu genießen. Auf Basis der noch recht geringen Datenbasis unter diesen Bedingungen simuliere ich mit folgenden Eckdaten:

  • hypothetische Inzidenz von 50 Fällen / 7 Tage / 100.000 Einwohner
  • Hospitalisierungswahrscheinlichkeiten:
    • 4% (nicht im Beitrag dargestellt)
    • 5% (aktuell in etwa zu beobachten)
    • 6% (nicht im Beitrag dargestellt)
  • Variation der Landkreise-Größen:
    • 42.000 Einwohner
    • 70.000 Einwohner
    • 98.000 Einwohner
    • 126.000 Einwohner
    • 210.000 Einwohner
  • 50.000 Simulationsschritte (3-Tage-Blöcke) 
    • 50.008 Simulationsschritte zu je 1 Tag
    • entspricht 50.002 vollständigen 7 Tage-Zeiträumen (6 Tage erforderlicher Vorlauf zur Abbildung der ersten 7-Tage-Inzidenz)
    • entspricht 50.000 sich überlappenden 3-Tage Blöcken (2 weitere Tage Vorlauf zur Abbildung einer Ampelschaltung an Tag 3)
    • entspricht 49.987 vollständigen, sich überlappenden 14-Tage-Zeiträumen (zur Bewertung von kumulierten Wahrscheinlichkeiten für Ampelschaltungen innerhalb von 14 Tagen)

Die Einwohnerzahlen sind so gewählt, dass sich je simuliertem Tag bei Inzidenz = 50 eine ganze Zahl an Infektionsfällen ergibt. Hier wird angenommen, dass die Fallzahl zeitlich recht gleichverteilt ist bzw. eine Hospitalisierung ohnehin zeitlich etwas später erfolgen würde, sodass mit einer zeitlich gleichverteilten Inzidenz gerechnet werden kann.

Darüber hinaus sind die Szenarien so gesetzt, dass innerhalb der Simulation weder von zwischenzeitlich steigenden oder fallenden Inzidenzen ausgegangen wird. Es soll also bewertet werden, wie hoch das statistische Rauschen (insbesondere die Wahrscheinlichkeit einer zufälligen Ampelschaltung auf gelb) bei einer stabilen Inzidenz von 50 Fällen je 100.000 Einwohner und 7 Tage über kreise verschiedener Größen hinweg etwa wäre.

Die Ergebnisse in den Simulationsschritten werden durch Zufallszahlen erzeugt, welche bei über 50.000 Schritten ("samples") je Szenario eine hinreichend aussagefähige Verteilung abbilden dürften. 

Für die Simulationen wird lediglich die Einwohnerzahl und die damit verbundene Fallzahl variiert. Andere strukturelle und organisatorische Aspekte (Altersstruktur, Impfquote, Test-Regime, Nachverfolgung etc.) werden als identisch angenommen ("ceteris paribus"). Damit wird unterstellt , dass aus einer identischen Inzidenz auch eine vergleichbare mittlere Hospitalisierungsquote resultiert.  

Der 14-Tage-Zeitraum wurde meinerseits gewählt, da mir die Fragestellung, wie hoch die Fehlerwahrscheinlichkeit binnen zwei Wochen sein dürfte, intuitiv eingängig scheint. Auch entspricht es in etwa dem zu erwartenden "Bremsweg", also dem Zeitversatz zwischen Ansteckung und möglicher Hospitalisierung.

Die Ergebnisse

Abbildung 2: Simulationsergebnisse bei 5% Hospitalisierungswahrscheinlichkeit (eigene Berechnungen mittels-Monte-Carlo-Simulation, 50.000 Samples zu je 3 Tagen / 49.987 14-Tage-Zeitfenster, autokorreliert)

Die Ergebnisse werden exemplarisch erläutert.

Stadt-/Landkreis mit 42.000 Einwohnern

Ein Landkreis mit 42.000 Einwohnern hat bei einer 7-Tage-Inzidenz von 50 Fällen pro Woche je 100.000 Einwohner 21 Corona-Fälle zu verzeichnen, drei im Tagesmittel.

Damit ergibt sich im Tagesdurchschnitt eine Zahl von drei Personen, welche mit entsprechender Eintrittswahrscheinlichkeit für eine spätere Hospitalisierung infrage kommen könnten, je Woche 21 Personen. Bei einer Hospitalisierungswahrscheinlichkeit von 5% wären im Durchschnitt 1,05 Hospitalisierungen je 7-TageZeitfenster zu erwarten.

Der Schwellwert (4 Hospitalisierungen je 100k Einwohner je 7 Tage) liegt bei 1,68 Hospitalisierungen. Das bedeutet: Es müssten in absoluten Zahlen zwei oder mehr Hospitalisierungen in 7 Tagen verzeichnet werden und zeitlich so gelagert sein, dass der Schwellwert an drei Tage in Folge überschritten werden würde. Die Wahrscheinlichkeit, dass dies in einem 3-Tage-Zeitfenster eintritt, liegt bei etwa 19% (nicht in der Ergebnisübersicht abgebildet).

Binnen 14 Tagen werden werden jedoch 14, jeweils um einen Tag versetzte 7-Tage-Zeiträume mit der entsprechenden Hospitalisierung beleuchtet. Liegen drei aneinandergrenzende Tage über dem Schwellwert von 1,68 (Intensivbelegung wird vernachlässigt), würde die gesamte Ampel bei einer Inzidenz von 50 von der Basisstufe in die erste Warnstufe wechseln (vgl. Abbildung 1).

Dass es innerhalb von 14 Tagen an mindestens drei Tagen in Folge rein zufallsbasiert zu derartigen Ausreißern ("Outliern") kommt, ist in der Simulation für einen Landkreis mit 42.000 Einwohnern in 29.350 der 49.987 Stichproben gegeben.

Dies entspricht einer Häufigkeit ("Outlier-Quote") von 58,7%.

Das bedeutet: Mit knapp 60% Wahrscheinlichkeit würde die Warnschwelle in einem 14-Tage-Zeitraum rein zufallsbasiert drei Tage in Folge gerissen werden.

Stadt-/Landkreis mit 210.000 Einwohnern

In einem Kreis mit 210.000 Einwohnern (letzte Spalte) wie es in etwa der Landeshauptstadt Erfurt entspricht, liegt dieselbe Wahrscheinlichkeit gerade bei 17,5 %. Grund hierfür ist, dass die Grundgesamtheit bei einer Inzidenz von 50 mit 105 Fällen je Woche deutlich größer ist. Damit stellt sich eine signifikant stärkere Tendenz zur Mitte (also zum erwarteten Mittelwert ein).

Das statistische Rauschen und die Fehleranfälligkeit sind etwa ein Drittel so hoch.

Die Power

Eine andere Sichtweise auf dieselbe Simulation eröffnet die Trennschärfe, auch "Power" genannt. Selbige wird aus einer Diskriminanzanalyse gewonnen. Ein Wert von 41% sagt aus, dass das Ergebnis um 41% treffsicherer ist als ein Zufallsexperiment. Oder Umgekehrt: Die Ampel-Einstufung ist (wiederum unter den getroffenen Annahmen) wäre zu 59% durch den zufällig zeitlich und örtlich variierenden Anfall von Hospitalisierungen getrieben. Für eine Stadt wie Erfurt (etwa 82% Power) wäre die Kennziffer nur zu 18% von zufällige Schwankungen bezüglich Zeit und Ort abhängig. 

In der Diskriminanzanalyse gelten Werte ab etwa 70% Trennschärfe als brauchbar. Für so weitreichende Entscheidungen wie sie unterschiedliche Warnstufen mit sich bringen können, sollte der Anspruch nach meiner Einschätzung jedoch noch etwas höher sein. 

Fazit

Mit dem neuen Frühwarnsystem und der darin enthaltenen Hospitalisierungsinzidenz bringt der Freistaat Thüringen eine durchaus wichtige Dimension in das Pandemiemanagement.

Generell lässt sich festhalten, dass die zwei zusätzlichen Nebenbedingungen, von denen mindestens eine gegeben sein muss, um eine höhere Warnstufe auszulösen, die Steuerungsgüte in jedem Fall verbessern und dabei helfen, ein vom Gesundheitswesen losgelöstes Management "nach Testergebnissen" zu vermeiden. Einfach ausgedrückt: Das Stufenkonzept ist ungeachtet der aufgeführten Schwächen auf jeden Fall besser als vorher. 

Bei absolut gesehen geringen Fallzahlen und einer noch geringeren Hospitalisierungswahrscheinlichkeit lässt sich aus der Hospitalisierungsinzidenz trotzdem kaum eine treffsichere Aussage zur Situation in einem mittleren Thüringer Landkreis mit unter 100.000 Einwohnern erwarten. Das statistische Rauschen - also der Zufall - dürfte die Ergebnisse so stark dominieren, dass kein valider Quervergleich zwischen einzelnen Kreisen möglich ist.

Erst ab Inzidenzen deutlich über 100 dürften sich die Werte durch die dann höheren absoluten Fallzahlen langsam schärfen. Landkreise und kreisfreie Städte mit weniger als 60.000 Einwohnern werden aber auch dann noch mit deutlichen Unsicherheiten leben müssen.

Somit erreicht der Schutzwert unter den gesetzten Parametern wohl erst im Bereich der Warnstufe 2 eine bedingte und erst ab Warnstufe 3 eine für alle Thüringer Kreise hinreichend trennscharfe Aussagekraft.

Insofern ist anzuzweifeln, dass mit dem Schutzwert bei unterschiedlicher Ausprägung auch unterschiedliche Maßnahmen hinreichend fundiert untermauert werden können. In vielen Landkreisen basiert die Kennzahl auf absolut zu wenigen (oft an einer Hand abzählbaren) Hospitalisierungszahlen, um darin eine treffsichere Lagebeschreibung zu begründen.

Ungewissheiten bezüglich dieser Analyse verbleiben jedoch mit Blick auf die Hospitalisierungswahrscheinlichkeit, welche ein wesentlicher Treiber der Simulationsrechnungen ist. Diesbezüglich dürften erst die kommenden Wochen genaueren Aufschluss ermöglichen. Auch ist einzuräumen, dass unterschiedliche Altersstrukturen, Impfquoten und Testregime in den Landkreisen auch bei identischer Inzidenz zu regional unterschiedlichen Hospitalisierungsquoten und daraus abgeleiteten Lagebildern führen können und müssen. Auf Basis der hier dargestellten Analysen ist jedoch anzunehmen, dass der Einfluss des Zufalls die Hospitalisierungsinzidenz in vielen Landkreisen deutlich stärker dominiert als es Unterschiede in der Altersstruktur oder der Impfquote könnten. 

Dem Ziel einer möglichst lokal differenzierten Erhebung ist trotz der aufgeführten Schwächen grundsätzlich zuzustimmen. Dennoch bräuchte es dafür zunächst eine geeignete Grundgesamtheit. 

Lösungsansätze? Machbar.

Summa summarum bedarf es in der Ermittlungssystematik für die Hospitalisierungsinzidenz und in der Ampelsteuerung  noch einiger Verbesserungen, um möglichst valide und vergleichbare Steuerungssignale sowie Lagebewertungen zu ermöglichen.

Die Stochastik als auch die Erfahrungen aus anderen Modellen im Risikomanagement bieten auf jeden Fall zahlreiche Möglichkeiten, um wie in der Simulation dargestellte Ausreißer-Wahrscheinlichkeiten auszugleichen und die Steuerungsgüte spürbar zu erhöhen.

Den möglichen Fehler, dessen Ursachen und sein mögliches Ausmaß zu kennen, ist immer eine gute Voraussetzung, auch Lösungen dafür zu finden. Insofern plädiere ich nicht dafür, gleich die nächste Kennzahl zu verteufeln und abzuschaffen, wenn es schwierig wird. Vielmehr müssen wir lernen, die Schwachstellen im Detail zu beheben. 

_________________________

Simulationsrechnungen mit anderen Annahmen stelle ich auf Anfrage gerne zur Verfügung.
Redaktionelle Änderungen (ohne Ergebnisrelevanz) vorgenommen am 5.9.2021 

 

Andreas Wenzel Verfasst von:

Entwickelt und prüft als Consultant seit mehr als 15 Jahren Risikoquantifizierungs- und -steuerungsmodelle im bankaufsichtlichen Kontext.

Schreibe den ersten Kommentar

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.