AKTUELL

luca stellt klar: Fakten rund um Nutzungsstatistiken

By August 31, 2021September 6th, 2021No Comments

Wir werden regelmäßig gebeten, Stellung zu nehmen zu Statistiken, die Dritte zum Einsatz beziehungsweise der Effektivität des luca-Systems erstellen. Dieser Beitrag soll helfen, die dabei beobachteten Abweichungen zwischen „außen“ (Dritte) und „innen“ (luca) zu erläutern.  

 

Hinweis: Der folgende Text bezieht sich auf das vom Chaos Computer Club Freiburg betriebene Grafana-Dashboard und übernimmt die Beschriftungen des Dashboards zur Zuordnung der Zahlen. Die zum Zeitpunkt der Entstehung dieses Textes jüngste Version des Dashboards war vom 16. August 2021. Sie ist inzwischen nicht mehr online. Alle unten verwendeten Kennzahlen beziehen sich auf dieses Datum.

Es geht uns bei den folgenden Ausführungen nicht um Aussagen wie „unsere intern ermittelten Zahlen sind höher/besser“ (in zwei Fällen liegen sie niedriger), sondern lediglich darum, die Anfälligkeit der extern ermittelten Zahlen für Abweichungen oder Fehlinterpretationen zu verdeutlichen.

Zufallswerte vs. Kennzahlen aus der luca-Datenbank

Sämtliche der von uns intern ermittelten Zahlen stammen direkt aus unseren Datenbanken und nicht aus Abfragen der betreffenden API-Endpunkte. Letztere liefern je nach Endpunkt aus verschiedenen Gründen keine akkuraten Angaben – worin der wahrscheinliche Grund für die jeweiligen Abweichungen besteht – und müssen dies auch nicht.   

Das CCC-Dashboard bezieht seine Daten durch Abfragen unserer öffentlich zugänglichen API-Endpunkte. Diese liefern teilweise auch nur Antworten von einem zufällig ausgewählten Backend-Container: Je nach Auslastung besteht das luca-Backend aus 50 bis 80 Containern, so dass es dem Zufall überlassen bleibt, ob eine Anfrage relevante Zahlen liefert oder nicht. Unsere Systemüberwachung ist von diesem Antwortverhalten nicht beeinträchtigt, da sie auf intern ermittelte Kennzahlen zugreift.

 

1. „Ø aktive Apps“ (CCC):  

Angabe CCC: 5,84 Millionen  
Angabe luca  
aktive Apps insgesamt: wir gehen von zirka 24 Millionen aktiven Nutzer:innen aus. Basis der Berechnung sind die Zahl der insgesamt im luca-System registrierten Bürger:innen (29 Millionen, Stand Ende August) sowie eine Angabe aus dem Google Play Store: Laut Google haben 85 Prozent aller Android-Nutzer:innen, die die luca App seit deren Erstveröffentlichung im September 2020 installiert haben, die App in den letzten 30 Tagen mindestens einmal geöffnet. Unterstellt man eine ähnliche Nutzungsrate auch in der Apple-iOS-Welt, ergibt sich hieraus (85 Prozent von 29 Millionen) die Zahl von 24 Millionen aktiven Nutzer:innen 
   
aktive Apps am Tag 16. August: ca. 1,8 Millionen  
Abweichung: zirka 410 Prozent (aktive Apps insgesamt) beziehungsweise 325 Prozent (täglich aktive Apps)  
   
Zur Ermittlung der täglichen Zugriffe durch die Apps ist luca auf Statistiktools der jeweiligen App-Stores von Apple und Google angewiesen. Während Google die „Daily Active Users“ für den 16. August präzise mit 1,2 Millionen angibt, muss man den Wert für Apples iOS schätzen: Zirka 200.000 Nutzer:innen der luca-App teilen freiwillig anonyme Nutzungsstatistiken mit Apple. Laut Apple entspricht dies zirka einem Drittel der tatsächlich aktiven Nutzer:innen, so dass wir rechnerisch auf 600.000 kommen.  
   
Unabhängig von den Abweichungen zwischen „innen“ und „außen“ ist das Ermitteln der täglichen Nutzer:innen – insbesondere während der Ferienzeit – unserer Ansicht nach wenig zielführend: Nicht alle Bürger:innen gehen täglich ins Restaurant, Fitnessstudio zum Frisör oder in ein Rat- oder Krankenhaus. Die Zahlen variieren daher von Tag zu Tag beträchtlich. Wir halten die auf unserer Startseite veröffentlichte Anzahl der Check-ins für aussagekräftiger.

 

2. „Logins Gesundheitsämter“ (CCC) 

Die Zahlen beziehen sich auf den 16. August 2021:  
Angabe CCC: 221 Logins  
Angaben lucaluca ermittelt diese Zahl nicht  
   
Wir ermitteln diese Zahlen aus Gründen der Datensparsamkeit selbst nicht und können daher keine Angabe zu der Anzahl der Logins der Mitarbeitenden in Gesundheitsämtern machen.

 

3. „Abfragen Gesamt = echte Traces != Personen“ (CCC):   

Die Zahlen beziehen sich auf den 16. August 2021:   
Angaben CCC: 2392 (echte Traces) & 19 (Einzelabfragen)  
Angaben luca: 3427 (echte Traces) & 13 (Einzelabfragen).   
Abweichungen: zirka 43 Prozent & zirka 32 Prozent  
   
Da wir nicht wissen, wie der CCC diese Zahlen ermittelt hat, können wir auch keine Mutmaßung über den Grund der Abweichungen anstellen. Allerdings ist anzumerken, dass die Anzahl der Traces zwar keinen eindeutigen Personen entspricht, die Wahrscheinlichkeit jedoch sehr gering ist, dass die gleichen Personen mehrmals in der Liste befinden, da damit die gleichen Kontaktpersonen in unterschiedlichen Standorten zusammen sein müssten.

 

4. „Bundesweite Anfragen von GA“ (CCC):    

Die Zahlen beziehen sich auf den 16. August 2021:  
Angabe CCC: 38 (Betreiber:innen) & 19 (Nutzer:innenfreigaben der Historie)  
Angabe luca: 43 (Betreiber:innen) 13 (Nutzer:innenfreigaben der Historie)  
Abweichung: zirka 13 Prozent & zirka 32 Prozent  
   
Von den 43 im luca-System erfassten Anfragen von Gesundheitsämtern bei Betreiber:innen fanden 31 Stück statt, ohne dass zuvor eine Nutzer:innen-TAN eingegeben wurde. Die Ämter erfuhren also nicht über das luca-System von einer positiv getesteten Person, sondern auf anderem Weg und fragten den Betrieb anschließend manuell an.

 

5. „Ø Checkin Ø Checkout pro Tag“ (CCC):

Die Zahlen beziehen sich auf den 16. August 2021:  
Angabe CCC: 771.000 (Check-ins) & 643.000 (Check-outs)  
Angaben luca: 1,42 Millionen (Check-ins) & 1,49 Millionen (Check-outs)  
Abweichungen: zirka 84 Prozent & zirka 131 Prozent (Check-outs)  
   
Die niedrigere Zahl der von uns ermittelten Check-ins im Vergleich zu den Check-outs kommt wahrscheinlich dadurch zu Stande, dass Nutzer:innen am Vortag den Check-out vergessen haben und dann automatisch 24 Stunden später vom System ausgecheckt werden.

 

Der Vergleich dieser Momentaufnahmen zeigt zweifelsohne, wie anfällig die über extern erreichbare Endpunkte ermittelten Nutzungsstatistiken sind. Wir erkennen den Wunsch der Öffentlichkeit natürlich an, Transparenz zu bekommen in Sachen Einsatz des luca-Systems. Diesem Wunsch tragen wir seit einiger Zeit Rechnung, indem wir die aus unserer Sicht relevantesten und aussagestärksten Metriken auf unserer Startseite veröffentlichen. 

 

Bleib gesund!

Dein luca-Team