Banner

IT-Gipfel: Wer spielt, gewinnt!

Auf dem Nationalen IT-Gipfel der Bundesregierung geht es in Sachen IT um die Wurst: alle Teilnehmer können beim Gipfelspiel prüfen, ob sie bei den Schwerpunkt-Themen IT-Sicherheit und Datenschutz tatsächlich mehr drauf haben, als eine Auswahl von Schülern.

Im Vorfeld des IT-Gipfels hat die DLGI - Dienstleistungsgesellschaft für Informatik auf inhaltlicher Basis des Europäischen Computerführerscheins (ECDL) einen online Schüler-Wettbewerb zu IT-Sicherheit und Datenschutz mit rund 100 Schulen initiiert. Die Durchschnitts-Ergebnisse der drei besten Schulklassen dienen als Grundlage für den Wissensvergleich mit den ausgewiesenen IT-Experten und Gipfelteilnehmern. Das Ergebnis überrascht auf den ersten Blick: die Schüler wissen mehr als die Profis!?
Tatsächlich ist der yeepa-Index (als Maß für psychometrisch kalibrierten Wissenserfolg) der Schüler in der Gesamtauswertung um 25% höher. Auch haben in allen thematischen Unterkategorien die Schüler die offizielle 75%-Hürde für erfolgreiches Bestehen überschritten und sich damit durchweg als fahrtauglich im Sinne des ECDL qualifiziert. Während andererseits die Gipfel-Teilnehmer die Prüfung mit 74,4% knapp nicht bestanden bestanden hätten und nur beim Unterthema Kommunikation das Steuer in der Hand halten.

itgipfel_results2_pre_ger.png

Im Balken-Diagramm dargestellt sind jeweils für Schüler (blau) und Gipfel-Teilnehmer (rot) die Erfolgsquote anhand der Balkenlänge. Die 75%-Linie ist die offizielle Bestehensgrenze für den Europäischen Computer-Führerschein (ECDL). Unter dem Gesamt-Ergebnis sind die Detail-Ergebnisse für die Unter-Themen aufgetragen. Der yeepa-Index (weisse Zahl am Beginn des jeweiligen Balkens) ist der objektive schwierigkeits-gewichtete Leistungs-Messwert für die Gruppe im jeweiligen Thema. Dieser ist umso höher, je höher der im Spiel zufällig ausgelieferte und erfolgreich gelöste Anteil schwieriger Frage ist.

Material und Methoden

Als Grundlage für die Kalibrierung dienen 106 Fragen aus dem ECDL, die von ca. 4000 Schülern innerhalb einer Woche in einem repetitiven und sozial-vernetzten Quiz auf der Gaming-Plattform yeepa gespielt wurden. Mit ca. 400.000 gespielten Fragen (Items) liegen genug Daten vor, um eine psychometrische Kalibrierung nach dem Rasch-Modell durchzuführen und dabei diejenigen Fragen (dichotome Items) zu ermitteln, die ein valides Verhältnis von Wissenskompetenz und Erfolgs-Wahrscheinlichkeit aufweisen. Die Daten-Analyse offenbart schliesslich 43 Items mit dieser Charakteristik. Da auf dem IT-Gipfel die Spieler weniger Zeit haben bzw. weniger Items spielen, werden hier nur diese 43 validen Items für das Game verwendet.
Aufgrund der in diesem Fragen-Subset gegebenen Korrelation von Erfolgsquote und Wissenskompetenz, ist die Angabe eines Grenzwertes für das Bestehen eines entsprechendes Tests gerechfertigt. Der Wert von 75% entstammt dem ECDL und erlaubt damit dem Spieler eine objektive Orientierung zur Frage "Hätte ich den ECDL bestanden?".
Sowohl für das Gesamt-Ergebnis wie auch für jede Themen-Kategorie wird neben der validierten Erfolgsquote auf Basis psychometrischer Analytik ein schwierigkeits-gewichteter Score für die tatsächlich im Spiel verteilten Items ermittelt. Ein normalisierter Durchschnitts-Wert ist der sog. yeepa-Index. Mit diesem Index-Wert können Intra- bzw. Inter-Gruppen- und Themen-Vergleiche sowie Verlaufsanalysen über die Zeit durchgeführt werden. Im Spiel selbst hilft der yeepa-Index dem Spieler, das eigene Spiel-Ergebnis zu objektivieren und Optimierungs-Potenziale zu erkennen.

itgipfel_rasch_pre_ger.png

Identifikation von Fragen, die sich für einen validen Wissensvergleich eignen, mit Hilfe statistischer Analytik: nur bei Fragen, die einen charakteristischen S-förmigen Verlauf bei der Erfolgs-Wahrscheinlichkeit aufweisen, lässt sich ein die korrekte Antwort bedingendes Kompetenz-Niveau ermitteln. Ist das nicht der Fall, ist eine Frage bzw. ein Test nicht für die Wissensmessung geeignet - sondern nur zum Spielen.

 

Ergebnisse

Wenn man sich die Teilnahme-Frequenz der Schüler genauer ansieht, dann stellt man zuerst fest, dass es einige Extrem-Spieler gibt, die bis zu 5000 Fragen gespielt haben (bewerkenswert ist, dass die Spitzen-Plätze bei den Vielspielern Lehrer eingenommen haben.) Am anderen Ende gibt es Nichtspieler, die nur kurz ins Spiel geschaut haben. Wenn man diese Extreme ignoriert und auf Fragenzahlen zwischen 10 und 200 fokussiert (siehe folgende Grafik), sieht man, dass 2/3 der Teilnehmer den prognostizierten Wert von 5-6 Spieldurchläufen (30 Items) bei Weitem übertreffen und sich zum Intensiv-Spiel anregen lassen. Dieser Effekt führt in dieser Gruppe schrittweise zu einer deutlichen Ergebnis-Optimierung.

itemcount_alles_1_ger.png

Anzahl der gespielten Fragen pro Teilnehmer

Diskussion

Bezogen auf die (nicht ganz ernst gemeinte) Fragestellung "Ist das Wissen zu Datenschutz und IT-Sicherheit bei den Besuchern des IT-Gipfels größer als das heutiger Schüler" wäre es trotz der o.g. Indizien nicht ganz korrekt, zu behaupten, dass IT-Experten kaum Schulwissen vorweisen können. Denn die Schüler sind beim vorliegenden Studiendesign eindeutig im Vorteil:

  1. die Schüler können sich mehr Zeit nehmen (1 Woche vs 1 Tag) und sehr oft wiederholen
  2. die Schüler können Gruppenspiele strategisch ausnutzen und gemeinsam spielen/lernen
  3. die Kalibrierung erfolgt auf Basis der Schüler-Resulate
  4. die Vergleichs-Gruppen sind asymmetrisch (drei beste Schulklassen vs. durchschnittlicher Gipfel-Teilnehmer)

Insofern sind sicherlich weitere Untersuchungen nötig, um stichhaltiger zu widerlegen, dass gestandene IT-Experten in Sachen Datenschutz und Sicherheit weniger wissen als heutige Schüler. Bislang lässt sich lediglich konstatieren, dass ein trockenes Thema - als sozial interaktives Spiel-Ereignis dargeboten - sowohl Schülern als auch Lehrern sehr viel Spass macht und denjenigen, die viel spielen, einen soliden Wissensvorteil einbringt.

 

Dr. Frank Hoffmann

Dr. Frank Hoffmann
ist Berater für Informations-Management
und konzipiert attraktive Internet-Anwendungen