*Intro Musik*
Hallo und herzlich willkommen zu meinem Vortrag "KI im Klassenzimmer - yay oder
nay?" Ich bin Nina, ich bin derzeit wissenschaftliche Mitarbeiterin im Büro
von Birke Bull-Bischoff. Sie ist die bildungspolitische Sprecherin der
Linksfraktion im Bundestag. Die letzten zwei Jahre habe ich auch die Enquete-
Kommission KI im Bundestag für die Linke mitbegleitet. Und davor habe ich auch
schon mal im Bildungssektor gearbeitet, sodass ich diesen Vortrag jetzt hier
nutzen möchte, um mal alle meine Beobachtungen zum Thema KI in der Schule
zusammenzutragen und vor allem auch einen Blick auf die dabei verarbeiteten Daten zu
werfen und einen Ausblick darauf zu schaffen, wie KI vielleicht sogar dafür
benutzt werden kann, um strukturelle Probleme im Bildungssektor anzugehen.
Vorausschicken möchte ich, dass wenn ich hier von KI rede, ich jeweils sogenannte
schwache KI meine und mich auf Machine Learning in als seinen Ausprägung beziehe.
Ich möchte euch zuerst einen kleinen Überblick geben, wie KI im Schulbereich im Moment schon
eingesetzt werden kann. Was dabei auch tatsächlich noch nicht so wahnsinnig gut
läuft. Dann natürlich zeigen, was meiner Meinung nach besser laufen könnte, welche
Anforderungen es braucht, damit es besser laufen kann und dann auch am Ende mit
einer konkreten Empfehlung schließen. Als ich mich vor ungefähr einem Jahr
angefangen habe, mit diesem Thema vertieft zu beschäftigen, sind mir zwei Dinge
aufgefallen. Zum einen ist der Begriff KI eigentlich noch nicht wirklich konkret und
allgemein definiert und all diese KI Anwendungen im Bildungsbereich auch noch
nicht. Da wird also viel experimentiert und herumgeworfen mit Learning Analytics,
mit Tutor Systemen, intelligenten Tutor Systemen. Das ganze unter die Oberbegriffe
von Educational Data Mining gestellt. Das ist wiederum teilweise die Voraussetzung
oder steht neben dem anderen Begriff von AIED, also Artificial Intelligence in
Education. Also da kann man je nach Autor und je nach Anwendungsbereich baut das
eine auf dem anderen auf oder steht nebeneinander oder ist eine Folge davon.
All das ist ein Signal dafür, dass wir in diesem Bereich tatsächlich noch sehr am
Anfang stehen, dass das alles sehr unstrukturiert ist. Und letztendlich ist
auch der ganze Anbietermarkt von diesem System noch sehr am Anfang und
unstrukturiert. Derzeit sind es vor allem oder eigentlich ausschließlich proprietäre
Systeme, sodass auch teilweise Forscher manchmal gar nicht so richtig wissen:
Arbeitet ein System, das mit KI wirbt, eigentlich wirklich mit KI im Sinne von
Machine Learning oder ist es nur ein einfacher Algorithmus ohne Lernverfahren?
Oder wie viel Werbung und wie viel Marketing steckt eigentlich in diesem
Anbietersystem eigentlich wirklich dahinter? Dann gibt es aber neben dem
ganzen Learning Analytics Bereich, der sich sehr konkret auf die Erhebung und
Analyse von lernenden Daten, also zur Verbesserung von Lernerlebnissen und
Lernenergebnissen beschäftigt, gibt es noch weitere Anwendungsbereiche, in denen
KI eingesetzt wird. In den USA gibt es zum Beispiel ein Verfahren, dass das
Surfverhalten analysiert. Auf dieser Keyword Liste der Risikofaktoren stehen
dann allerdings auch Begriffe wie schwul, queer oder Gedichtsammlung. Also selbst
wenn wir jetzt auch von sehr intoleranten Gesellschaften ausgehen, ist es natürlich
überhaupt nicht zu unterstützen, dass diese Begriffe überhaupt irgendwie
Personen zugeordnet und im Sinne einer Risikoprävention verwendet werden.
Gesichtserkennung auf dem Schulgelände gab es neben den USA auch in Europa schon. Das
hat Schweden mal an einer Schule probiert und die wurden dann aber nach sehr, sehr
kurzer Zeit auf Basis der DSGVO auch schon mit einer hohen Strafe versehen. Also
nicht unbedingt nachahmenswert. In China ist man da schon ein bisschen weiter und
auch ein bisschen toleranter. Dort gibt es Gesichtserkennung auch in der Mensa und in
Bibliotheken, sodass dann ganz nebenbei auch noch Ernährungsverhalten und
Leseverhalten noch mit erfasst und analysiert werden. Ganz besonders charmant
ist natürlich, dass Eltern sich in Klassenzimmerkameras auch mit einloggen
können, um ihre Kinder dort direkt im Unterricht damit zu beobachten. Es gibt
zwar hier und da sogar in China Widerstände dagegen und das finden nicht
alle Eltern toll. Aber so wie ich das mitbekommen habe in den letzten Monaten,
ist die Entwicklung da wahrscheinlich eher noch schwer aufzuhalten. Hier in
Deutschland gibt es Forschungsprojekte, um zum Beispiel mit einem Stift direkt beim
Schreiben, Üben, Schreibfehler oder Schreibschwächen rechtzeitig zu erkennen.
Eher aus dem Hochschulbereich ist dieses Beispiel entnommen vom KIT, wo die
Studienabbruchswahrscheinlichkeit berechnet wird. Je nachdem was man mit den
Ergebnissen macht, kann das vielleicht sogar sinnvoll sein, weil dann rechtzeitig
Hilfestellung gegeben werden kann. Aber wie dann einzelne Entscheider:innen mit
solchen Ergebnissen umgehen, das steht natürlich nochmal auf einem ganz anderen
Blatt. Und dann wird am DFKI und auch in der Universität von Tübingen an
intelligenten Schulbüchern geforscht, die auch mit Daten arbeiten aus iTrackern, EEG
Messung und sogar aus der Nasentemperaturmessung. Dabei wird davon
ausgegangen, dass wenn die Nasentemperatur fällt, davon auszugehen ist, dass einem
Lernenden bei seinem Lernstoff gerade Schwierigkeiten begegnen und das würde
dann letztendlich in einer perfekten intelligenten Schulbuchversion dazu
führen, dass ihnen noch ergänzende andere Inhalte angezeigt werden oder vielleicht
irgendwie der ganze Lernpfad dann in Zukunft anders aufgebaut wird. Ich bin
sehr gespannt, ob diese System Entwicklung jetzt auch im Pandemiewinter Daten erhebt,
wo wahrscheinlich jeder Schüler zu jeder Zeit einfach kalte Nasen hat und was das
letztendlich für die Lernpfadentwicklung bedeutet. Aber das ist ein anderes Thema.
Kann KI denn überhaupt im Bildungssystem etwas Positives beitragen? Und wenn wir
uns die Stärken von KI angucken, dann sieht es auf den ersten Blick tatsächlich
so aus, als wäre das eigentlich gar keine so schlechte Idee. Gerade im Bereich der
Spracherkennung oder Übersetzungssysteme mit allen Schwächen, die damit
einhergehen, kann es tatsächlich dazu beitragen, dass Integration oder auch
Inklusion an Schulen einfach erleichtert werden im Sinne von ergänzt werden. Wenn
Systeme gut gemacht sind, können sie zumindest kurzfristig immerhin auch die
Motivation von Schüler:innen steigern und können im Idealfall Lehrkräfte auch
tatsächlich entlasten. Das wäre alles total wunderschön, wenn es nicht auch
Schwächen im KI-System gibt, die euch alle sicherlich total vertraut sind. Die
Qualität eines KI-Systems bemisst sich vor allem nach der Datenbasis. Garbage in
garbage out, wie man so schön sagt. Und viele Daten im Bildungsprozess, der ja ein
sozialer Prozess ist, der ist vielleicht gar nicht unbedingt optimal
operationalisierbar, d.h. da stellt sich immer noch die große Frage: Welche Daten
können überhaupt erfasst werden und wie können sie überhaupt sinnvoll analysiert
werden? Lerndaten betreffend MINT-Fächer, die auf Logik basiert sind, eignen sich
dafür sicherlich besser als zum Beispiel die sogenannten 4K Kompetenzen, also
Kollaboration, Kreativität zum Beispiel. Wie will man sowas messen und wie will man
sowas in Operationalisierbarkeit pressen? Das steht noch im Raum. Dann haben wir
natürlich auch im Bildungsbereich die üblichen Probleme mit der
Nachvollziehbarkeit und mit der Erklärbarkeit und die Risiken von
Verzerrungen. Auch nicht ganz unwichtig ist die Problematik, dass eine Korrelation
noch keine Kausalität mit sich bringt. Also hier nochmal das Beispiel mit der
Nase und Temperatur. Es kann ganz viele verschiedene Gründe haben, warum
Gehirnströme gerade einen bestimmten Weg nehmen, warum Körpertemperatur sich
verändern oder warum sich Augenbewegungen entweder direkt bei einem Lerninhalten
oder auch im Raum bewegen. Das hat alles nicht zwangsläufig was mit dem
Lerninhalten oder mit der Lernatmosphäre zu tun. Bei all meinen Recherchen für
diesen Vortrag habe ich immer ganz explizit gefragt: Gibt es denn Beweise
dafür überhaupt, dass diese KI-Systeme vielleicht auch gut funktionieren und den
Lernenden tatsächlich was bringen? Aber diese Evidenz gibt es bislang nicht. Ich
habe interessanterweise, als kleine Anekdote am Rande, auf der Webseite von
bettermarks eine Bewertung gefunden für das System bettermarks von dem
neurowissenschaftlichen Institut, das unter der Leitung von Manfred Spitzer
steht, der ist den Freunden der digitalen Bildung vor allem dadurch bekannt, dass er
viele Elemente der digitalen Bildung eigentlich eher verteufelt. Aber dort wird
auf der Website natürlich dem System bettermarks bescheinigt, dass es einen total
guten Lerneffekt hat. Wie gesagt, Forscher konnten das bisher noch nicht bestätigen.
Wenn wir nun diese KI-Systeme mit all ihren Schwächen auf die Schulen ungebremst
loslassen, dann kann das dazu führen, dass wir eigentlich anstatt dieser Entlastung
eher Überforderung produzieren, dass wir Normierungen und Standardisierungen in
Bereichen einführen, die vielleicht gar nicht ohne weiteres standardisierbar sind.
Wir können Lehrkräfte in unangenehme Situationen bringen, wenn sie z.B. in
einer Elternsprechstunde mit Eltern konfrontiert sind, die nicht nur die
Methoden des Lehrers hinterfragen. Das machen sie ja jetzt schon häufig genug.
Sondern dann vielleicht auch Bewertungssysteme hinterfragen und dann
von Lehrkräften wissen wollen: Wie kommt denn dieses System zu dem Ergebnis oder zu
dieser Bewertung meines Kindes? Und Lehrkräfte so was nicht einfach erklären
können. Größtes Problem ist natürlich, dass alle Systeme, über die im Moment im
Bildungssektor gesprochen wird, diese Learning Analytics Systeme und Tutor
Systeme, dass die mit personenbezogenen Daten von ja größtenteils minderjährigen
Schüler:innen arbeiten. D.h. da werden Datensammlungen angefertigt, es werden
Datenprofile angefertigt und das alles unterwandert die informationelle
Selbstbestimmung der Kinder. Selbst wenn Eltern dieser Verwendung natürlich
zustimmen müssen, stellt sich ja auch noch die Frage: Wie gut sind die Eltern denn
überhaupt informiert über all die Konsequenzen und die Folgen, die das hat?
Inwieweit gibt es vielleicht auch einen gewissen sozialen Gruppenzwang in einem
Klassenverband oder einer Schule sich anzuschließen, auch wenn man vielleicht
als Eltern selber gar nicht genau weiß, was das dann eigentlich bedeutet? All das
ist im Moment noch ein bisschen unklar. Und das sind genau diese Punkte, über die
meiner Meinung nach im Moment noch viel zu wenig tatsächlich offen gesprochen wird.
Was diese Schwäche tatsächlich in der Praxis für Probleme mit sich bringen
können, sehen wir auch schon in ausländischen Anwendungen. Zum Glück muss
man fast sagen, im Moment. Ich weiß ich, ob ihr das mitbekommen habt. Im Sommer gab
es diese Problematik mit dem britischen System Ofqual. Genauso wie bei uns auch
haben die Schulen unter der Pandemie gelitten und es konnten bestimmte
Prüfungen zu Abschlüssen nicht richtig gut oder überhaupt nicht durchgeführt werden.
D.h. Lehrkräfte wurden gebeten, doch aufgrund von ihren persönlichen
Einschätzung dann die Schüler mit einer Abschlussnote zu versehen. Diese
Abschlussnoten waren dann aber den Behörden offensichtlich zu gut, sodass sie
nochmal einen Algorithmus eingesetzt haben, der das Ganze nachrechnen sollte.
Das wiederum führte dazu, dass viele Noten wieder abgewertet worden und die Schüler
sich verschlechtert haben. Dagegen sind dann natürlich die Schüler:innen wiederum auf
die Straße gegangen und haben sich gewehrt, sodass am Ende doch wieder die
Beurteilung der Lehrkräfte eingesetzt wurde. Zum Glück. Ein anderes Beispiel,
von dem ich gelesen habe, ist das System Edgenuity. Ich weiß jetzt nicht wie das
richtig betont ist. Dort hat eine Mutter festgestellt, dass die
Textverarbeitungssysteme, die die Aufsätze ihres Kindes bewerten sollen, viel, viel
schlechter bewerten als frühe die Aufsätze, die das Kind einfach ganz normal
mit der Hand in der Schule geschrieben hat. Und dann ist in diesem System auf den
Grund gegangen und hat festgestellt, dass das System vor allem bewertet anhand der
Häufigkeit von bestimmten Stichwörtern. Und dann hat sie versucht, einfach mal so
als Beispiel einfach nur mit Stichwortwolken so eine Aufsatzaufgabe zu
erfüllen. Und tatsächlich wurden dieses Stichwortwolken besser bewertet als ein
komplett zusammenhängender Text. Was natürlich, wenn man das System so weit
einmal verstanden und geknackt hat, relativ leicht ist, solche Aufgaben zu
bestehen, aber natürlich überhaupt gar keinen Bildungseffekt mehr mit sich
bringt. Auch eher aus dem Hochschulbereich sind diese Testverfahren Proctorio und
ExamSoft bekannt, sollen hier an dieser Stelle aber trotzdem angesprochen werden.
Einfach um schon mal aufzuzeigen, welche Probleme damit einhergehen, bevor wir auf
die Idee kommen, sie vielleicht auch an den Schulen einzusetzen. Diese Systeme
arbeiten vor allem mit Kameraüberwachung, aber auch mit Geräuschanalysen und mit
Bewegungsanalysen, um daraus Rückschlüsse zu ziehen, ob ein Prüfling gerade versucht
zu täuschen. Und diese Systeme haben jetzt schon in der Praxis verschiedene Probleme
aufgezeigt. Also das ganz typische Problem, was wir ja schon in anderen
Kamerakontexten kennen bei People of Color. Sie werden dann von der Kamera
nicht erkannt, werden dann gebeten noch zusätzliche Lichtquellen einzusetzen. Dann
kann das tatsächlich dazu führen, dass Menschen diskriminiert werden, die in
beengten Verhältnissen in einer WG wohnen oder vielleicht noch Kinder um sich haben,
weil dann unbekannte Geräusche Quellen auftauchen, die ein System vielleicht als
Täuschungsversuch oder als Unterstützerperson klassifizieren kann.
Aber auch gesundheitlich beeinträchtigte Menschen sind zusätzlich belastet, einfach
weil sie angeben müssen, dass sie vielleicht häufiger mal ins Bad müssen
oder dass sie eine Insulinpumpe tragen, einfach damit das System von bestimmten
Signalen also z.B. nicht irritiert ist. Also all das führt dazu, dass Menschen
gezwungen werden, Dinge offenzulegen und vor allem diese Daten auch in Datenbanken
mit erfasst werden, die eigentlich sehr persönlich und sehr privat sind und mit
einem Prüfergebnisse überhaupt gar nichts zu tun haben. Hier in Deutschland kennen
wir alle oder die meisten von euch wahrscheinlich diese Anwendung Duolingo
zum Vokabel- oder zum Sprachtraining. Duolingo hat auch ein Englisch Test
aufgelegt, der auch online absolviert werden kann und auch dort wird mit
Kamerasystem gearbeitet und ich habe bei einer Forschung nachgelesen, dass
Forschenden dann versucht haben, da auch mal auf den Grund zu gehen, ob Duolingo
denn ausschließen kann, dass diese bekannten Systeme bei Duolingo nicht
auftauchen. Also diese Diskriminierungen nicht passieren können oder auch z.B.
Diskriminierung aufgrund von Akzenten nicht automatisch als fehlerhaft
eingestuft werden. Und leider konnte zumindest zu dem Zeitpunkt der Befragung
Duolingo diese Diskriminierung nicht ausschließen. Ein System, über das ich
gestolpert bin bei meiner Recherche ist DyRiAS. Ich habe leider noch nicht
herausgefunden, ob Schulen überhaupt damit arbeiten. Und wenn ja, wie viele. Wenn ihr
was über dieses System und seine Anwendung wisst, bin ich für sachdienliche Hinweise
total dankbar. Was ich darüber gelesen habe ist, dass DyRiAS ist ein
Risikoanalysesystem, was unter anderem auch genutzt werden kann, um ein Risiko
für häusliche Gewalt zu identifizieren. Es wird auch in der Schule angewendet, sodass
Lehrkräfte nach einer Schulung und wenn sie eine Lizenz erworben haben, mit diesem
System erkennen können, ob Schüler:innen demnächst vielleicht mal Amok laufen. Und
dazu werden Kommunikationsverhalten und Verhaltensweisen analysiert. Wie genau das
System funktioniert, wie gesagt, weiß ich im Detail nicht. Da werde ich aber
sicherlich nochmal in Zukunft etwas tiefer einsteigen, um das zu verstehen. Weil mich
das sehr irritiert. Im Ergebnis bekommen Lehrkräfte dann so einen farblichen
Balken. Das ist also ein original Screenshot aus der Broschüre. Und
vollkommen unklar ist für mich tatsächlich auch, was genau passiert oder wer Zugang
zu diesen Daten hat. Wenn dann ein Kind tatsächlich immer weiter in diesen roten
Bereich rutscht. Was heißt überhaupt roter Bereich und bedeutet das höchste Warnstufe
oder bedeutet Stufe 5 schon, hier musst du eigentlich sofort die Polizei rufen. Dazu
kommt noch, dass die Daten, die für dieses System erfasst werden, dass die
browserbasiert, verarbeitet werden. Immerhin verschlüsselt. Weiteres halbwegs
beruhigendes Signal ist, das DyRiAS in seiner Broschüre zumindest darauf
hinweist, dass die Nutzung von gewaltorientierten Computerspielen oder
auch das Tragen eines Irokesenschnitt zum Beispiel keine Indikatoren seien für eine
erhöhte Gewaltbereitschaft. Aber wie gesagt, da werde ich mich auf jeden Fall
nochmal weiter informieren wollen, wie dieses System genau in der Praxis
arbeitet. Und letztendlich ist es auch mal sehr interessant zu wissen, was passiert
dann eigentlich mit diesem Farbskalasystem. In der ganzen
Beschäftigung mit KI in den letzten zwei Jahren hat sich bei uns im Fraktionsteam
irgendwann mal diese Frage aufgedrängt, was es denn überhaupt mit den Menschen
macht, die mit solchen KI-Systeme arbeiten. Und es wird immer so ein
bisschen als beruhigendes, ja sozusagen als so eine Art Feigenblatt ganz oft
erwähnt. Naja, am Ende die letzte Entscheidung trifft ja der Mensch. Aber
was bedeutet das eigentlich? Weil für uns hat dann tatsächlich an der Stelle diese
Debatte nicht aufgehört, sondern erst angefangen. Weil die Frage ist dann:
Welche Verantwortung kann ein Mensch dann überhaupt für seine Entscheidung
übernehmen und wenn er tatsächlich diese Entscheidung treffen soll, ist er
überhaupt dazu befähigt, diese Entscheidung zu treffen? Einmal
tatsächlich kognitiv - weiß er überhaupt, wie das System funktioniert? Kann er
einschätzen, wenn eine Klassifizierung oder eine Entscheidungsvorbereitung
vorgenommen oder vielleicht sogar eine Entscheidung getroffen wird? Kann er
überhaupt erkennen, ob diese Entscheidung des Systems richtig ist in seinem Sinne
oder ob er vielleicht sich dagegen entscheiden sollte? Und selbst wenn er
sich entscheidet, sich dagegen zu entscheiden, ist er überhaupt dazu
berechtigt aufgrund von seiner Rolle in der Organisation? Es gibt Organisationen,
da wird es ja vielleicht durchaus erwartet, dass er eigenmächtig entscheidet
und dann gibt es andere Organisationsformen, wo es genau von ihm
erwartet wird, sich nicht eigenmächtig zu entscheiden. Das betrifft jetzt alles
nicht nur den Bereich Bildung, sondern insgesamt soziale Kontexte im Einsatz von
KI-Systemne. Eine grundsätzliche Frage, die wir uns stellen müssen in allen
Anwendungssektoren ist: Wer entscheidet denn überhaupt besser der Mensch oder die
Maschine? Und nach welchen Gütekriterien wird das entschieden? Im Bildungsbereich
gibt es ja durchaus die Meinung, dass es heißt, lieber sollen Schüler von scheinbar
neutralen Systemen bewertet werden als von vorurteilsbelasteten Menschen. Aber auch
ein System ist natürlich niemals neutral. Und auch selbst wenn ein Mensch mit
Vorurteilen belastet ist, hat er trotzdem nur einen relativ kleinen
Entscheidungsspielraum. Wenn hingegen für Bewertungsverfahren Systeme eingesetzt
werden, dann wirken sie direkt auf die ganze Schule oder im schlechtesten Fall
vielleicht sogar für das ganze Land. Und auch wenn wir uns dafür entscheiden, dass
Entscheidungen an Maschinen ausgelagert werden soll, um Schaden zu vermeiden, ist
auch die Frage: Wodurch entsteht denn überhaupt ein Schaden? Entsteht ein
Schaden durch ein richtig funktionierendes System, das dann aber langfristig
gesellschaftliche Schäden mit sich bringt? Oder entsteht ein Schaden durch ein nicht
gut funktionierendes System oder nicht wie erwartet funktionierendes System? Und
entstehen Schäden eigentlich nur durch Tun oder entstehen Schäden auch durch
Unterlassung? Das heißt bezogen auf diese Entscheidung: Wer entscheidet besser,
Mensch oder Maschine? Müssen all diese Aspekte mit betrachtet werden. Und auch
der Verzicht auf ein maschinelles System, das vielleicht irgendwann nachweislich
einen positiven Effekt hat, kann tatsächlich zu einem Schaden führen. Wenn
wir uns dann dafür entschieden haben, dass wir ein KI System ergänzend einsetzen wollen
in einem bestimmten Anwendungssektor, dann muss als nächstes entschieden werden: Wie
viel Entscheidungsspielraum soll der Mensch dann überhaupt noch haben, wenn es
heißt: Am Schluss trifft der Mensch die letzte Entscheidung? Die Papiere von der
EU-Kommission zum Beispiel gehen im Moment von drei verschiedenen Stufen aus. Human
in Command, Human on Command und Human in the Loop. Aber es gibt schon aus der
Informatik viel ältere Klassifizierungssysteme, die viel
ausgefeilter sind, z.B. vom MIT aus den 1980er Jahren, die bis zu zehn Stufen
unterscheiden, in denen verschiedene Autonomiegrade vom Menschen bis zur
Maschine einmal durchlaufen werden, also von der vollständigen Autonomie für den
Menschen bis hin zur vollständigen Autonomie durch die Maschine. Das heißt,
da ist dieser, diese Aussage, die menschliche, die letzte Entscheidung
trifft der Mensch ist noch so viel wahnsinnig vielen Fragen unterworfen und
vor allem aber, finde halte ich das für die allerwichtigste Frage, genau diese
Abstufungen, welchen Entscheidungsspielraum Mensch überhaupt
hat, weil daraus leitet sich dann letztendlich auch ab, wie ein Mensch
weitergebildet werden muss, mit diesem System überhaupt zu arbeiten und welche
Vereinbarungen er vielleicht in seinem Arbeitsvertrag braucht, also welche Rechte
er überhaupt hat, diesen Entscheidungsspielraum tatsächlich
wahrzunehmen. So, selbst wenn er diesen Entscheidungsspielraum dann für sich
festgelegt hat, dann ist auch noch die Frage: Wie viel Entscheidungsspielraum
lässt das System dann tatsächlich zu? Es gibt in diesem ganzen Bereich Mensch-
Maschine Interaktion derzeit noch sehr, sehr wenig Forschung. Aber die ersten
Forschungen, die es schon gegeben hat, die zeigen zum Beispiel: Selbst wenn Menschen
erkennen, dass das System gerade nicht optimal arbeitet und sie möchten gerne in
das System eingreifen, um einen Fehler zu eliminieren oder eine Korrektur
vorzunehmen und dann dabei feststellen, dass dieser Prozess so wahnsinnig
aufwendig und kompliziert ist, dann neigen Menschen tatsächlich dazu, mit diesem
fehlerhaften System trotz besseren Wissens weiterzuarbeiten. Und das ist halt etwas,
was wir gerade in sozialen Kontexten und gerade in Bereichen, in denen KI-Systeme
über das Leben oder Lebenswege von Menschen entscheiden, einfach ganz genau
hinschauen sollten, was es denn eigentlich bedeutet, wenn der Mensch die letzte
Entscheidung treffen soll. Denn am Ende kann es tatsächlich sein, dass der
Entscheidungsspielraum, der dort angedeutet wird, mit dieser Aussage viel,
viel kleiner ist als angenommen Handlungsspielräume geklärt sind. Und
auch, weil wir von total optimal funktionierenden KI-System ausgehen. Dann
ergeben sich immer noch Probleme auf der strukturellen Ebene, sodass wir auf lange
Sicht einfach schauen müssen: Was macht das dann mit der Lernkultur, mit der
Bildungskultur an Schulen? Das fängt an bei der Erhebung von den Daten, also der
Datafisierung von Lernprozessen. Aber ich werde nicht müde, immer wieder zu
wiederholen, dass wir immer noch mit personenbezogenen Daten von größtenteils
minderjährigen Schüler:innen arbeiten und dass wir Kinder auch schon sehr, sehr früh
daran gewöhnen, sich mit algorithmischen Klassifizierungs- und Bewertungsverfahren
auseinanderzusetzen und sich vielleicht ihnen auch sogar zu unterwerfen, ohne dass
sie sie aufgrund der Black-Box Problematik vielleicht nachvollziehen können. Nächste
Problematik ist das Ding der Standardisierung, Operationalisierung von
Daten. Welche Dinge werden dabei ausgelassen? Wer bestimmt, was der
Standard ist? Wer bestimmt, was das normale ist? Inwieweit können diese
Systeme überhaupt hinterfragt werden? Welche Qualitäts- und Fairness-Maße beim
Training, welche Feedback an diese Systeme gegeben werden? In der Bildung gehört es
letztendlich dazu, auch nicht standardisierte Wege zu gehen. Hetty,
einer der renommiertesten Bildungsforscher, hat in seiner Studie
Visible Learning unter anderem nochmal herausgestellt, dass es zum einen zum
Bildungserfolg gehört und dass es auch mit Bildungserfolg beiträgt, wenn Schüler:innen
befähigt werden, vorgegebene Lösungswege aufzubrechen oder auch ihre eigenen zu
finden. Aber durch diese ganze Vereinzelung und durch die
Standardisierung gehen halt einfach auch bestimmte Möglichkeiten im Lern-Spektrum
verloren, sodass Schüler:innen gar nicht mit alternativen Möglichkeiten vielleicht
mehr konfrontiert werden, um ihren Horizont zu erweitern. Die nächste
Problematik ist das Scheitern. Wenn ich jetzt in einem normalen Klassenverbund
vielleicht selber schon mal merke, ich komme hier an meine Grenzen oder ich komme
mit der Aufgabenstellung nicht zurecht, dann ist das natürlich total frustrierend.
Aber gleichzeitig gehört das auch mit zum Bildungsprozess und zur
Persönlichkeitsentwicklung auch dazu, Grenzen zu erkennen, auch mit Misserfolgen
umzugehen. Und wenn all dies ausbleibt, dann verschieben sich diese Grenzen
einfach viel, viel weiter nach hinten, weil dann immer nur der Inhalt präsentiert
wird, der geradezu meinem vom System errechneten Lernniveau passt und ich aber
vielleicht gar nicht mehr dazu richtig gefordert werde, mich auch aber mit Dingen
auseinanderzusetzen, die ich vielleicht noch gar nicht können kann, die mich aber
vielleicht jetzt aktuell nochmal weiterbringen. Jetzt im Klassenverband
gibt es zwar auch das Thema der Binnendifferenzierung, also dass es
unterschiedliche Inhalte idealerweise für verschiedene Lernniveaus oder für
verschiedene Lerntypen gibt. Aber in einem Klassenverband gibt es immer noch die
Möglichkeit, das in Gruppenarbeiten z.B. zu organisieren, wo etwas schwächere
Schüler mit etwas stärkeren Schülern zusammen an einer Lösung arbeiten können.
Wenn wir auf individualisierte systembasierte Lernpfade gehen, dann
sitzen im Prinzip die Schüler:innen dort alleine und das System entscheidet, was
hier präsentiert wird und was nicht präsentiert wird. Da geht einfach sehr,
sehr viel verloren. Das Spektrum verengt sich. Gleichzeitig kann es aber auch
passieren, dass Lehrkräfte vielleicht noch mehr angegriffen werden, als sie es
vielleicht jetzt schon werden von Eltern einfach in Frage gestellt werden. Ihre
Entscheidungssysteme können mehr in Frage gestellt werden, weil Lehrkräfte
vielleicht verlangen, dass ein System nochmal die Bewertung nachvollzieht, was
letztendlich sehr demotivierend für Lehrkräfte sein kann, was Vertrauen
unterwandern kann und letztendlich auch die Autorität von Lehrkräften wieder
unterwandern kann. Wir haben sowieso schon ein großes Problem mit Lehrkräftemangel
und die Frage ist, ob solche Entwicklungen Lehrkräfte oder angehende Lehrkräfte
motiviert, diesen Beruf dann überhaupt noch zu ergreifen, wenn sie sich dann auch
zukünftig immer mit technischen System messen müssen. Letztendlich aber
wahrscheinlich das größte Problem: Was macht es mit der Ungleichheit? Also alle
Bildungsberichte gehen im Prinzip immer wieder davon aus, dass wir
Bildungsungleichheiten und Ungerechtigkeiten haben. Das ist eines der
größten Probleme im Bildungssektor, das es tatsächlich gibt, und die Frage ist,
inwieweit die der verstärkte Einsatz von KI-Systemen diese Ungleichheiten entweder
aushebelt oder vielleicht sogar verstärken kann. Das kann auf der individuellen Ebene
passieren, dass Schüler:innen, die sich vielleicht sehr gut selbst organisieren
können und vielleicht sehr gut mit Systemen arbeiten können, dieses schneller
verstehen, vielleicht auch schneller wissen, wie sie es umgehen können. Während
vielleicht eher lernschwache Schüler sich dem System eher ausgeliefert fühlen und
vielleicht eher demotiviert werden, sich dann nochmal Hilfe zu suchen oder
vielleicht auch Lehrkräfte das gar nicht unbedingt erkennen können, dass
Schüler:innen vielleicht überhaupt Schwierigkeiten haben, wenn sie diese
Systeme zuhause anwenden oder vielleicht hinter einem Bildschirm verschwinden. Auf
einer größeren Ebene kann der Einsatz von KI Systemen die Ungleichheit verschärfen,
weil einfach die Frage ist: Werden sich dann zukünftig eher gut ausgestattete
Schulen in reichen Bundesländern, in privilegierten Umfeldern KI-Systeme zur
Unterstützung leisten können? Oder werden KI-Systeme eher eingesetzt werden können
in weniger privilegierten Kontexten? Es gibt in den USA gab es jetzt die
Gründungen von Rocketchip Schulen. Ich kann mir den Namen immer sehr schlecht
merken. Rocketchip Public Schools heißen sie und dort sitzt dann im Prinzip nur
noch eine Hilfslehrkraft, die dann bis zu 90 Schüler:innen an ihren
Computerbildschirmen steuert, anleitet, irgendwie unterstützt, um einfach auch
Stellen an gut ausgebildeten Lehrkräften einzusparen. Dort läuft es auf eine Art
Massenabfertigung hin und die Forschung, die es da gegeben hat, hat jetzt zumindest
letztes Jahr schon gezeigt, dass die Ergebnisse, die die Schüler:innen dort erzielen,
bis zu einer Note schlechter sind als Schüler:innen, die in einem herkömmlichen
Klassenverband mit vernünftig ausgebildeten Lehrkräften lernen. Wir
kennen diese Diskussionen auch im Gesundheitsbereich, in der Pflege. Auch da
wird diskutiert, ob Robotics Systeme in der Pflege eher ein System für die
Privilegierten sind. Wer es sich leisten kann, holt sich einen Roboter dazu. Oder
ob es auch da eher um eine Auslagerung an Technik geht, dass wir in weniger
privilegierten Einrichtungen einfach von Maschinen betreut werden anstatt von
Menschen. Also da kann der Bildungssektor sich vielleicht ganz gut am
Gesundheitssektor orientieren und diese Debatte dort mal verfolgen, in welche
Richtung das geht. All diese Schwächen und Risiken zusammengenommen frage ich mich
tatsächlich, ob das Werben für KI-Systeme an Schulen oder auch teilweise der Druck,
der da gemacht wird, dass das eigentlich totale super Sache ist. Ob das nicht
letztendlich einfach nur gemacht wird, um die eigentlichen Probleme im Schulsystem
zu verschleiern. Denn eigentlich haben wir es mit einer großen Mangelfinanzierung zu
tun. Wir haben zu große Klassen, wir haben zu wenig Lehrkräfte, wir haben einen
wahnsinnigen Sanierungsstau. Und wenn gleichzeitig dann aber von Regierungen
mitempfohlen wird, dass wir doch KI- Systeme und Learning Analytics einsetzen,
weil dadurch die Lehrkräfte entlastet werden und sich dann besser um die
Schüler:innen kümmern sollen. Wobei wir eigentlich gar keine Evidenz dafür haben,
dass das tatsächlich so funktioniert und so klappt. Dann habe ich einfach zunehmend
das Gefühl, dass genau diese Mangelwirtschaft einfach aufrechterhalten
werden soll und dadurch verschleiert werden soll, dass wir mal wieder
versuchen, soziale Probleme mit Technik zu lösen. Und das ist etwas, wo wir meiner
Meinung nach genau jetzt an diesem Punkt sind, diese Diskussion zu führen und diese
Entwicklung zu verhindern, weil diejenigen, die letztendlich darunter
leiden, sind neben den Lehrkräften, die am Ende nämlich nur scheinbar entlastet
werden, vor allem die Schülerinnen und Schüler, deren Daten jetzt einfach erhoben
werden und verarbeitet werden sollen und wir gar nicht wissen, was daraus am Ende
wird. So bedeutet das jetzt aber, dass KI- Systeme im Bildungssektor und in der
Schule gar nichts verloren haben. So weit würde ich gar nicht gehen, sondern ich
möchte gerne in Zukunft unterscheiden, auf welchen Ebenen wir KI-Systeme im
Bildungssektor einsetzen. Wir haben jetzt bisher immer so ein bisschen betrachtet,
was auf der Mikroebene passiert, also wo personenbezogene Daten von Schüler:innen
oder von Lehrkräften analysiert und verarbeitet werden. Es gibt aber auch noch
die Meso und Makroebene im Bildungssystem. Auf der Mesoebene reden wir von dem Zugang
zu Lernorten oder auch zu Lerninhalten und die Makroebene betrachtet tatsächlich die
übergreifende Steuerung von Bildungssysteme, wo sich z.B. auch die
Problematik der Ungerechtigkeit lösen lassen müsste. Auf der Meso- und auf der
Makroebene gibt es tatsächlich dann die Möglichkeit mit Open Data zu arbeiten und
nicht mit personenbezogenen Daten, um halt diese bestimmten oder diese konkreten
Probleme mit anzugehen. Und ich möchte jetzt im Folgenden eigentlich mal
vorstellen, welche Beispiele es dafür jetzt schon gibt oder welche es geben
könnte, damit es nicht so als Behauptung im leeren Raum steht. Also nochmal zurück
auf die Mikroebene gegangen, gibt es dort auch durchaus Möglichkeiten, mit Systemen
zu arbeiten, die nicht unbedingt die personenbezogenen Daten von Schülerinnen
und Schülern verarbeiten. Das ist zum einen die Möglichkeit: Es gibt ein System,
dass Lehrkräfte neue Methoden zum Beispiel anhand einer KI trainieren können und
aufgrund des Feedbacks der KI dann sehen können, wo Verständnisschwächen entstehen,
sodass sie dann ihre Methoden und ihre Erklärweisen nochmal anpassen können,
bevor sie damit konkret in die Klasse gehen. Dann gibt es natürlich diesen
ganzen Bereich der Administration, Vertretungspläne, Stundenpläne oder auch
Postverwaltung. Da gibt es ja schon einige Beispiele, auch aus Behörden, wie sowas
eingesetzt werden kann mit ganz, ganz unkritischen Anwendungsbereichen und
keinen großen personenbezogenen Daten, die dafür nötig sind. Was auch total günstig
ist, ist natürlich alles, was dazu beiträgt, das System KI zu verstehen. Also
selbst wenn ich Anwendungen durchaus in gewissen Bereichen hier intensiv in Frage
stellen möchte, ist zu keinem Zeitpunkt in Frage zu stellen, dass natürlich
verstanden und gelernt werden muss, wie algorithmische und KI-Systeme
funktionieren und was man mit ihnen machen kann. Das heißt, als Unterstützung für
Lernmethoden oder auch um Experimente durchzuführen, ist es auch für Schüler
durchaus geeignet. Es gab mal diesen Wettbewerb. Ich weiß nicht, ob der jedes
Jahr stattfindet, zur KI Schule des Jahres. Dort haben jugendliche
Schüler:innen unter anderem ein System entwickelt, um Zugverspätung
vorherzusagen, also sehr anwendungsnah und sehr sinnvoll für viele von uns. Und auch
Methoden der Textanalyse oder Datenbank- Analysen. Auch die können Schülern
durchaus zugutekommen, sodass sie sie als Werkzeuge für das eigene Lernen benutzen
und dabei aber weniger Schüler:innen Werkzeuge für das KI-System darstellen
müssen. Auf der Meso-Ebene habe ich tatsächlich im Moment sehr, sehr wenig
Anwendungsbeispiele gefunden, was da gemacht werden kann. Also eine Sache, die
mich inspiriert hat, ist das Ergebnis eines EDU Hacks. Dort hat eine Gruppe eine
Open Source Bibliothek entwickelt und sowas kann ich mir sehr sehr gut auch
tatsächlich für Deutschland vorstellen, dass wir, wir haben ja diese Problematik,
Lehrkräfte von euch werden das kennen, ich hab das jetzt auch schon oft gehört, dass
Lehrkräfte immer auf der Suche sind. Wo finde ich denn gute OER Materialien? Woher
weiß ich dann, dass die gut sind oder nicht? Woher weiß ich, ob die zu meinem
Unterricht passen? Es ist alles so weit verstreut. Ich weiß gar nicht, wo ich das
ganze gute Zeug finden soll. Sowas alles in eine Datenbank zu packen und dann mit
KI-Systeme durchsuchbar zu machen und vielleicht auch so durchsuchbar zu machen,
dass Lehrkräfte schnell dort auch wissen, wie komme ich dann an genau die
Ergebnisse, die ich gerade für meinen Unterricht gebrauchen kann. Könnte ein
Anwendungsbeispiel sein. Die OER-Strategie der Bundesregierung ist ja jetzt
ausgelaufen. Wird gerade neu entwickelt. Kommt im nächsten Jahr. Und wir wissen
leider noch nicht, was drin steht. Aber es bleibt einfach zu hoffen, dass eine
Zentralisierung oder zumindest eine bessere Auffindbarkeit von OER-Inhalten
dort mitgedacht wird. Das Thema Inklusion- Integration hatten wir schon angesprochen.
Auch da sehe ich bei KI, wenn man diese ganzen Problematiken bei der
Spracherkennung und Übersetzung ausgehebelt sind, wenn die ausgehebelt
sind, dass wir dort auch noch viele Potenziale haben, die es zu heben gilt, um
Inklusion und Integration einfach einfacher zu machen. Und was ich auch sehe
ist im Kontext autonomes Fahren oder auch Verkehrsleitsysteme, das ganze Thema
Schultransporte, sei es jahreszeitenbedingt oder vielleicht auch
im ländlichen Raum und vor allem aber auch mit Blick auf Förderschulen oder inklusive
Schulen. KI-Systeme können sicherlich dabei unterstützen, den Transport gut zu
organisieren und effizient zu organisieren. Und wir werden es ja
mindestens im nächsten Jahr auch noch mit dieser Pandemie zu tun haben. Und gerade
inklusive Schulen oder Förderschulen haben bei diesem ganzen Transport Thema
tatsächlich ein großes Problem, weil dort die Zusammenkunft von Schüler:innen in so
einem Schulbus oder in so einem Transport Bus hin zur Schule für Menschen oder
Schüler:innen mit Behinderung einfach noch ein viel, viel größeres Risiko darstellen,
als es für gesunde Schüler:innen ist. Also Menschen mit Behinderung gehören zur
Risikogruppe Nummer eins. Zu weiteren Potenzialen auf der Makroebene. Dort gibt
es tatsächlich schon konkrete Anwendungsfälle, die uns für Deutschland
auch ein Vorbild sein könnten. Also sowohl die Schweiz als auch Belgien haben zum
Beispiel Systeme entwickelt, um die Durchmischung, die soziale Durchmischung
an Schulen zu optimieren. Dass in etwas wohlhabenderen Stadtvierteln nicht nur
privilegierte Schüleri:nnen sind und die weniger Privilegierten dann halt in
Problemschulen landen, sondern dass dort einfach nochmal neu berechnet wird, wie
eine bessere Durchmischung stattfinden kann. Das wurde in der Schweiz zum
Beispiel so gemacht, dass die die Straßenzüge neu berechnet werden, wie
Wohngebiete bestimmten Schulen zugeteilt werden. Das unter der Maßgabe, dass die
Schulwege sicher sein müssen und dass sie nicht länger sein sollen als bisher
gehabt. Und das hat im ersten Versuch tatsächlich so gut funktioniert, dass
jetzt mehrere Kantone versuchen wollen, dieses System zu übernehmen. In Belgien
hat es ein ähnliches Projekt gegeben. Dort wird jetzt im Moment das System aber
nochmal überarbeitet, weil dort Eltern sich beschwert haben, dass dass sie ihre
Kinder nicht mehr auf Schulen schicken oder gehen lassen können, die zum Beispiel
bestimmte Schwerpunkte haben. Dann gibt es dann eine Schule, die hat eine
Spezialisierung auf den musischen Bereich oder auf den sportlichen Bereich. Und dort
wird das System jetzt so überarbeitet, dass die Schulen dort auch Faktoren
gewichten können, sodass es dort zusätzlich zu der besseren sozialen
Durchmischung auch die Möglichkeit gibt, noch bestimmte Schwerpunkte zu setzen.
Auch wieder in UK gibt es ein System, dass es Behörden erleichtern soll,
Schulinspektionen vorzunehmen. Das heißt, dort wird aufgrund von bestimmten
Indikatoren rechtzeitig prognostiziert, welcher Schule vielleicht nochmal eine
Inspektion oder ein Besuch durch die Behörde bedarf, um bestimmte Entwicklungen
vielleicht rechtzeitig zu stoppen. Und auch in England, das fand ich ganz gut,
gibt es ein, gibt es die NGO Nesta, die einige von euch vielleicht kennen. Und die
haben ein eigenes Papier entwickelt, das genau auf das abzielt, was ich hier auch
vorstellen möchte. Nämlich wenn wir KI im Bildungssektor schon einsetzen wollen,
dann sollten wir uns auf die strukturellen Probleme konzentrieren. Oder wenn wir
schon auf der Mikroebene arbeiten, dann sollten wir uns auf Systeme konzentrieren,
die mit den Daten von Lehrkräften arbeiten und Lehrkräfte bei ihrer Arbeit
unterstützen. Zumindest jetzt in einem ersten Schritt, wenn die KI-Systeme noch
nicht so gut und so weiterentwickelt sind, wie wir sie vielleicht gerne hätten. Diese
Systeme können tatsächlich schon Vorbild sein, auch für Deutschland. Und wovon ich
in Deutschland auch ein bisschen träume und woran wir gerade politisch arbeiten,
ist dieser leidige Königsteiner Schlüssel zum Beispiel. Der Königsteiner Schlüssel
verteilt im Moment Fördergelder nach Bevölkerungsdichte und nach
Steueraufkommen. Da funktioniert das ganz klassisch jetzt im Moment nach dem
Matthäus Prinzip. Wer hat, dem wird gegeben. Reiche Länder bekommen den
höheren Anteil an Fördergeldern und die etwas ärmeren Länder bekommen halt nicht
so viel. Dabei sollte es doch eigentlich genau umgekehrt sein. Und wenn es
tatsächlich möglich wäre, mit einem KI- System auf Basis von noch mehr oder
anderen Daten zu ermitteln, welcher Förderzweck genau welche Förderhöhe
brauch, dann wäre es doch vielleicht sogar möglich, dass wir je nach Förderzweck
jedes Mal diesen Verteilungsschlüssel neu errechnen. Also wenn es dort Möglichkeiten
gibt oder wenn es dort Ansätze gibt sowas zu entwickeln, bitte ich um
Kontaktaufnahme. Das würde mich sehr sehr interessieren. Selbstverständlich würde
das voraussetzen, dass von den Schulen, Schulträgern und auch Schulbehörden
nochmal ganz andere Daten auch erhoben und erfasst werden. Es gibt aber auch bereits
Bildungsdatenbank. Es gibt die Forschungsdatenbank Bildung, wo jetzt im
Moment schon Bildungsstudien eingestellt sind, also die Infrastruktur letztendlich
wäre für sowas vorhanden. Es müsste sich vielleicht nur etwas in der Kultur ändern,
damit Schulen auch bereit sind oder damit überhaupt auch Länder und Behörden dort
anfangen bestimmte Daten zu erheben, um dann halt auch die strukturellen Systeme
auflösen zu können. So, welche Anforderungen brauchen wir letztendlich,
um auf dieser Makroebene an die strukturellen Probleme heranzugehen? Dort
würde ich gerne unterscheiden, ein bisschen was können Menschen auf der
persönlichen Ebene tun? Was muss auf der Organisationsebene passieren und vor
allem was braucht es noch auf der rechtlichen Ebene? Im Moment wird ja ganz,
ganz viel immer davon geredet. Lehrkräfte müssen sich fortbilden, damit sie mit
diesem System arbeiten können. Ja, das ist aber auch nur ein Teil, der getan werden
muss. Und Teil dieser Fortbildung ist natürlich nicht nur, dass es darum geht,
wie diese Systeme angewendet werden, sondern es braucht ein tiefes Verständnis
einfach von KI als soziotechnisches System. Und es braucht das schöne
Stichwort Data Literacy. Das heißt, ein Verständnis dafür zu entwickeln, was Daten
überhaupt aussagen und aber vor allem anderen eigentlich braucht es auf der ganz
individuellen Ebene immer noch ganz viel Fortbildung, was überhaupt das Thema
Digitalisierung betrifft und auch der damit verbundene Kulturwandel. Überhaupt,
sich zu öffnen, um Informationen oder auch Inhalte zu teilen, um eine gewisse
Fehlerkultur zu entwickeln. All das ist ja gerade noch im Umbruch. Und wenn wir jetzt
davon reden, dass wir KI-Systeme an den Schulen wollen oder dass es gefördert
werden soll, dann habe ich manchmal das Gefühl, wir wollen einem Kind, das gerade
das Fahrradfahren gelernt hat, wollen wir jetzt in einen Rennwagen setzen, weil es
damit ja noch sicherer zur Schule kommt. Das passiert alles in einem sehr, sehr
großen Tempo, das nicht damit erledigt werden sollte, dass wir uns einfach nur
darauf zurücklehnen und sagen, Lehrkräfte müssen sich weiterbilden und dann können
sie auch KI-Systeme in der Schule einsetzen. Die Eltern habe ich jetzt
nochmal in Klammern gesetzt. Davon ausgehend, dass wir es vielleicht wirklich
schaffen, unsere Forschungs- und Entwicklungsschwerpunkte mehr auf die
Makro und auf die Meso Ebene zu legen und weniger auf die Schüler basierten Systeme.
auf der Organisationsebene, also dort wo entschieden wird. Letztendlich kommt ein
KI System zum Einsatz - Ja oder nein. Das ist die Schulleitung oder das Schulträger
oder vielleicht auch Bundesländer. Muss natürlich als allererstes mal hinterfragt
werden. Wozu brauche ich das System? Ich habe es eben schon angesprochen. Wenn wir
ein soziales Problem an der Schule feststellen, ist ein technisches System
tatsächlich dafür die Lösung? Oder sollten wir vielleicht eher auf der sozialen Ebene
nochmal schauen, was wir vielleicht an unseren Lernzielen oder an unseren
Methoden oder an unserer Organisationskultur verändern müssen?
Selbst wenn wir uns entscheiden für ein technisches System, dann muss natürlich
entsprechend die Infrastruktur gegeben sein. Das heißt, die Frage ist: Wo werden
Daten, mit denen gearbeitet wird? Wo werden sie gespeichert? Sind sie dort
überhaupt sicher genug? Haben wir überhaupt WLAN an den Schule, damit dort
vor Ort gearbeitet werden kann? All diese Fragen. Natürlich braucht es auch auf der
Entscheidungsebene Kompetenzen. Es braucht den Kulturwandel und überhaupt erst einmal
die Grundlagen der Digitalisierung, bevor wir mit KI die nächsten Stufe gehen. Wir
brauchen die Regelung zur menschlichen Entscheidungsfähigkeit tatsächlich auch in
den Arbeitsverträgen und wie auch in anderen Verwaltungsbereichen auch sollte
es auch im Bildungsbereich einfach ganz klare Beschaffungsrichtlinien geben. Wenn
Systeme angeschafft werden, dann braucht es ganz klare Anforderungskataloge, wie
diese Systeme gestaltet werden sollen. Und natürlich muss sich dann auch der Bund
entscheiden, Förderungen in die richtige Richtung zu schicken und diese Systeme zu
fördern und zu unterstützen, die sich auf die Meso- und Makroebene fokussieren und
nicht die Attack Startups, die versuchen, das Lernerlebnis für Schüler zu
verbessern, obwohl es dafür keine Evidenz gibt, werde ich auch nicht müde, das immer
wieder zu wiederholen. Und dann haben wir natürlich auf der rechtlichen Ebene noch
viele offene Fragen, die KI-Systeme im Allgemeinen betreffen und gar nicht
unbedingt nur auf den Bildungssektor Anwendung finden. Und das ist einmal die
Problematik der Nachvollziehbarkeit. Also solange KI-Systeme an sich selber nicht
nachvollziehbar sind, müssen zumindest Schnittstellen geschaffen werden, dass
Evualator:innen oder Forscher:innen zumindest reingucken können, was das
System überhaupt macht. Wir brauchen eine Nachweisbarkeit, dass diese Systeme
funktionieren, erst recht, wenn wir mit Schüler:innen an Daten arbeiten wollen. Und
wir brauchen eine Kritikalität ex ante. Wir reden hier vom Bildungssektor. Dort
werden Lebenswege vorbestimmt. Das ist nicht der Raum, um Experimente zu machen
und mal Systeme loszulassen, laufen zu lassen und dann mal zu gucken, welche
Probleme sie eventuell entwickeln. Wir haben aus dem Ausland jetzt schon genügend
Beispiele, was nicht gut funktioniert. Ich wäre kein Fan davon, wenn wir das Ganze
hier in Deutschland nochmal wiederholen wollen. Eigentlich nicht nötig, das zu
sagen, aber es braucht letztendlich auch eine rechtlich bindende
Anbieterstabilität. Es gab tatsächlich, ich glaube auch in den USA, das System
inBlue. Das wurde überall ausgerollt und eingesetzt. Und dann irgendwann hat der
Anbieter entschieden, seine Dienste einzustellen. Was aus den Daten geworden
ist bis dahin weiß letztendlich kein Mensch. Das ganze Thema Offenheit sollte
gerade bei KI Entwicklung im Bildungssektor viel, viel stärker auch
eingefordert und verankert werden. Das heißt, auch KI-Systeme sollten wie Open-
Source-Software behandelt werden, als OpenAI z.B. stärker mitgefördert werden. Wir
müssen viel stärker entwickeln im Bereich OER Open Data, um dann diese ganzen Daten,
die wir im Lern-Kontext dann auch sammeln, wiederum als Open Educational Data, also
als OED auch wieder zur Verfügung zu stellen. Ohne offene Datenbasis kommen wir
da nicht hin. Sehr charmant finde ich auch die Idee der öffentlichen Register. Dort
sollten sich auch KI-Systeme im Bildungsbereich eintragen lassen. Und was
auf jeden Fall passieren muss, ist die Überarbeitung des Artikels 22 der DSGVO.
Dort werden im Moment ja nur Entscheidungen geregelt,
vollautomatisierte Entscheidungen sind dort geregelt. Was nicht geregelt ist,
sind teilautomatisierte Systeme und teilautomatisierte Systeme sind ja die, die
jetzt eigentlich weitestgehend im Einsatz sind. Und wenn wir auch da wieder im
Hinterkopf haben, dass ja als Argument immer noch gilt: Der Mensch trifft die
letzte Entscheidung, werden wir es auch zukünftig verstärkt mit teil-
automatisierten System zu tun haben. Und dort müssen Einspruchsrechte und
Widerspruchsrechte einfach noch klarer geregelt werden. Ach nee, bevor ich zu
meinem Fazit komme, möchte ich nochmal auf die lange Kette der Verantwortlichkeit
auch nochmal eingehen. Wenn Systeme tatsächlich ausgewählt werden, müssen
Entscheider in der Lage sein, auch diese Systeme zu beurteilen. Und in ganz, ganz
grober Anlehnung an diese lange Kette der Verantwortlichkeit von Katharina Zweig und
Tobias Kraft sollte es mit in einen Anforderungskatalog und sollte es mit in
den Kompetenzkatalog von all denjenigen, die dazu entscheiden, dass sie in der Lage
sind, zu hinterfragen und zu prüfen. Aufgrund von welcher Datenbasis wurde ein
System trainiert, also welche Qualität, welche Quantität? Wie alt sind die Daten?
Passen sie überhaupt zum Trainingszweck? Dann letztendlich auch nach welchen
Maßgaben wurde das System trainiert? Ganz ganz wichtig ist ja auch ein KI-System,
das einmal für einen bestimmten Zweck trainiert wurde, ist nicht unbedingt
günstig in einem ganz anderen Anwendungskontext. Gerade im
Bildungsbereich, wenn damit geworben wird, dass bei Übersetzungssystemen oder
Spracherkennungssystemen das es ja ganz ganz tolle Software as a Service Systeme
schon gibt, die quasi von der Stange gekauft werden können, muss immer noch
hinterfragt werden: Passt das tatsächlich zu meinem Anwendungskontext? Und
letztendlich passt auch dieses System zu meinem Ethik-System, das ich bei mir an
der Schule habe. Datenverwendung ist ganz, ganz wichtig. Was passiert mit den Daten,
die erhoben werden an einer Schule, auch wenn es nur Daten von Lehrkräften sind?
Gerade in dem Moment, wo es personenbezogene Daten sind, muss einfach
sichergestellt werden, dass nicht nur rechtlich, sondern auch tatsächlich aktiv
in der Anwendung ist, es überhaupt kein Weg gibt, dass diese Daten an Stellen
weitergegeben werden, wo sie nicht hingehören. Es gibt aus den USA, auch mal
wieder dort dieses Beispiel, dass Akteure der Wissenschaftsverlagsbranche Daten von
Wissenschaftlern weitergegeben haben an die Einwanderungsbehörde ICE, was auch
immer sie dort verloren haben. Aber das sind alles Entwicklungen, die müssen
ausgeschlossen sein. Ganz großer Komplex IT-Sicherheit. Das muss sichergestellt
sein. Das ist im Prinzip ein eigener Vortrag. Dort möchte ich hier aber
verweisen auf die Arbeiten der Stiftung Neue Verantwortung, die schon ganz, ganz
viel dazu untersucht und entwickelt und auch Schaubilder gemacht haben, welche
Angriffs-Vektoren es für KI-Systeme überhaupt gibt. Und letztendlich müssen
Entscheider:innen auch sicherstellen, dass es Ressourcen gibt, um dieses Thema, wenn sie
dann einmal im Einsatz sind, auch tatsächlich dauerhaft evaluiert sind,
damit sich diese ganzen Schwächen, die wir ja kennen, nicht erst in der Praxis, dann
auch noch einschleichen. Das heißt, wenn einem bewusst wird, was es alles für
Anforderungen braucht, um KI-Systeme im Bildungssektor egal zu welchem Zweck
einzusetzen, dann wird glaube ich klar, dass das etwas ist, was noch ein sehr
langer Weg ist, was nicht überhastet angegangen werden soll und was noch sehr,
sehr viel Qualifizierung und Weiterentwicklung braucht. Und das
letztendlich bringt mich jetzt zu meinem Fazit. Bisher ist es so, dass bei KI im
Bildungssektor vornehmlich darüber gesprochen wird, dass Learning Analytics
Systeme eingesetzt werden, um halt das Lernverhalten von Schülerinnen und
Schülern zu analysieren und dabei mit personenbezogenen Daten gearbeitet wird.
Letztendlich gibt es zum jetzigen Zeitpunkt noch keine Evidenz dafür, dass
diese Systeme funktionieren und dass diese ganzen Datensammlungen auch tatsächlich
sinnvoll sind. Es ist ganz, ganz viel Marketing und vor allem auch
Wirtschaftsförderung dahinter. Wenn diese Startups jetzt in die Richtung gefördert
werden und das Risiko, das damit entsteht, wenn diese Systeme weiterhin in die
Schulen gedrückt werden, ist dass die wahren strukturellen Probleme einfach
dadurch verschleiert werden und dass diese Mangelwirtschaft einfach fortgesetzt
werden und diese ganzen Potenziale, die KI tatsächlich mit sich bringt, diese
Probleme tatsächlich mit zu lösen, dass die einfach gar nicht gehoben werden. Das
Risiko dabei ist, dass es vornehmlich immer um personenbezogene Daten von
minderjährigen Schüler:innen geht und dass die ganzen Chancen, die wir im OpenData
Bereich haben, dafür einfach weiterhin nicht genutzt werden. Und wir haben jetzt
den Zeitpunkt, wo die Weichen gestellt werden. Ist das genau der Pfad, auf dem
wir jetzt auch weitergehen wollen? Oder wollen wir jetzt anfangen, in diese
Entwicklung einzugreifen und den Fokus mehr auf die Meso- und Makroebene legen?
Die EU-Kommission hat jetzt kürzlich ihren überarbeiteten Digital Education Plan
vorgestellt. Dort ist zu diesem ganzen Thema KI vorgesehen, dass Lehrkräfte
weitergebildet werden müssen. Dass es Ethik-Leitlinien geben müssen und
letztendlich auch, dass Forschung nochmal intensiviert werden muss. Und das ist
jetzt genau der Punkt, um dort reinzugehen und die Fragen zu stellen und darauf hin
zu drängen, dass in die richtige Richtung geforscht wird. Das hat mich letztendlich
in dieser ganzen Vorbereitung zu meiner Empfehlung gebracht. In Anlehnung an diese
Pyramide von der Datenethikkommissionen, die ich eigentlich, wenn das Prinzip der
Risiko-Klassifizierung diskutabel ist, finde ich eigentlich dieses
Pyramidensystem sehr gelungen. Und übertragen auf KI-Systeme im
Bildungsbereich sehe ich einen ganz, ganz großen, grünen, unkritischen Bereich, wenn
es darum geht, die Forschung und Entwicklung auf der Makroebene weiter zu
unterstützen und weiter zu fördern. Alles unter der Nutzung von Open Data, die
entweder schon vorhanden sind oder vielleicht auch noch weiter erhoben und
genutzt werden können. Das fließt größtenteils auch noch mit rein in die
Meso Ebene, die auch auf der Basis von Open Data schon sehr sehr viel Gutes
erreichen kann. Und ganz ganz oben in der Spitze, wo ich den roten Bereich sehe, ist
tatsächlich die Mikroebene, wenn es um die Analyse-Systeme geht für Schüler:innen und
für Lehrkräfte, wo mit personenbezogenen Daten gearbeitet wird. Wenn es dort
weitere Entwicklungen geben sollte, dann würde ich es bevorzugen, wenn es dort ein
Forschungsbereich gibt oder den Anwendungsbereich vielleicht höchstens für
Lehrkräfte. Aber dass wir die ganze Analyse von Schüler:innen vielleicht
erst mal noch außen vorlassen, bis wir vielleicht viel mehr über KI-Systeme
wissen und alles immer unter der Voraussetzung, dass die Daten, die erhoben
werden, dann auch weiter zur Verfügung gestellt werden für die Generierung von
Open Educational Data. Das war's. Vielen Dank für eure Aufmerksamkeit. Alle
Anregungen, um die ich gebeten habe, alle Lücken, die ich vielleicht noch gelassen
habe, oder alle Interessenten, die Lust haben, an diesem Thema auch noch mit
weiterzuarbeiten, freue ich mich total über Kontaktaufnahme und Feedback und
weitere Informationen. Ich habe hier auch noch einen großen Anhang mit Quellen, die
ich verarbeitet habe. Wenn es dazu auch noch Rückfragen gibt, kommt jederzeit
- nicht jederzeit, nich nachts um drei. Also per E-Mail schon, aber vielleicht nicht per Telefon.
Aber die habt ihr ja auch gar nicht die Nummer - egal, kommt einfach auf mich zu.
Und dann würde es mich freuen, wenn wir im Gespräch bleiben. Vielen Dank.
Herald: Hallo Nina, schön, dass du da
warst. Danke für den spannenden Vortrag grade. Wir hatten so ein bisschen
technische Probleme im Hintergrund. Ich hoffe deswegen, dass alle im Live-Stream
den Talk auch gut sehen konnten. Nina, du hast viel erzählt über KI und die Grenzen
und Vorteile. Was sind denn so aus deiner Sicht vielleicht die klugen nächsten
Schritte, die man so gehen müsste? Was künstliche Intelligenz und Klassenzimmer
betrifft? Nina: Hallo Nina, ja genau. Was sind die,
was sind die nächsten Schritte? Also ich glaube wir sind im Moment an so einer
Entwicklungsphase, wo KI in der Schule und im Bildungsbereich einfach noch nicht so
wahnsinnig weit verbreitet ist. Und ich hab das ja auch gemerkt bei meiner
Recherche und auch z.B. hier, was diese Meso-Ebene angeht. Es gibt noch nicht so
extrem viele Anwendungen, wo man konkret jetzt schon reingehen und eingreifen kann
und sagen wir wollen hier eine andere Entwicklung oder das und das muss so
konkret weitergehen. Was allerdings gut an dieser Entwicklung ist, ist eben, dass wir
noch an diesem frühen Punkt sind und auch die Möglichkeiten haben, Einfluss nehmen
zu können. Habe ich da ein äh im Hintergrund gehört? Ja okay, ich rede
einfach weiter. Das heißt, nach allem, was ich jetzt mitbekommen habe, wie sich das
Thema KI in der Bildung gerade ansetzt zu entwickeln, möchte ich eigentlich gerne so
eine Art Break machen. Einen kleinen Schnitt und nochmal hinterfragen ist der
Weg, der jetzt eingeschlagen wird von den Attack-Startups und auch von den
Regierungen, ist das überhaupt der Richtige, dass wir KI-Systeme einsetzen,
um das Verhalten und Lernverhalten von Lernenden zu analysieren? Oder wollen wir
nicht nochmal überlegen, ob wir nicht die KI-Systeme, die wir jetzt haben, dazu
nutzen können, die strukturellen Probleme im Bildungssektor anzugehen? Davon gibt es
genug. Dort haben wir eine ganz andere Datenbasis und es kann vor allem weniger
Schaden angerichtet werden für die einzelnen Personen, die analysiert werden
oder dann halt auch im besten Fall gar nicht mehr analysiert werden, weil alles,
was wir aus der KI Geschichte wissen, dass es sehr, sehr viel Schwierigkeiten gibt,
sobald KI in sozialen Kontexten eingesetzt werden. Also wenn KI-Systeme benutzt
werden, um Menschen zu analysieren, jetzt kurz auf den Punkt gebracht, dann führt
das meistens zu größeren Problemen und wir sollten in der Bildung nicht diese Fehler
wiederholen. Herald: Ja, das sind auf jeden Fall
ziemlich gute Gedankenanstöße. Wir haben leider gar nicht so richtig, richtig viel
Zeit, um jetzt hier noch Fragen zu beantworten. Ich sehe gerade im Chat auch
tatsächlich keine. Ich bin aber sicher, dass es da noch viel Gesprächsbedarf gibt.
Deswegen würde ich vorschlagen, dass wir jetzt mit dir in einen Big Blue Button
umziehen.
*Outro Musik*
Untertitel erstellt von c3subtitles.de im Jahr 2021. Mach mit und hilf uns!