Lieber Zuschauer, dieser Untertitel wurde automatisch generiert von YouTube und dementsprechend (sehr) fehlerhaft. Wenn du kannst, hilf uns bitte gute Untertitel zu erstellen: https://c3subtitles.de/talk/2463 Danke!
[Musik]
genau also ich möchte euch heute ein
kleinen Einblick in die aktuellen
Entwicklungen im Kontext autonomer
Waffensysteme bzw von Autonomie in
Waffensystem und militärischer KI geben
ein weil künstliche Intelligenz und
selbstlernende Systeme immer mehr
Einfluss auf ganz viele
gesellschaftliche Bereiche nehmen und
eben nicht nur im zivilen Bereich
sondern immer mehr auch im militärischen
Bereich und ähm genau das bringt ganz
viele Probleme mit sich ähm hinsichtlich
des kriegskontexts und auch der
Kontrolle und der Regulierung von
solchen
Systemen genau ich bin
Politikwissenschaftlerin und Friedens
und konfliktforscherin und arbeite bei
peaceek an der Theo Darmstadt und
genau PAC verbindet eben die Informatik
mit der Friedens und
Sicherheitsforschung wir haben da ein
sehr interdisziplinäres Forschungsfeld
das Friedens und Konfliktforschung
cybersicherheit und Privatheit und die
Mensch computerinteraktion miteinander
verbindet und da Schnittpunkte
untersucht genau und dann will ich
einsten steigen mit der Frage was sind
eigentlich autonome Waffensysteme weil
wir da schon bei einer
der ja hauptproblematiken sind was den
Umgang mit solchen Systemen angeht weil
es
tatsächlich bis heute keine einheitlich
international anerkannte Definition von
autonomwaffensystemen
gibt was unter anderem auch damit
zusammenhängt dass es noch keine
vollautonom Systeme in der engen
Definition gibt und auch
einige Staaten aus einer
militärstrategischen Perspektive gar
nicht so ein großes Interesse daran
haben
das so genau zu
definieren und häufig werden autonome
Waffensysteme eben mit M unbemannten
drohen assoziiert als z.B einer wie man
sie hier jetzt sieht und
genau die werden eben dann autonom oder
teilautonom ferngesteuert als mobile
Waffensysteme auch wenn das längst nicht
das einzige Anwendungsszenario jetzt ist
aber das ist ebenenso das Bild was
dann meistens damit assoziiert wird und
eine sehr bekannte Definition von
autonom Waffensystem stammt vom
internationalen Komitee des Roten
Kreuzes die habe ich hier mal
mitgebracht nämlich any weapon system
with autonomy critical functions select
attack
targets human
intervention also der Begriff bezeichnet
in der Definition dann Waffensysteme die
e ohne menschliches Zutun
entscheiden welche Ziele sie anvisieren
und dann auch
angreifen genau häufig wird auch von
autonomen Waffensystemen gesprochen wenn
es nur
teilutonomer Waffensysteme sind also z.B
im Kontext von
assistensystemen ferngesteuerter tronen
bei denen dann einige Funktionen autonom
ablaufen und andere von einem Menschen
kontrolliert werden und
hier ist auch noch mal ganz wichtig sich
klar zumachen dass keine harte Grenze
zwischen Automatisierung und
Autonomisierung ähm gibt weil das
eigentlich eher nur unterschiedlich
komplexe Stufen derselben Technologie
sind und es geht dabei viel mehr darum
um die Frage
in welchem Ausmaß der Mensch noch in der
entscheidungsschleife des Systems dann
drin
ist
genau und auch wenn jetzt die voll
autonomen Waffensysteme in der engen
Definition noch nicht im Einsatz sind
ist eben total wichtig jetzt schon
Regulierungsmöglichkeiten zu
finden weil die ganzen Risiken und
Herausforderung eben jetzt schon iipiert
werden müssen damit wir eben irgendwie
ein Überblick haben was da auf uns
zukommt und die Entwicklung der
Technologie auch schon mit begleiten
können so jetzt wo findet eigentlich
schon Einsatz von
teilautonom
waffenstad da kommt auch wieder drauf an
welche Definition man jetzt
anlegt je nach Definition können aber
auf jeden Fall schon autonome oder
teilutonome Systeme beobachtet wer den
ein Beispiel ist das Beispiel auf der
linken Seite das ist das israelische
System
harpi das kann z.B autonom über einem
Gebiet Kreisen und
auch gegnerische Luft Angriffe
abwehren und im
Kontext das russischen Angriffs auf die
Ukraine haben am Anfang des Krieges vor
allem konventional konventionelle Waffen
dominiert ähm es gibt aber auch das
kierkennungssystem für
Raketenabwehr und mittlerweile gibt es
auch immer mehr Berichte über den
Einsatz von drohen z.B die sogenannte
Switch Blade Drohne hier auf der rechten
Seite
die auch über autonome Funktionen
verfügt in jedem Fall gehören unbemannte
drohen auch mit autonomen Funktionen
längst schon zum militärischen
Inventar
und auch wenn heute noch ein Mensch den
finalen Schießbefehl geben muss aber auf
jeden Fall ist da schon einiges im
Einsatz so die Frage was ist denn jetzt
eigentlich so problematisch am Einsatz
autonomer Waffen autonom Waffensysteme
werfen aus ganz vielen verschiedenen
Perspektiven Probleme und
Herausforderungen
bringen Herausforderung mit sich unter
anderem aus technischer
völkerrechtlicher sicherheitspolitischer
ethischer und humanitärer Perspektive
und hier ist noch ganz viel Forschung
nötig damit verschiedene
gesellschaftliche Akteure aus
Zivilgesellschaft
Wissenschaft von Staaten aber auch aus
dem Militär und aus der Industrie
zusammen diskutieren können und da
Lösungen finden
können mal kurz was
trinken genau wenn man sich jetzt z.B
die
rechtlich technischen Probleme anschaut
dann ergeben sich z.B im Kontext der
Genfer Konventionen ganz wichtige Fragen
wer trägt z.B die juristische
Verantwortung für die Handlung autonom
Systeme und sind die bestehenden Gesetze
eigentlich schon ausrechreichend oder
brauchen wir da ganz
neue und dann auch sowas wie können
eigentlich zentrale Prinzipien des
Völkerrechts in Software Code gefasst
werden also ist das überhaupt möglich
und eine der zentralsten Fragen im
rechtlichen Kontext
ist ob autonome Waffensysteme in der
Lage sein werden in
kriegskonexten Zivilistin von Kombattant
in unterscheiden zu
können dann mehr aus technischer
Perspektive die Frage wie gehen wir mit
dem Blackbox Problem um mit immer mehr
Autonomie wächst eben auch das Risiko
für unerwartetes Verhalten von Systemen
und technische Schwachstellen und
deswegen stellt sich da auch die Frage
ob und wie aus technischer Perspektive
die Entscheidungen einer KI irgendwie
transparenter gemacht werden können
und das Problem ist auch total relevant
für teilautonome Systeme bei denen sich
noch ein Mensch in der
entscheidungsschleife befindet da gibt's
z.B Studien zum sogenannten Automation
bias heißt es die zeigen dass Menschen
Vorschläge von KI gesteuerten
Assistenzsystemen in den allermeisten
Fällen einfach annehmen weil sie gar
nicht mehr nachvollziehen können wie
diese Entscheidung jetzt zustande
gekommen ist und deswegen kann man auch
bei teilautonomen Systemen ähm von dem
Kontrollverlust ähm des Menschen
sprechen dann aus ethisch humanitärer
Perspektive ähm führt der Einsatz von
ki-waffen eben zu einer weiteren
Entmenschlichung der Kriegsführung
ähm wenn Entscheidung über Leben und Tod
eben delegiert werden an der KI dann ähm
sind Menschen nur noch Datenmuster und
Objekte und das
würde eine ganz krasse Verletzung der
Menschenwürde
darstellen deswegen ist es gerade aus
ethischer Perspektive total wichtig dass
immer ein Mensch auch in der
entscheidungsschleife bleibt und
deswegen hat 2013 die NGO Artikle
36 das sogenannte also das Konzept der
sogenannten meaningful human control
eingebracht also eine bedeutsame
menschliche Kontrolle und dieses Konzept
ist sehr erfolgreich geworden es
mittlerweile wird es von sehr vielen
internationalen Organisationen und auch
sehr vielen Staaten immer wieder
aufgegriffen
ähm allerdings ist noch nicht so ganz
klar wie diese bedeutsame menschliche
Kontrolle aussehen soll und wie sie auch
praktisch umgesetzt werden könnte und da
ist auch noch ganz viel Forschung gerade
im Kontext der Menschmaschine
Interaktion
nötig
genau und dann gibt es noch eine weitere
Perspektive auf autonome Waffensysteme
die im Vergleich zu zu technischen und
zu rechtlichen Aspekten in der
internationalen
Debatte sehr wenig gewigt hat und
trotzdem unglaublich relevant ist und
zwar die Frage wie objektiv ist
eigentlich KI und welche Auswirkung hat
es in der Anwendung von
Waffensystemen
es ist nämlich immer noch ein sehr weit
verbreiteter irklau das KI objektivere
Entscheidungen treffen können als
Menschen keine Vorurteile hat und
sowieso weniger Fehler
macht das Gegenteil ist der Fall
Algorithmen und K sind alles andere als
neutral und
objektiv einfach weil diese Systeme von
Menschen konzipiert entwickelt und
angewendet W werden und deswegen
spiegeln sie auch
m diese Vorurteile Fehler und
Verzerrungen und das fängt Bewe schon
bei den Trainingsdaten an
die Datengrundlage zum Trainieren von
Algorithmen
sind eben all andere als eine Sammlung
objektiver
Fakten und besonders in zivilen
Anwendungen wird das schon sehr deutlich
und da gibt es zahlreiche Beispiele
beispielsweise gibt's Studien die zeigen
dass Gesichtserkennungssoftware people
of color generell schlechter erkennt als
weiße Menschen Frauen schlechter als
Männer und besonders Wommen of color
also schwarze
Frauen sehr überdur dururchschnittlich
häufig falsch erkannt werden und
ähnliches gilt auch für
stimmerkennungssoftware und das wirft
eben die total drängende Frage auf wie
geeignet diese Trainingsdaten dann sind
gerade wenn man sie in so kritischen und
sensiblen Bereichen einsetzt wie in
militärischen
Anwendungen genau in kriegskontexten
kommen dann neben solcheer
Einschreibungen vorbelasteter Daten noch
sogenannte signifire ins Spiel
die werden in kriegskontexten benutzt um
Menschen
im sogenannten target Profiling
einzuordnen
äh weil eben nach Genf Konvention nur
eine Person angegriffen werden darf die
eindeutig als als kämpfend und nicht als
Zivil eingeordnet wurde und
deswegen ist diese Unterscheidung so
zentral
ähm und in Bezug auf den Einsatz
semiautonomer thronen
gibt es schon Beispiele dass z.B junge
Männer in
kriegskontteexten fast immer als Kämpfer
eingestuft werden und ähm ja
das impliziert einfach dass jede
Personengruppe deren gender z.B in dem
Zielprofil enthalten ist eine viel
größere Risiko automatisch ausgesetzt
wäre und andere berichtte über
bewaffnete throneneinsätze zeigen auch
dass neben gender auch Alter und
religiöse Handlungen eine Rolle spielen
als z.B das das Beten in
Gruppen eben als Indikatoren dafür ob
Person in Kriegsgebieten angegriffen
werden und ähm ja eine KI in
Waffensystemen würde solche Entwicklung
wahrscheinlich weiter verstärken und vor
allem auch nicht
hinterfragen so dann will ich jetzt äh
zum Schluss noch ganz kurz drauf
eingehen warum eine Regulierung von
autonom Waffensystem eigentlich so
schwierig ist die die öffentliche
Diskussion über äh Autonomie in
Waffensystem V allem dem
zivilgesellschaftlichen Prozess der
campaign to stop Killer robots zu
verdanken sieht man hier rechts auf dem
Bild es ein internationales NGO Netzwerk
die seit schon über 10 Jahren
den ja die Entmenschlichung durch
automatisierte Entscheidungsfindung
anprangern und eben ein weltweites
Verbot
fordern und und die waren auch sehr
erfolgreich z.B haben sie dafür gesorgt
dass bei den Vereinten Nationen eine
ExpertInnengruppe eingesetzt wurde die
group of governmental experts und die
verhandeln offiziell seit 2017 über die
Regulierung von autonomen
Waffensystemen genau bisher konnten die
sich
leider noch nicht auf sehr viel einigen
bis auf ein paar ja wage formulierte
Leitlinien
und ja ein sehr hohe Hürde für die
Regulierung ist seit Jahren eben die
Einigung auf eine einheitliche
Definition da wären wieder beim
anfangsproblem weil eben eine
einheitliche Definition sehr lange als
notwendige Grundlage gesehen wurde für
z.B einen möglichen
rüstungskontrollvertrag und dass die
Regulierung von Autonomie in
Waffensystemen so schwierig ist hat
mehrere gr
ich habe jetzt mal hier drei wichtige
aufgeführt zum einen sind autonome
Waffen keine klar abgrenzbare
waffenkategorie wie das z.B bei
Nuklearwaffen der Fall ist die man genau
beschreiben kann und dann regulieren
kann viel mehr ist Autonomie eine
Eigenschaft die in unterschiedliche
Systeme integriert werden kann
potenziell unser sowohl in ziviler als
auch in militärisch
und deswegen wird mittlerweile auch
immer häufiger von Autonomie in
Waffensystemen gesprochen statt von
autonomen Waffensystem weil es diese
diesen Aspekt eben deutlicher macht dann
weiterer Punkt ist dass in der im
klassischen Ansatz der der
Rüstungskontrolle oft Waffensysteme
quantitativ beschränkt werden
m dieser Ansatz greift ja aber auch
nicht weil wie schränkt man quantitativ
Software ähm ja deswegen braucht es da
auch neue qualitative Formen der der
Rüstungskontrolle die beispielsweise
dann mehr den den Anwendungskontext von
Waffensystemen den Blick
nimmt genau der dritte Punkt den ich
hier jetzt noch aufgeführt habe ist
dass eben die Auswirkung von Autonomie
und Waffensystemen bisher noch nicht so
sichtbar sind wie das bei anderen Waffen
der Fall ist und deswegen kann man sich
auch nicht so einfach an anderen
Prozessen
orientieren genau und das sind jetzt nur
ausgewählte Punkte aber das alles führt
dazu dass die Regulierung solcher
Systeme enorm erschwert wird und dass
auch die Verhandlung im zuständigen
Arbeitsgremium beim Vereinen Nation da
seit Jahren eigentlich kaum vorankommt
und auch nicht zu neuen ergeb kommt ähm
ja der einzige Konsens wenn man es so
nennen kann ist
derzeit dass im Kontext von Autonomie
und Waffensystem eben eine hinreichende
Form von menschlicher Kontrolle
reguliert ähm
äh ja da sein soll aber wie die jetzt
genau aussehen soll
ähm darüber gibt's noch keine
Einigkeit ja
dann wä ich am
[Applaus]
Ende