Künstliche Intelligenz (KI) in der Bundeswehr: Konzeption jetzt in öffentlicher Fassung
Ohne Künstliche Intelligenz (KI) werden Streitkräfte in Zukunft weder militärisch handeln noch ihre Verwaltung organisieren können. Das Verteidigungsministerium hatte dafür bereits im Juli seine neuen KI-Leitlinien vorgelegt – in denen die Regeln für den KI-Einsatz sowohl in Waffensystemen als auch für die Effizienz der Verwaltung festgelegt werden. Die bislang eingestufte Konzeption gibt es nun auch in einer öffentlichen Version, die Augen geradeaus! vorliegt.
Ein zentraler Punkt der neuen Richtlinie ist die Festlegung des menschlichen Einflusses bei der Nutzung der Künstlichen Intelligenz. Dabei setzen die deutschen Streikräfte auf die kontextabhängige menschliche Kontrolle (international als meaningful human control bezeichnet) – ein grundlegender Unterschied zu dem in Wissenschaft und Politik bislang geforderten Ansatz, den Menschen in der Entscheidungskette, den human in the loop, als wesentlichen Kontrollmechanismus beizubehalten.
Grund dafür ist die Veränderung vor allem auf dem Gefechtsfeld, oder besser: den unterschiedlichen Gefechtsfeldern. Eine Fregatte auf hoher See nutze zur Luftverteidigung KI anders als eine Infanteriegruppe ihre Waffen im Häuserkampf, erläuterte Generalleutnant Michael Vetter, Abteilungsleiter Innovation&Cyber (IC) im Verteidigungsministerium, die unterschiedlichen Ansätze. Es komme darauf an, dass die grundlegende Entscheidung über den Einsatz eines Waffensystems beim Menschen bleibe, auch wenn er dann im Ablauf nicht mehr direkt eingebunden sei.
In den Worten der neuen KI-Konzeption:
Ein zentrales Prinzip ist der menschenzentrierte Ansatz, bei dem der Mensch die Kontrolle über kritische Entscheidungen behält. Die KI dient hiernach als unterstützendes Werkzeug bei der Entscheidungsfindung, nicht selbst als autonomer Entscheider. Die Verantwortung für Entwicklung, Nutzung und Ergebnisse von KI-Systemen muss klar definiert sein, um Transparenz, Vertrauen, Zurechenbarkeit und Sicherheit zu gewährleisten. Dazu gehört auch die Offenlegung von KI-Ergebnissen und der zur Entwicklung genutzten Datengrundlage durch angemessene Dokumentation der Verhaltensweisen technischer Systeme und deren Möglichkeit zur Überprüfung. KI-Systeme sind ausreichend zu testen. Dazu
sind akzeptierte Fehlertoleranzen festzulegen. Die revisionssichere Speicherung aller Aktivitäten und Anpassungen in der Nutzung des Systems kann die Rückverfolgbarkeit und die Nachvollziehbarkeit
der Ergebnisse gewährleisten, sofern dies geboten ist. Regelmäßige Audits stellen sicher, dass ein KI-System auch im laufenden Betrieb den ethischen, rechtlichen und technischen Standards entspricht.
Personal muss über die Kompetenz verfügen, eine Plausibilitätsprüfung der KI durchzuführen zu können, um fehlerhafte Entscheidungsvorschläge zu identifizieren und entsprechend zu handeln.
Die Bundeswehr baut bereits das KI-gestützte System URANOS auf, um an der NATO-Ostflanke Bedrohungen möglichst schnell erkennen und analysieren und dann darauf reagieren zu können. Dafür sollen möglichst viele Sensoren für ein fusioniertes Lagebild einbezogen werden – und am Ende wenn nötig auch Waffen einsetzen können. Im kommenden Jahr soll das System in der Panzerbrigade 45 in Litauen genutzt werden können.
Wichtig ist Ministerium und Streitkräften dabei eine saubere rechtliche Einbettung, auch und gerade angesichts möglicher Gegner, die KI-gestützte Waffensysteme ohne Beschränkungen einsetzen. Vertrauen ist ein Schlüsselfaktor, sagte Jan Ganschow, zuständiger Referent der Abteilung IC, bei einer Informationsrunde des Ministeriums zum Thema KI Ende Juli. Dabei brauche sowohl die Bundeswehr das Vertrauen der Gesellschaft, dass die diese Technologie rechtmäßig einsetze – als auch die Truppe die Überzeugung, dass sie diese Instrumente rechtmäßig nutze.
Andererseits könne die Bundeswehr nicht auf die Künstliche Intelligenz für ihren Einsatz verzichten, betonte Ganschow. Ein solcher Verzicht würde die deutschen Streitkräfte massiv schwächen, was schon vom Verfassungsauftrag nicht zulässig sei. Der rechtliche und ethische Rahmen müsse aber so gestaltet werden, dass er die Effektivität militärischer Operationen steigere und nicht beschränke.
KI wird nach Einschätzung der BMVg-Fachleute für die Verwaltungsarbeit mindestens genauso nötig sein wie für den Waffeneinsatz. Dabei geht es um Materialbewirtschaftung und Lagerhaltung ebenso wie um die so genannte predictive maintenance, die vorbeugende Wartung: Potenzielle Verschleissteile werden nicht erst bei Ausfall oder nach starren Vorgaben ausgetauscht, sondern anhand der KI-Vorhersage zum Verschleiss.
Allerdings gehört dazu auch:
Durch die ständige sowie falsche Nutzung von KI können Fähigkeiten beim Personal verloren gehen, die bei einem Ausfall von KI dann nicht mehr kompensiert werden können. Daher ist in kritischen
Bereichen zwingend ein In-Übung-halten ohne die Nutzung von KI notwendig, um eine nötige Resilienz gegen beispielsweise Störungen durch den Gegner aufrecht zu erhalten.
Die ganze KI-Konzeption in der öffentlichen Fassung (mit noch viel mehr Details) hier zum Nachlesen:
K-9000-102 ÖFFENTLICHE Fassung
Und eine Einordnung der neuen Konzeption u.a. von Frank Sauer von der Bundeswehr-Universität München:
Bye bye, human in the loop: (Endlich) neue Regeln für Waffenautonomie
„Potenzielle Verschleissteile werden nicht erst bei Ausfall oder nach starren Vorgaben ausgetauscht, sondern anhand der KI-Vorhersage zum Verschleiss.“
Hm. Und wie sagt die KI das hervor?
Wenn die KI die Einsatzzeit des Bauteils kennt, kann sie genau wie ein Mensch oder eher klassischer Algorithmus anhand Tabellen den ungefähren Verschleiss berechnen. Oder gibt es Sensoren? Gleiches Prinzip. Und von was für einer KI reden wir hier eigentlich? Aber das ist ja noch harmlos.
„Menschliche Kontrolle ist dabei nicht gleichzusetzen mit menschlicher Interaktion. Wenngleich
menschliche Interaktion bei Zielauswahl und -bekämpfung, wann immer möglich, stattfindet, erfordert
nicht jeder Wirkmitteleinsatz zwingend eine menschliche Interaktion. “
Denn das heißt für mich nichts anderes als autonome Waffensysteme. Die einmal vom Menschen grob scharf geschaltet werden – und dann autonom feuern.
3.3.5 führt und spricht das genauer aus. „Es gibt noch kein einheitliches internationales Verständnis, wie menschliche Kontrolle (siehe
Abschnitte 2.1 und 2.3) konkret zu operationalisieren ist“
Grundlegend wird hier einfach nur vermieden von autonomen Waffensystem zu schreiben, sondern wörtlich „WaSys mit autonomen
KI-Funktionen“
Und ich habe das Dokument bisher nur überflogen, aber ich vermisse eine klare Intention, die KI komplett selbst zu kontrollieren.
Es klingt zwar so, aber in den Risiken findet man trotzdem folgenden Absatz, der nur relevant ist, wenn man etwa Modelle von US Anbietern direkt mietet:
„Rechtslage in anderen Staaten: Unternehmen oder Angehörige aus bestimmten Staaten könnten
zur Herausgabe von Informationen rechtlich verpflichtet werden.“
Ob diese Mitteilung durch KI generiert wurde?
@all
Wenn ich mir die – vor allem die nicht freigegebenen – Kommentare zu dem Thema ansehe, scheint es so zu sein, dass an einer inhaltlichen Debatte vorerst kein Bedarf besteht. Oder ist es einfach zu heiß?
KI bei der Bundeswehr – ein interessantes Feld!
Auch wenn der Inhalt willentlich schwammig formuliert ist und @lukan schon einige Worthülsen identifiziert hat, erscheint mir das Vorgehen auf diese Weise doch sinnvoll.
Dass eine KI – und ich spreche hier nicht nur von „BigData“! – für die Bundeswehr unerlässlich sein wird – geschenkt!
Die Herausforderungen sind auf einem viel grundlegenderen Level:
Weder in Deutschland noch in Europa gibt es ein KI-Modell, das mit Gemini, Claude, Grok oder auch nur ChatGPT ansatzweise mithalten könnte. Das französiche Mistral AI ist sicher interessant, aber noch lange nicht so leistungsfähig.
Kurz: Es wandern mit jeder Anfrage Daten nach USA ab. Wollen wir das? Können wir es uns andererseits leisten diesen Preis nicht zu bezahlen?
Wie „sicher“ sind die Daten? Denn selbst so eine Nebensächlichkeit wie Wartungsintervalle, können im Kriegs- und Krisenfall wichtige Ergebnisse liefern:
Weiß ich, dass Artilleriegeschütze einen gewissen Verschleiß-Status haben, könnte es sinnvoller sein, die Rohrherstellung anzugreifen, als die Munitionsherstellung.
Es ist der Versuch einen Fuß ins Wasser der KI zu stecken, ohne komplett darin zu versinken oder ihn nicht mehr da raus zu bekommen.
Das sieht nach Schlafmützigkeit aus, scheint mir aber eher der Vor- und Umsicht geschuldet.
Ein erster Aufschlag und daher zu begrüßen.
„Hörst Du diese Stimme auch, die wach wird, wenn wir unser Glück in die toten Hände von Systemen übergeben?
Die Stimme, die Dir sagt, im Zweifel fährst Du gut, besinnst Du Dich noch auf den eigenen Kopf und auf Dein Herz in Deinem Leben?“ –
Die Zeilen stammen aus einem Lied über Stanislaw Petrow. Am 26. September 1983 stufte Oberstleutnant Petrow als leitender Offizier in der Kommandozentrale der sowjetischen Satellitenüberwachung einen vom System gemeldeten Angriff der USA mit nuklearen Interkontinentalraketen auf die UdSSR korrekt als Fehlalarm ein. Der Fehlalarm wurde durch einen Satelliten des sowjetischen Frühwarnsystems ausgelöst, der aufgrund einer fehlerhaften Software einen Sonnenaufgang und Spiegelungen in den Wolken als Raketenstart in den USA interpretierte. Durch eigenverantwortliches Eingreifen und Stoppen vorschneller Reaktionen verhinderte Petrow womöglich das Auslösen eines Atomkriegs.
Ging mir gerade durch den Kopf, als ich über die „autonomen KI-Waffensysteme“ las.
@JCR
KI war sicher beteiligt, aber da scheinen schon fachkundige Menschen größtenteils selbst geschrieben zu haben
@T.W.
Heiß ist es noch und das Thema eines, wo zwar jeder glaubt eine Meinung haben zu müssen, aber es vielleicht auch gut ist, wenn nicht immer jeder sie ausspricht.
Es ist einfach ein sehr komplexes, schwieriges Fachgebiet, wo sich die Fähigkeiten der KI fast Täglich ändern, was nicht nur das Militär änderm wird. Ich selbst bin kein KI Forscher, aber als Programmierer intensiver Anwender und ich war auch überrumpelt vom Fortschritt alleine im letzten halben Jahr.
Meine grundlegende Ansicht ist, es wäre unklug hier die Entwicklung zu verschlafen oder sich auf bequemen idealistischen Positionen auszuruhen, die solange brauchbar sind, bis der Ernstfall eintritt – andererseits ist der Markt gerade im Megahypemodus, heißt, wenn sich die BW heute ein gigantisches Rechenzentrum bestellt, zahlt sie sehr wahrscheinlich viel mehr, als in einem Jahr, wenn sich der Speichermarkt (voraussichtlich) beruhigt hat.
Anders gesagt, autonome Waffensysteme werden kommen bzw. sind schon da und werden bleiben. Alles andere anzunehmen ist Illusorisch. Und bis die BW wirklich eigene Modelle zuverlässig betreiben kann (das Dokument spricht sogar von eigene Modelle trainieren, was nochmal ungleich schwerer und teurer ist) werden wohl auch Kompromisse nötig sein, also private Firmen die Modelle und Daten hosten. Aber grundlegend sollte das die BW selbst machen, wenn Souveränität als Ziel ernst gemeint ist. Dahin ist aber noch ein weiter weg. Es nützt auch nichts, wenn die Modelle alle selbst kontrolliert sind, aber Windows noch überall läuft und damit die Kontrolle auch nicht gegeben ist.