Sammler: Künstliche Intelligenz und autonome Waffensysteme
In der kürzlich vom Bundeskabinett verabschiedeten Strategie Künstliche Intelligenz der Bundesregierung spielen zwar die Streitkräfte praktisch keine Rolle und werden überhaupt nur einmal erwähnt:
Der künftige Einsatz von KI-basierten Technologien und Systemen wird Auswirkungen auf Streitkräfte haben und ist damit ein wichtiges Thema für die Zukunftsentwicklung der Bundeswehr. Die Bundesregierung wird hier, analog zu anderen Anwendungsgebieten, die Vor- und Nachteile einer umfassenden Bewertung unterziehen.
Aber natürlich wird Künstliche Intelligenz (englisch Artificial Intelligence, AI) auch und gerade für die Nutzung in Streitkräften erforscht und erprobt – nicht zuletzt im Zusammenhang mit autonomen (tödlichen) Waffensystemen. Deshalb ein erster Sammler mit Lesestoff zu diesen Themen, der (dringend) ergänzungsbedürftig ist:
• Flash Wars: Where could an autonomous weapons revolution lead us?
von Ulrike Franke vom European Council on Foreign Relations (ECFR) [Offenlegung: eine der Mit-Hosts beim Podcast Sicherheitshalber]
• The US Military’s Drone Swarm Strategy Just Passed a Key Test
von der US-Webseite Defense One
(Grafik: Army AI and machine learning involve unique challenges for Soldiers, including operations in unstructured, unstable, rapidly changing, chaotic and adversarial environments where gathering information is difficult, and the information gathered may be potentially erroneous, misleading and deceptive – U.S. Army Research Laboratory/U.S. Army Acquisition Support Center)
Steht das Lagebild durch den Einsatz von KI und anderer IT-Mittel umfassend, aktuell und unabhängig vom Aufenthaltsort des Lagebildnutzers z.B. eines militärischen Führers oder eines nicht am Einsatzort befindlichen militärischen Akteurs uneingeschränkt zur Verfügung, ist zu prüfen, ob und wie sich das auf das Prinzip der Auftragstaktik auswirkt. Wenn ein Einsatz so remote beurteilt und geführt werden kann, hat das nicht nur Auswirkungen auf die Erforderlichkeit eines vor Ort befindlichen Soldaten, sondern möglicherweise auch auf das Maß an gewährter Handlungsfreiheit im Rahmen der Auftragstaktik.
Dies ist sicher nur eine von vielen anderen spannenden Herausforderungen die auf uns zukommen.
Was ist Intelligenz? (Ist der Mensch überhaupt ein intelligentes Lebewesen?) Was ist Autonomie? Ist eine Mine eine autonome Waffe, wenn sie zur Wirkung kommt, wenn ein Panzer drüber fährt? Wie intelligent sind moderne Torpedos? Was ist mit SMArter Munition? Wann ist ein System ein Waffensystem? Wie „schlimm“ ist ein vollautomatisiertes Abwehrsystem ähnlich Phalanx CIWS oder Mantis?!
Juristisch und allgemein sicherlich alles interessant zu debattieren (Motto der Soziologen: Gut, dass wir mal drüber gesprochen haben). Unterm Strich aber belanglos, solange der technologische Fortschritt gewahrt bleibt.
Für letzteres ist es erstens sicherheitspolitisch strategisch klug, wenn man die Begriffe KI und Waffensystem sehr eng definiert und entsprechend selten öffentlichkeitswirksam benutzt (insofern betrachtet ist das Strategiepapier unter Federführung des BMBF sogar klug formuliert), um politische Hemmnisse zu meistern.
Zweitens kann es effizient und effektiv sein, weniger politisch sensible Automatisierungs-Technologien gezielt zu fördern, beispielhaft im Bereich Aufklärung und Logistik, um später Synergieeffekte für die Weiterentwicklung automatisierter Effektoren zeiteffizient nutzen zu können … insbesondere sobald auch Zweifler später einmal aufgrund „kinetisch sehr eindrucksvoller Lagen“ entsetzt feststellen werden, dass eine abgeschossene Drohne vielleicht doch weniger schlimm ist als ein abgeschossenes pilotiertes Kampfflugzeug.
Moin, die wissenschaftlichen Möglichkeiten sind hier für mich nicht die Frage . Die Frage nach Einsatz von KI in bewaffneten Systemen ist für mich nur ethisch zu klären. Nicht – wie weit können wir gehen – sondern – wie weit dürfen wir gehen.
In ethischer Hinsicht hat Anubiswaechter den Finger an die richtige Stelle gelegt: Wir nutzen bereits an ganz vielen Stellen teils ziemlich „unintelligente“, aber trotzdem autonome Systeme.
Minen und Tomahawk-Raketen sind so gesehen auch Drohnen…
Wir müssen uns bei dem Thema mMn zuallererst fragen, in welchem Kontext wir welches Maß an Autonomie zulassen wollen und ob das überhaupt über den Status Quo hinaus geht.
Man schaue sich z.B. mal einen Piloten im CAS-Einsatz an. Entgegen aller emotionalisierten Behauptungen trifft der nicht im Gegensatz zur autonomen Drohne die „letzte Entscheidung“ in dem Sinne, dass er den ganzen Vorgang noch mal komplett prüft und seinen Segen gibt. Der KANN doch nur schauen, ob seine Informationslage dem vorgegebenen Ablauf entspricht. Und dass man den CAS-Piloten durch den FAC oder zwischengelagerte Stellen ab und zu mal entsprechend „anfüttert“, um ihn zum Abwurf zu bewegen, ist ja nun kein Geheimnis.
Das wäre bei einer KI nichts anderes und wenn man sich dann die Frage nach der Fehlerquote stellt, merkt man, dass die zum Großteil organisatorische Gründe hat sowie bestimmten Sachzwängen unterliegt und bestimmt nicht primär an dem hängt, der ganz am Ende dieser langen Kette den Startknopf für die Hellfire o.Ä. drückt.
Um an dieser Stelle zur Stoffsammlung beizutragen, empfehle ich als Einstieg in die Thematik den Artikel zu „Künstliche Intelligenz“ in der deutschen Wikipedia.
Eine grundsätzliche Problematik bei KI besteht in der Nachvollziehbarkeit der Schlussfolgerungen, die KI Systeme ziehen. Dazu finden sich Unterlagen unter algorithmwatch.org/de/
Was die Nutzung von KI-Ansätzen in den Streitkräften betrifft, ist das Thema „autonome Waffen“ natürlich das attraktivste. Daneben sollte aber der Blick auf den Einsatz im Bereich der Command & Control-Systeme nicht vernachlässigt werden. Im Manuskript der NDR-Sendung „Streitkräfte und Strategien“ vom 17. November 2018 findet sich unter „Krisenfrüherkennung – Die Bemühungen der Bundeswehr“ einen interessanten Beitrag mit einem Verweis zu einer entsprechenden Anwendung, die im Rahmen des neuen Security“-Studiengangs der Universität der Bundeswehr in Neubiberg eine Rolle spielt.
Wer sich mit den Fakten zu Stand von KI bzw. Machine Learning auseinandersetzt, wird erkennen, dass sich einerseits seit dem ersten „Hype“ des Themas in den 80er Jahren Einiges getan hat. Andererseits gewinnt man aus wissenschaftlichen Fachbeiträgen den Eindruck, dass KI derzeit zwar bei der Entscheidungsunterstützung für Menschen reüssiert, aber im praktischen Einsatz (Stichwort „schwache KI“) von einem verantwortbaren vollautonomen Einsatz noch weit entfernt ist. Dies wird im zivilen Bereich derzeit in der Diskussion um die Frage deutlich wie autonom autonome Autos sein können. Dazu empfiehlt es sich z.B. sich einmal die Forschungsberichte des MIT zum Thema „Morale Machine“ anzuschauen.
Was die Zukunft der „starken KI“ betrifft, hofft man zwar weiterhin eines Tages einen „Gehirn-Computer“ bauen zu können; bis dahin wird allerdings noch einige zeit vergehen. Dazu findet man u..a in der Zeitschrift „Technology Review“ vom 12.10.2018 einen Artikel „“Ein völlig neues Kapitel der Künstlichen Intelligenz“.
Die „Morale Machine“ ist für mich ein Paradebeispiel, wie verkopft das Thema angegangen wird.
Dem Menschen verlangen wir in ähnlichen Situationen auch keine derartigen moralischen Urteile ab und andersrum wäre es wesentlich zielführender, wenn man das Ganze von der Praxis ins Abstrakte denkt und nicht umgekehrt.
Will z.B. heißen: Wenn die Morale Machine einem nur zur Auswahl stellt, ob das autonome Fahrzeug garantiert den Fußgänger tötet oder garantiert den Insassen, dann ist das mehr als lebensfern, weil es weder andere Möglichkeiten berücksichtigt (inklusive der Frage, welches vorangehende Fahrverhalten die KI überhaupt vor diese Entscheidung gestellt hat) noch den Umstand, dass der Insasse wesentlich besser geschützt ist als der Fußgänger – speziell in Fahrsituationen, wo eine relevante Anzahl von Fußgängern auftritt.
Ja, natürlich habe ich bei der Maschine nicht den Luxus, diese Entscheidung offen zu lassen, wie ich das beim Menschen tun kann. Aber wenn ich Maschinen für die echte Welt baue, muss ich auch in lebensnahen Bahnen denken.
Die „Moral Machine“ ist in der Tat so ein Ding. Gut soziologisch kann man darüber angeregt und trefflich ethisch streiten. Für die Realisierung von Automatisierungs-Technologien ist sie aber schon von der Herangehensweise unzweckmäßig, vielleicht sogar ungeeignet.
Moral ist nicht entweder 0 oder 1. Moral wird vor allem dadurch deutlich, dass die Lösung zwischen 0 und 1 liegt. Und genauso wenig kann man Moral oder Intelligenz einer KI einprogrammieren im Sinne von einspeichern. Gerade das ist keine Intelligenz. Das ist bestenfalls „Auswendiglernen“, aber kein „unbekanntes Problem lösen“. Intelligent wäre eine Maschine, welche die Alternativ-Fragen im Experiment moralisch zufriedenstellend lösen kann. (Anregung: Was passiert mit den Personen im Experiment, wenn man eine Frage schlichtweg dauerhaft nicht beantwortet?!)
Zudem ist die Moral einem ständigen Wandel unterworfen. Was heute erlaubt ist, war vor nicht allzu langer Zeit streng verboten. Frauenwahlrecht, Recht der Ehefrau auf Arbeit ohne Genehmigung des Ehemannes, Fragen der Transsexualität … ganz zu schweigen von Bekleidungsfragen. Das Werbeverbot für Schwangerschaftsabbrüche (aus aktuellem Anlass) könnte es bald auch nicht mehr geben. Wer weiß, welche Moral unsere Nachfahren erst haben werden …
Hinzu kommt, dass Moralfragen kulturell völlig verschieden beurteilt werden können. Sollte man der Frau nun die Hand reichen, oder nicht? Und auch ein einziger Mensch verändert seine Moralvorstellungen im Laufe seines Lebens. Das kann am Beispiel des sog. Trolley Problems nicht besser verdeutlicht werden, wie mit diesem Video: https://www.youtube.com/watch?v=-N_RZJUAQY4
All diesen Phänomenen liegt das Prinzip des Wandels zu Grunde. Am Beispiel des Kindes nennt man es „Lernen“. Aber was ist Lernen? Wie kann eine Maschine lernen (unterstellt, man will das)? Wie so oft hilft ein Blick in die Natur, und hier auf uns selbst, am Beispiel der Hirnforschung. Besonders Manfred Spitzer, der „Harald Lesch der Neurowissenschaften“, hat das, wie ich finde, sehr gut in diesen Videos erklärt: https://www.youtube.com/playlist?list=PLEOCHM_jJdgp-Cx6XICtnTuhyrYoCI8EG
Seine Erklärung, was Lernen ist, und demzufolge was Intelligenz sein könnte, erscheint mir schlüssig und könnte ein möglicher Ansatz für eine technische Realisierung sein. Die Moral einer auf diese Weise funktionierenden Maschine würde sich dann auch nur durch Sozialisierung herausbilden. Und je nach Zeit, Kultur und Umfeld würden sich völlig verschiedene Moralvorstellungen entwickeln.
Wenn man also auf einer solch abstrakten Ebene erörtern möchte, was KI, Intelligenz, Moral etc. pp. ist … schön. Möge man es tun. Einen Schritt weiter im technologischen Fortschritt ist man dadurch nicht. Von politischen Hemmnissen, wie Ethikkommissionen, ganz zu schweigen.
Tröstlich ist nur: Der Mensch wurde auch nicht an einem Tage gebaut. Das hat schon einige Milliarden Jahre gedauert. Aber auch das ist ein typischer Fehler im Projektmanagement: Man glaubt mit einem guten Plan sofort den großen Wurf zu bringen. Experimente wie die sog. Marshmallow Challenge zeigten, dass bspw. Kleinkinder regelmäßig das Projekt effizienter und effektiver bearbeitet haben, als studierte Erwachsene. Vereinfacht gesagt kam dabei heraus: Probieren geht über Studieren.
Und schließlich, wenn ich schon auf die Evolution rekurriere, sei mir auch die (rhetorische) Frage erlaubt, ob Moral überhaupt intelligent ist. Die Antwort muss wohl heißen ‚Es kommt darauf an …‘ – für soziale Lebewesen wie dem Menschen wohl schon. Andere Lebewesen leben solitär, also arttypisch einzelgängerisch, und manche sogar kannibalistisch. Und das gilt sogar für manche Menschen. Soviel zur Moral.
Es empfiehlt sich daher einer Maschine zunächst ein paar (physikalische wie juristische) Gesetze einzuprogrammieren. Das mit der Intelligenz und Moral kann man später machen.
Zum Thema Drohnen und russische Drohnenabwehr in Syrien war Anfang November ein Beitrag von Viktor Murachowski, Chefredakteur der Zeitschrift „Arsenal otechestva“ auf Facebook online, der nach 24 Stunden wieder gelöscht wurde. Vermutlich Zensur russischerseits. Es gab aber Downloads, so daß der Inhalt nicht verloren ist.
Fazit:
Die Panzir-S1 erfüllt in der Bekämpfung von Drohnen im realen Gefecht nicht die Erwartungen. Das Radar hat Schwierigkeiten, langsame kleine Ziele aufzufassen. Bei einem Angriff wurden beispielsweise für den Abschuß von 3 Drohnen 13(!) Lenkflugkörper verbraucht, bei anderen Angriffen sogar keine einzige Drohne getroffen.
Wegen dieser Defizite wurden deshalb im April 2018 zusätzlich Tor-M2U auf den russischen Basen stationiert. Die Tor benötigt lediglich 9 LFK zur Vernichtung von 7-8 Drohnen. Die Effektivität der Tor-M2U liegt damit beim Einsatz gegen Drohnen bei 80%, während die Panzir-S1 lediglich 19% erreicht.
Hierzu etwas auf heise.de
https://www.heise.de/tp/features/Eine-europaeische-Verteidigungsarmee-muss-nicht-teuer-sein-4225327.html?wt_mc=nl.tp-aktuell.taeglich – in der unteren Hälfte des Artikels, ab „Aber wie sähe die denn eigentlich aus?“
Drohnen-Schwärme, die auf ihre Ziele lauern und dann durch (Boden-) Sensoren ausgelöst – vielleicht noch mit kleinen Aufklärungsdrohnen zur genauen Identifizierung und Lokalisierung voraus – aufsteigen und sich auf die Gegner stürzen und sich bei der Zielauswahl selbstständig abstimmen.
Das hat „Charme“, ist aber auch beängstigend.
Wie wäre es denn, wenn man erst einmal die Altlasten, z.B. die Munition in der Ostsee mithilfe von Robotern und KI beseitigt, bevor man sich Tötungsmaschinen widmet?
Das Heer stellt diese Woche die Test- und Versuchseinheiten für die Digitalisierung auf: https://www.presseportal.de/pm/127975/4132806
Mal sehen wie schnell man sich dabei auch dem Modethema KI zuwendet. Wobei der Begriff aktuell ja inflationär verwendet wird.
In den neuen Verbänden sollen ja Innovationen im Bereich der Digitalisierung erprobt werden. Ein weites Feld mit vielen Themen und Ideen.
Das Heer gibt mehr Informationen zur Test- und Versuchseinheit (https://tinyurl.com/y7lclvwv). Der Inspekteur erläutert dazu:
„Wenn man es auf den Punkt bringen will: Wir brauchen die komplette Vernetzung mit breitbandigen Daten- und Sprachautobahnen, die Algorithmen gestützte Aus- und Bewertung sowie Korrelation von Daten, um aus Big-Data Smart-Data zu machen. Das ist der Weg, um Daten verzugslos an die Entscheider im Gefecht weiterzuleiten“.
Es wird zudem nochmal erläutert, dass die VJTF 2023 voll ausgestattet sein soll und die VJTF 2019 „vom Panzer bis zur Schutzbrille“ alles zusammen sammeln musste.
Bei der Schutzbrille sollte dies ja eigentlich seit Jahren nicht mehr notwendig sein.