DroneWatch: Auf der Rutschbahn zu autonomen Waffensystemen?
Die niederländische kirchliche Friedensorganisation PAX hat eine Übersicht zur Entwicklung bei autonomen Waffensystemen vorgelegt – und kommt zu dem Ergebnis, dass bei vielen bereits bestehenden Systemen die Entwicklung so weit fortgeschritten ist, dass zur Autonomie nicht mehr viel fehlt. Es bestehe die Gefahr einer Rutschbahn, einer slippery slope, so auch der Titel der Studie.
Unabhängig davon, ob man die Bewertung von PAX teilt: Interessant ist die Übersicht deshalb, weil sie nicht von einer mehr oder weniger fernen Zukunft handelt, sondern bereits existierende oder kurz vor der Einführung stehende Waffensysteme in den Fokus nimmt:
“Many companies are on a slippery slope to producing ever more autonomous weapons, “ says Frank Slijper, author of the report. “While some arms companies claim they will never develop weapons that can operate without human control over lethal action, we see others developing that very technology with no clear human in the loop. We are dangerously close to crossing the line to lethal autonomous weapons.”
Das gilt aus Sicht der Organisation zum Beispiel für die Brimstone-Lenkflugkörper des europäischen Herstellers MBDA, bei deren Bewertung sich PAX auf das schwedische Friedensforschungsinstitut SIPRI beruft:
According to SIPRI, the “vast majority of guided munitions use autonomy only to find, track and hit targets or target locations that have been pre-assigned by humans. In that sense, autonomy does not support the target selection process; it solely supports the execution of the attack”.
It considers the Dual-Mode Brimstone, produced by the UK arm of MBDA (itself a joint venture of Airbus, BAE and Leonardo), as one of the few guided munitions with some target selection autonomy. “In contrast to regular guided missiles, […] they are assigned a target area, where they will have the task of finding targets that match a predefined target type”. SIPRI labels the Dual-Mode Brimstone as “the only guided munition featuring target selection autonomy that is currently operational. It works like a fire-and-forget missile. Once launched, the missile operates in full autonomy; it does not include a human-in-the-loop mode”.
Die Royal Air Force nutzt bereits die Brimstone (Foto oben); die deutsche Luftwaffe will diese Waffe ebenfalls am Eurofighter einsetzen*. Insofern hat diese Debatte dann auch Bedeutung für die Beschaffungspläne der Bundeswehr.
Während die Brimstone in der PAX-Übersicht mit besonders Besorgnis erregend (High Concern) markiert ist, ist das unbemannte Bodenfahrzeug Mission Master von Rheinmetall und der Wiesel Wingman für das Robotic Combat Vehicle/Light-Vorhaben der U.S. Army mit Medium Concern gekennzeichnet. Das, immerhin, bedeutet laut den Autoren der Übersicht: Company working on relevant autonomous weapons technologies + explaining in response to our survey how human control is ensured.
Die ganze Studie Slippery Slope – The arms industry and increasingly autonomous weapons gibt es hier zum Herunterladen. Wie auch immer man die Systeme einschätzt: Für eine Übersicht, was auf dem Markt oder in Entwicklung ist, ist es hilfreich.
*Angesichts des bevorstehenden Relaunchs der Bundeswehr-Webseiten diese Luftwaffen-Übersicht als pdf:
20190228_Luftwaffe_Eurofighter
(Archivbild März 2019: A pair of RAF Typhoons wait to taxi out and depart from RAF Akrotiri on an Op SHADER night mission. RAF Typhoons are now upgraded and equipped with a new ‚Centurion‘ weapon configuration that now includes Brimstone missiles – Cpl Rich Denton/Royal Air Force/Queen Copyright/MOD News License)
@tt.kreischwurst sagt: 16.11.2019 um 12:06 Uhr
„Also, schneller und verlässlicher geht schon. Aber die systemimmanente Verlässlichkeit ist anders als eine ‚absolute‘. Darauf will ich hinaus.“
Ich stimme Ihnen zu und verweise auf meine eigene Aussage von gestern 19:21 (um Rechtschreibfehler korrigiert) : „Ich teile Ihr „Unwohlsein“ über autonome Entscheidungen, aber es wird die Zeit kommen, in der die Maschinen eine höhere Wahrscheinlichkeit der richtigen Zielauswahl unter Zeitdruck haben werden, als Menschen.
Und dann stellt sich die ethisch-philosophisch wirklich spannende Frage, ob eine höhere Wahrscheinlichkeit für eine fehlerhafte (tödliche) Entscheidung deswegen besser akzeptabel sein wird, weil sie von einem Menschen getroffen wurde.“
Auch wenn es anscheinend in der Diskussion nicht interessiert bzw. einzelne Teilnehmer nicht verstehen wollen, dass bei Patriot nicht nur der FK autonom ist: Fakt ist, dass bodengebundene bzw. seegestützte Luftabwehr, insbesondere von ballistischen FK, bereits automatisch erfolgt, d. h. ein computerisiertes Führungs- und Waffeneinsatzsystem entscheidet mit Algorithmen, welche Ziele mit welchen und wie vielen FK bekämpft werden und gibt die Feuerbefehle ohne weiteren menschlichen Eingriff. Ohne KI oder maschinelles Lernen. Und diese Technik existiert bereits seit Jahrzehnten und ist auch in der Bundeswehr seit langem eingeführt. Und wenn sich dann ein Verkehrsflugzeug falsch verhält oder ein eigenes Kampfflugzeug ohne IFF unterwegs ist, wird geschossen.
Grund ist hier nicht, dass das System bessere Entscheidungen als ein Mensch trifft, sondern dass es überhaupt in der Lage ist, in einem sehr kurzen Zeitraum eine Vielzahl von Entscheidungen zu treffen.
Das Problem ist für uns deutsche Bürger eher ein akademisches Problem. Deswegen machen wir es uns auch so leicht, wir sind eben nicht betroffen von dem ganzen kranken Irrsinn. Es läßt sich leicht über das Töten Anderer schwadronieren wenn man selbst und die eigen Familie nicht betroffen sind.
Für die Menschen hingegen, die bereits jetzt in vielen Ländern dieser Welt unter einer ständigen Tötungsgefahr durch – auch westliche- Drohnen stehen, ist das was völlig Anderes. Diese Drohne entscheidet dann auf Grund der eingegebenen Daten Menschen zu töten, die die Parameter erfüllen. Und wenn im Umkreis eines „Tötungsfreigegeben“ unschuldige Kinder und Frauen sind dann haben die eben Pech gehabt. Das ist heute schon praktizierte Realität. Für diese für die Tötung freigegebenen Menschen gibt es beispielsweise keine Möglichkeit sich zu „ergeben“ wenn die Drohne die biometrischen Daten so ausgelesen hat, dass dieser Mensch zum Töten freigegeben wurde.
Wie bizarr ist das eigentlich wenn man gleichzeitig darüber schwadroniert die „Menschenrechte“ weltweit zu verteidigen? Für mich ist das im wahrsten Sinn des Wortes „irre“ oder auch „verrückt“ oder „geisteskrank“. Man hat diesbezüglich einfach den Verstand – und die Emotionen sowieso- abgeschaltet. Ich mag mich in einer Minderheit mit dieser Meinung befinden, aber ich bleibe dabei: es ist schlicht „verrückt“ oder „geisteskrank“ wenn Maschinen Menschen töten sollen ohne dass es eine menschliche Kontrolle darüber gibt.
Andere Länder haben da deutlich weniger Vorbehalte:
https://www.defenseone.com/technology/2019/11/secdef-china-exporting-killer-robots-mideast/161100/?oref=defenseone_today_nl
http://www.globaltimes.cn/content/1149168.shtml
und sind in der technischen Entwicklung auch schon deutlich weiter. ‚mal sehen, wie sich die Proliferation dieser Waffensysteme entwickelt.
Nachtrag: es muß wohl dennoch (noch) ein Angriffsbefehl gegeben werden, wobei ich mir vorstellen kann, daß es ausreichend ist, ein feindbesetztes Gebiet anzusteuern und dann die Bekämpfung autonom ablaufen zu lassen. Wirkungsaufklärung (BDA) bedarf es dann natürlich auch.
@Pete sagt: 17.11.2019 um 0:18 Uhr
„aber ich bleibe dabei: es ist schlicht „verrückt“ oder „geisteskrank“ wenn Maschinen Menschen töten sollen ohne dass es eine menschliche Kontrolle darüber gibt.“
Sie meine so wie bei Minen? Ja, so etwas ist furchtbar.
Aber es ist nun einmal Realität. Es zu negieren lasst niemanden weniger sterben. Außer unserem eigenen Soldaten 😢
@Pete:
„Diese Drohne entscheidet dann auf Grund der eingegebenen Daten Menschen zu töten, die die Parameter erfüllen. Und wenn im Umkreis eines „Tötungsfreigegeben“ unschuldige Kinder und Frauen sind dann haben die eben Pech gehabt. Das ist heute schon praktizierte Realität.“
Sie meinen damit aber nicht die amerikanischen Drohnen Einsätze, oder?
Dort entscheidet ein Mensch.
Oder wo gibt es aus Ihrer Sicht solche vollautomatischen Drohneneinsätze?
Auch Israel führt die Einsätze nicht automatisiert.
Oder haben Sie für die Behauptung eine Quelle?
@Memoria
Siehe: https://en.wikipedia.org/wiki/Loitering_munition
Als erster (?) tödlicher Einsatz der HAROP gilt:
https://www.washingtonpost.com/news/checkpoint/wp/2016/04/05/israeli-made-kamikaze-drone-spotted-in-nagorno-karabakh-conflict/
Die HARPY arbeitet autonom über dem Zielgebiet: https://www.iai.co.il/p/harpy
Und nachdem jetzt schon drei Verweise aufgeführt sind und @TW extra freigeben muß hier noch ein vierter:
https://dronecenter.bard.edu/files/2017/02/CSD-Loitering-Munitions.pdf
@Memoria
„Oder wo gibt es aus Ihrer Sicht solche vollautomatischen Drohneneinsätze? Auch Israel führt die Einsätze nicht automatisiert. Oder haben Sie für die Behauptung eine Quelle?“
Ich habe den verlinkten „Slipery Slope“ Report – um den es hier ja geht – gelesen. Zwei Zitate daraus:
„…Turkish state-owned company STM is improving the capabilities of its KARGU loitering munitions through using AI, including facial recognition. According to the company, the KARGU can “autonomously fire-and-forget through the entry of target coordinates”. It has been suggested that these systems will be deployed on the border with Syria…“
„The Mini Harpy, produced by Israel Aerospace Industries (IAI), has a range of 100km and an endurance of 120 minutes. IAI states that the system “loiters in the air waiting for the target to appear and then attacks and destroys the hostile threat within seconds”.
@Koffer
„Sie meine so wie bei Minen? Ja, so etwas ist furchtbar.“
Stimmt! Und das gilt umso mehr wenn man sich garnicht im Krieg befindet. Deutschland befindet sich meines Wissens nicht im Krieg mit einer anderen Nation, oder habe ich da was verpaßt?
„Aber es ist nun einmal Realität. Es zu negieren lasst niemanden weniger sterben. Außer unserem eigenen Soldaten.“
– Geographische Realität ist zunächst einmal, dass Deutschland durch niemanden an seinen Grenzen bedroht wird, sondern nur von Freunden und Verbündeten umgeben ist. Sollten Sie Zweifel daran haben hilft ein Blick auf die Landkarte.
– Es gibt also keine wirkliche aktuelle Bedrohung für „unsere eigene Soldaten“, es sei denn wir schicken sie – aus welchen Gründen auch immer- in fremde Länder wo wir nicht von Allen die dort wohnen willkommen geheißen werden. Das ging schon den Legioären des Römischen Reichs so.
– Wenn Sie allerdings auf einen Krieg mit einem symetrischen Gegner abheben wollen – zum Beispiel Russland- dann sind AI- gesteuerte Drohnen nicht meine größte Sorge im Bereich AI. Große Sorge würde es mir allerdings bereiten wenn AI verantworlich dafür wäre einen eventuellen Angriff durch nuklear bestückte Mittelstreckenrakten – die sollen ja scheinbar wieder eine Renaissance erleben- zu erkennen und möglicherweise automatisch darauf mit einem Gegenschlag zu reagieren.
– Wem die persönliche Erfahrung des Kalten Krieges fehlt und wer nicht die damalige ständigen Bedrohung durch einen Nuklearkrieg – auch aus Versehen – ausgelöscht zu werden selbst erlebt hat, dem empfehle ich diesen ARTE- Film, der nur einen kleinen Eindruck davon gibt welches Glück wir 1983 hatten, dass nicht AI die Entscheidungen getroffen haben, sondern Menschen:
https://www.youtube.com/watch?v=gQxO1zuP80A
– Sehr interessant ist auch der Film „The Fog of War Eleven Strategic Lessons from the Life of Robert S Mc Namara“.
– Insbesondere die Passage über die Kubakrise, z.T. mit Originalaudioaufzeichnungen aus dem Situation Room des White House, sind ein hoch interessantes Dokument der jüngeren Geschichte.
https://www.youtube.com/watch?v=5LsRRTvPigY
Wer sich nicht die Zeit nehmen möchte den ganzen Film zu sehen, der sollte vielleicht bei Minute 12 hineinhören. Dort beschreibt Mc Namara ein Gespräch mit Castro welches er in den 90er Jahren mit diesem über die Cubakrise geführt hat.
Lassen Sie mich Eines hinzufügen:
– Kriege wurden und werden IMMER mit den Mitteln geführt, die zur Verfügung stehen, es sei denn, beide Seiten haben ein gemeinsames Interesse daran, dass sie sich trotz Krieg gegenseitige Beschränkungen auferlegen. Dies ist auch der Grund warum Rüstungskontrolle durchaus funktionieren kann.
– Meine These ist: Es ist im Interesse der Menschheit, ähnlich wie bei ABC-Waffen, ein welweites Kontrollregime für AI-Waffen anzustreben bevor es zu spät ist eine unkontrollierte Proliferation zu verhindern.
Und mit dieser These bin ich ja nicht ganz Alleine. Neben dem UNO Generalsekretär hat sich der auch der deutsche Außenminister 2018 zu diesem Thema geäußert, Zitat:
„… I ask that you please support, both here in New York and in Geneva, our initiative to ban fully autonomous weapons – before it is too late!…“
https://new-york-un.diplo.de/un-de/20180928-maas-general-assembly/2142290
@Pete sagt: 17.11.2019 um 15:45 Uhr
„Stimmt! Und das gilt umso mehr wenn man sich garnicht im Krieg befindet.“
Ja und? Rüstungsvorhaben und Rüstungsforschung ist im Regelfall nicht für einen aktuellen Krieg, sondern für einen zukünftigen (bzw. die Verhinderung dessen).
„Wem die persönliche Erfahrung des Kalten Krieges fehlt und wer nicht die damalige ständigen Bedrohung durch einen Nuklearkrieg“
Guter Vergleich. Furchtbare Situation damals.
Schlimmer wäre allerdings gewesen, wenn nur die Sowjetunion Atomwaffen gehabt hätte und der Westen nicht. Dann wäre es vermutlich heute nix mit unserer Freiheit und unserem Wohlstand.
„Meine These ist: Es ist im Interesse der Menschheit, ähnlich wie bei ABC-Waffen, ein welweites Kontrollregime für AI-Waffen anzustreben bevor es zu spät ist eine unkontrollierte Proliferation zu verhindern.“
Wünschenswert wäre das. Man sollte es auf jeden Fall versuchen.
Aber bis das (hoffentlich) Erfolg haben wird, ist eine eigenständige Forschung und Rüstung zwingend notwendig um der Bundeswehr die besten Mittel zur Auftragserfüllung in die Hand zu geben und unsere gleichzeitig Soldaten zu schützen.
@Pete u. Thomas Melber:
HAROP bzw HARPY bekämpft vollautomatisch lediglich Radarstellungen. Also eine sehr eindeutige elektromagnetische Signatur.
KARGU erfordert bisher noch eine manuelle Zielauswahl.
Also sind beide Fälle keine Belege für die Behauptung es gebe bereits in der Praxis, die von Pete beschriebenen Einsätze.
Die Debatte ist eben oftmals nicht immer technisch präzise.
@Koffer
„Wünschenswert wäre das. Man sollte es auf jeden Fall versuchen.“
Einverstanden! Dann haben wir diesbezüglich eine Übereinstimmung erreicht.
@Memoria
„Die Debatte ist eben oftmals nicht immer technisch präzise.“
– Den Anspruch habe ich an mich auch nicht. Ich habe Ihnen, auf Ihre Nachfrage, als Quelle meiner Behauptungen den Report genannt über den wir hier debattieren. Und in dem türkischen Programm wird ja dezidiert „including facial recognition“ angegeben und dass, „According to the company, the KARGU can “autonomously fire-and-forget through the entry of target coordinates”. Wenn die Aussagen dort nicht zutreffen, dann ist Ihr Einspruch zutreffend. Ob das wirklich so ist, weiß ich nicht, will es auch nicht im Detail recherchieren.
– Es geht in meinem Augen auch garnicht um technische Details, sondern um die Debatte über eine potenziell automatisierte Kriegführung und die Konsequenzen für die Menschheit. Die Überschrift von @T.W. lautet ja „Auf der Rutschbahn zu autonomen Waffensystemen?“ und ist am Ende – aus meiner Sicht völlig zutreffend- mit einem Fragezeichen versehen.
– Die Debatte hat in meinen Augen gerade erst begonnen und es geht dabei weniger um technische Details als um die Dimension der Auswirkungen einer potenziell denkbaren automatisierten Tötung von Menschen durch Maschinen, die einem wie auch immer definierten Programm folgen. Deswegen ja auch das Engagement des UN-Generalssekretärs diese Waffen zu bannen. Das macht der ja nicht wenn es „nur“ um ein neues Waffensystem geht.
@Pete:
Nur mal als Gedanke “autonomously fire-and-forget through the entry of target coordinates” macht die Artillerie seit über 100 Jahren.
Dies ist nur insofern „autonom“, dass keine Lenkung händisch erfolgen muss.
Ein echter Unterschied wäre erst die wirkliche Verwendung von Gesichtserkennung in der Praxis. Wobei dann auch das zu identifizierende Gesicht vorab festgelegt werden muss. Derlei Szenare spielen bei den Drohnengegnern ja schon länger eine große Rolle, wohl auch weil diesie stark emotional aufgeladen sind.
@Pete sagt: 17.11.2019 um 17:53 Uhr
„Einverstanden! Dann haben wir diesbezüglich eine Übereinstimmung erreicht.“
Ich wüsste nicht, dass dies irgendwann strittig war. Zumindest von meiner Seite habe ich bereits das auch schon einige Kommentare früher festgehalten.
Der entscheidende Punkt ist nicht, ob eine internationale Ächtung von bestimmten „autonomen“ Waffensystemen wünschenswert wäre, sondern vielmehr ob es realistisch ist und warum das uns im hier und jetzt davon abhalten sollte zu forschen und zu rüsten bis eine Einigung erzielt werden kann.
@Memoria sagt:
„@Pete:
Nur mal als Gedanke “autonomously fire-and-forget through the entry of target coordinates” macht die Artillerie seit über 100 Jahren.
Dies ist nur insofern „autonom“, dass keine Lenkung händisch erfolgen muss.“
– Einverstanden!
– Ich hatte ja schon einmal (@Pete 17.11.2019 um 15:45 Uhr) darauf hingewiesen, dass wir unterscheiden müssen zwischen Kriegen gegen einen symetrischen Gegner und den Interventionseinsätzen in fremden Ländern gegen erheblich schwächere Staaten oder Gruppierungen. Deswegen müssen wir meines Erachtens in der Debatte differenzieren zwischen den unterschiedlichen Konflikten. Es gibt eine „natürliche Hemmschwelle“ beim Einsatz bestimmter Wirkmittel gegen einen symetrischen Gegner. Er könnte nämlich mit den selben Wirkmitteln zurück schlagen.
– Bei einem erheblich schwächeren Gegner, der nicht „mit gleicher Münze“ zurückschlagen kann, wollen auch westliche Staaten jedem einzelnen eigenen Soldaten verständlicherweise den größtmöglichen Schutz bieten. Und meines Erachtesn ist das der Kern der Debatte. Ich hatte schon einmal festgestellt: gegen eine automatische „Tötungsmaschine“ kann sich ein Mensch beispielsweise nicht „ergeben“. Das ist nur EIN kleines Beispiel dafür, dass das humanitäre Völkerrecht nur schwer durchzusetzen ist bei autonomen „Tötunungsmaschinen“. Dies ist eine riesige Debatte, die man hier nur anreißen kann.
Noch einmal: Es gibt in meinen Augen keine endgültigen Antworten, aber es ist aus meiner Sicht an der Zeit die richtigen Fragen zu stellen, um das Thema in seinen möglichen Auswirkungen wenigstens gedanklich zu erfassen.
Hach,ja. Was bleibt uns unmündigen, aber dennoch besorgten Bürgern denn dannn noch übrig?
Liebe Veranwortlichen in der deutschen Politik,
bitte nemen Sie unsere Bedenken wahr, bitte überdenken Sie sie, und lassen Sie sie in Ihre Entscheidungen einfliessen!
Bitte stellen Sie Ihre Überlegungen dazu neben die Angst vor einem möglicherweise unbewohnbaren Planeten!
Bitte gewähren Sie den Bürgern dieses Landes aber auch den Bürgern dieser Welt die Chance Ihre Zukunft zu planen und zu gestalten!
Bitte unterstützen Sie die Bemühungen diese furchteinflössenden Waffen zu bannen! (weniger Pathos wäre leider nicht zielführend)