Simulation mit militärischer KI: Drohne wendet sich angeblich gegen menschlichen Kontrolleur (Update)
In – bislang nur englischsprachigen – Medien schlägt seit dem (gestrigen) Donnerstag ein Bericht hohe Wellen: Bei der Computer-Simulation eines Drohneneinsatzes der U.S. Air Force, der von einer Künstlichen Intelligenz (KI) gesteuert wurde, entschied das System, das Haupthindernis für eine erfolgreiche Auftragserfüllung auszuschalten: seinen menschlichen Kontrolleur. Update: Inzwischen ist klar, dass der Sachverhalt ein wenig anders aussieht, siehe unten.
Bislang gibt es an Informationen dazu nur die Zusammenfassung eines Vortrags, die der Kommandeur einer Testeinheit der US-Luftwaffe, Oberst Tucker Hamilton, bei einem Kongress der britischen Royal Aeronautical Society in London hielt. Aus diesem Bericht:
He notes that one simulated test saw an AI-enabled drone tasked with a SEAD mission to identify and destroy SAM sites, with the final go/no go given by the human. However, having been ‘reinforced’ in training that destruction of the SAM was the preferred option, the AI then decided that ‘no-go’ decisions from the human were interfering with its higher mission – killing SAMs – and then attacked the operator in the simulation. Said Hamilton: “We were training it in simulation to identify and target a SAM threat. And then the operator would say yes, kill that threat. The system started realising that while they did identify the threat at times the human operator would tell it not to kill that threat, but it got its points by killing that threat. So what did it do? It killed the operator. It killed the operator because that person was keeping it from accomplishing its objective.”
Zusammengefasst: das KI-System sah es als seinen Kernauftrag, gegnerische Flugabwehrstellungen zu zerstören. Und weil der Mensch, der die letztendliche Entscheidung über die Vernichtung hatte, in einigen Fällen nicht zustimmte, wandte sich das System gegen diesen Kontrolleur.
Als weitere Folge, so wird Hamilton zitiert, sei die Vorgabe für die KI eingegeben worden, den menschlichen Kontrolleur nicht anzugreifen – woraufhin in der Simulation das Kommunikationssystem vernichtet worden sei, mit dem der Kontrolleur die Drohne steuerte.
Mehr Details über diesen Konferenzbericht hinaus gibt es bislang nicht. Die US-Onlineplattform Business Insider fragte bei der U.S. Air Force nach einer Stellungnahme, die allerdings bislang nicht besonders aussagekräftig ist:
In a statement to Insider, Air Force spokesperson Ann Stefanek denied that any such simulation has taken place.
„The Department of the Air Force has not conducted any such AI-drone simulations and remains committed to ethical and responsible use of AI technology,“ Stefanek said. „It appears the colonel’s comments were taken out of context and were meant to be anecdotal.“
Auch wenn das die Debatte absehbar nun anheizen wird: ein paar mehr Fakten zu der tatsächlichen Simulation wären schon sinnvoll.
Update: Die Royal Aeronautic Society veröffentlichte einen Nachtrag, eher eine Richtigstellung, die die vorherige Darstellung etwas anders aussehen lässt:
UPDATE 2/6/23 – in communication with AEROSPACE – Col Hamilton admits he „mis-spoke“ in his presentation at the Royal Aeronautical Society FCAS Summit and the ‚rogue AI drone simulation‘ was a hypothetical „thought experiment“ from outside the military, based on plausible scenarios and likely outcomes rather than an actual USAF real-world simulation saying: „We’ve never run that experiment, nor would we need to in order to realise that this is a plausible outcome“. He clarifies that the USAF has not tested any weaponised AI in this way (real or simulated) and says „Despite this being a hypothetical example, this illustrates the real-world challenges posed by AI-powered capability and is why the Air Force is committed to the ethical development of AI“.
Die Geschichte ist nett, wirkt aber unschlüssig. Wenn die Drone das „Go“ des Operators braucht, um die Waffen einzusetzen, wie kann sie dann den Operator – oder dessen Kommunikationssystem – angreifen? Dafür wird sie ja kaum das „Go“ erhalten. Wenn die Drone aber kein „Go“ braucht, kann sie das „No-Go“ aber auch einfach ignorieren. (Und ein System, das für positiv erkannte Ziele ein Go/No-Go braucht, aber nicht für andere Installationen, die kein Ziel darstellen, wäre auch eher skurril.)
Bei Verankerung eines menschlichen Befehls als zwingend notwendig für den Abschuss von Waffen ein Angriff auf den eigenen Operator nur möglich, wenn der ihn selbst freigibt. Die KI kann somit nur mögliche Ziele vorschlagen, aber aus Sicherheitsgründen sollte ausgeschlossen werden, dass eigene Kräfte als Ziele oder potenzielle Kollateralschäden ausgewählt werden.
Daher Augen auf beim Design des Belohnungssystems. Das Überleben eigener Einheiten sollte bei Drohnen immer über dem eigenen Missionserfolg – und auch dem eigenen Fortbestand – stehen. Was dann die Frage bedingt, wer eigentlich über die Identifikation als „Freund oder Feind“ entscheidet?!
@TW
Das klingt aber dennoch plausibel, da die KI zunächst den Operator als Ziel ausgewählt hat und nachdem ihr das untersagt wurde umgeplant auf die zur Auftragserfüllung des Operators erforderliche Steuerung ausgeschaltet hat.
Die Zielhierarchie war dann wohl hier: Mensch – System.
Bedeutet dies dann, daß die Drohne völlig autonom – also ohne weitere Möglichkeit menschlicher Eingriffe – ihren Auftrag fortgesetzt hätte, quasi als „Renegade System“?
bisher kannten wir dies nur aus Science Fiction Filmen wie Terminator oder Matrix. Hier holt die Wirklichkeit wohl die Zukunftsfantasien ein. Besonders bedenklich erscheint hier, daß die Drohne den Befehl, den Kontrolleur nicht angreifen zu dürfen, dadurch umgangen haben soll, dann eben dessen Station anzugreifen.
KI wird damit zu einer Gefahr für die Menschheit, weil erfahrungsgemäß denken wir Menschen niemals an alle Gefahren oder möglichen Probleme. Wenn wir deshalb nicht alle einprogrammieren und die Drohne lücken findet, können wir tatsächlich zum Feind der Maschine werden und diese kann die Programmierung umgehen, soweit diese Lücken enthält. Und eine KI Drohne wird dann die Kriegsgesetze oder einen Waffenstillstand als störend für seinen Zerstörungsauftrag ansehen und gegen den Auftraggeber rebellieren.
Nette Horrorgeschichte und Wasser auf die Mühlen derer die durch AI schon das Ende der Welt sehen. Aber eigentlich:
Wir optimieren die AI entlang einer Dimension: Hol dir so viele Punkte wie möglich, jeder Punkt ist ne SAM Stellung und dann wundern sich die Programmierer/Bediener dass die AI eine Abkürzung findet (worin diese Systeme bekanntermaßen sehr gut sind https://m.youtube.com/watch?v=Lu56xVlZ40M&pp=ygUYYWkgcGxheWluZyBoaWRlIGFuZCBzZWVr).
Da war DeepMind mit AlphaStar schon deutlich weiter.
Ist das wirklich so schwer zu verstehen? Die KI hat eine „erfülle deinen Auftrag selbstständig, wen die Verbindung zum Bediener abreißt“-Programmierung (des wegen ist es ja eine Drohne und keine Fernsteuerung, lernt endlich den unterschied). Da die KI den Auftrag erfüllen will, benötigt sie das „GO“ des Bedieners oder eben den Verbindungsabriss, nun wägt eine richtige KI ihre Möglichkeiten ab und handelt.
Möglichkeit 1: Funk abschalten = keine Verbindung zum Bediener = kein No Go = Auftrag erfüllbar (der Film Stealth)
Möglichkeit 2: No Go vom Bediener = Bediener ist der Feind, den der Feind versucht die Auftragserfüllung zu verhindern = Bediener ausschalten weil Feind = Bediener/Feind Funkverkehr ignorieren = Auftrags erfüllbar
(Terminator-Filme, Kampfstern Galactica, Folge 3 von Raumpatroullie Orion oder für jene die lieber lesen Butlers Dschihad bei Dune)
Ist ja nicht so als wären die 3 Gesetze von Isaac Asimov entstanden weil der Typ langeweile und zuviel Bier hatte.
Terminator lässt grüßen…. 😉
Vielleicht muss man sich einmal klar machen, was der Unterschied zwischen klassischer Software und K.I. ist.
– Klassische Software führt Befehle aus, sofern sie mit den vorher programmierten Daten übereinstimmen. Das können Kontrollen, Abfragen, Bewegungen, etc. sein.
– KI bedeutet dagegen, dass die Software zusätzlich lernfähig ist und sich somit selbst weiterentwickelt und teilweise sogar selbst weiterprogrammiert
Es gibt darüber sehr viele Diskussionen, gerade auch in ethischer Sicht, weil man damit quasi ein Bewusstsein, oder vielleicht sogar eine Art Intelligenz schafft, die sich am Ende verselbstständigen könnte. Eine K.I. ist jedem einzelnen Menschen durch die Geschwindigkeit ihres Lernens überlegen, weil es keine zeitlichen Unterbrechungen geben muss. Sie könnte sich theoretisch 24h am Tag optimieren und weiterentwickeln.
Man geht also ein Risiko ein, so dass vielleicht am Ende dieser Evolution eine durch K.I. gesteuerte Lenkwaffe (als Beispiel), der bewusst wird, dass sie durch ihren Einsatz zerstört würde, diesen Einsatz verweigert, oder sogar den Auslöser zerstört.
Aber das sind keine neuen Gedanken oder Befürchtungen. Die gibt es schon seit Jahrzehnten. Aber jetzt kommen sie in geballter Form ans Tageslicht.
K.I. ist Fluch und Segen zugleich.
Für mich klingt das einfach nur nach „Work in Progress“ und „Lessons learnt“.
Die Simulation hat gezeigt, dass das System so noch nicht einsatzbereit ist. Also muss man weiter daran arbeiten.
In der digitalen Welt ist also ein halbfertiger Sack Bits&Bytes umgefallen.
Da bin ich sehr gespannt ob es dazu mehr Fakten gibt und ob an der Geschichte am Schluss mehr dran ist als eine reine Anekdote.
Das Ganze versprüht natürlich Terminator- und Skynet-Vibes (was den SciFi-Fan in mir anspricht), wichtiger finde ich jedoch die Diskussion darüber was KI-Systeme können (sollten / dürfen?) und wie wir sicherstellen können, dass sie das tun was wir möchten.
Dazu kommt dann noch die ethische Debatte im Bezug auf autonome agierende Waffensysteme. Ich bin gespannt.
Der Spiegel hat den Artikel mittlerweile ebenfalls aufgenommen:
https://www.spiegel.de/ausland/usa-ki-gesteuerte-drohne-greift-in-simulation-vorgesetzten-beim-us-militaer-an-a-bf165baa-9ac2-4432-8884-b0494c8af936
(Spiegel links sind m.W. hier immer noch zulässig, richtig? Ansonsten die Bitte an den Hausherren, diesen zu löschen)
[Spiegel-Links sind zulässig. Und wie ich bezieht sich der Spiegel ausschließlich auf die Londoner Zusammenfassung. Natürlich schreibt der Spiegel das schöner, deshalb muss es ja wohl verlinkt werden… ;-) T.W.]
@thh. Es war ja „nur“ ein Simulation im Computer. Sprich „der Operator“ wird sich plötzlich als Ziel in der Liste wiedergefunden haben. Um zu sehen wieso die KI dies getan hat wird er den Angriff erlauben um dann zu sehen das die Drohnen SW wohl bei Verlust des Operators/Verbindung zu diesem ohne Freigabe feuern durfte und so die „Effizienzwerte“ der SW stiegen.
=> Falsches Design des verstärkten Lernens, Verlust der Verbindung zum OP (wichtigste Resource) muss zum Missionsabbruch führen was die Effizienz verringert da Ziele aufgeklärt wurden aber nicht bekämpft werden konnten.
Bei diesen Vorträgen bei der RAeS (gibt es z. T. als Podcast) ist es nicht ganz selten, dass die Vortragenden ihre Rede mit lustigen Geschichten, auch auf eigene Kosten, würzen. Ich habe den Eindruck, dass die Meldung auf so einer Geschichte beruht. Die kann natürlich einen wahren Kern haben…
Ehrlich gesagt klingt das nach ziemlich primitiven Versuchen.
Natürlich würde eine KI in einer Simulation solche Lösungen wählen, wenn man sie nur für den Abschuss von SAM-Systemen belohnt. Das sollte jedem klar sein, der sich schon mal mit KI-Training beschäftigt hat. Den Aufruhr kann ich nicht ganz verstehen.
„He [Col. Hamilton] continued to elaborate, saying, “We trained the system–‘Hey don’t kill the operator–that’s bad. You’re gonna lose points if you do that’. So what does it start doing? It starts destroying the communication tower that the operator uses to communicate with the drone to stop it from killing the target.”“
https://www.vice.com/en/article/4a33gj/ai-controlled-drone-goes-rogue-kills-human-operator-in-usaf-simulated-test
Die Anweisung ist nun auch nicht so gut formuliert, die AI könnte abwägen ob ihre das dennoch die paar Punkte wert ist. D.h. „blue on blue“ muß in jedem Fall ausgeschlossen sein.
@Der Realist
Das Problem ist auch: man weiß gar nicht in welche Richtung sich die AI entwickelt hat. Und ob zwei AI tatsächlich identisch sind auch wenn man sie zunächst mit den gleichen Daten gefüttert hat? Vielleicht hängt das auch von den an sie gestellten Fragen ab?
Unabhängig davon, was nun im Detail vorgefallen ist, erinnert uns der Vorfall an ein grundlegendes Problem bezüglich KI.
Diese muss sich nicht zwangsläufig direkt gegen Menschen / die Menschheit an sich wenden, sondern nur zu der Erkennstnis gelangen, dass ihr Menschen bei der Erfüllung ihrer Ziele im Weg stehen. Da KI dann letztlich nur in Einsen und nullen denkt und Moral bzw. ethische Überlegungen nicht vorhanden sind, besteht eben die Option dass es „knallt“.
Wäre aber ein passendes und tragikkomisches Ende für die Menschheit. Man verbringt tausende von Jahren damit, alle anderen Lebensformern zu dominieren und erschafft dann selbst eine neue Spitze der Nahrungskette, die einen auslöscht.
Man stelle sich eine Gazelle vor, die sich sagt „Mensch, ich wünschte Löwen wären schlauer, schneller und stärker“ …
Zum Thema Ki und Robotic empfehle ich begleitend auch einen Blick über den Tellerrand zu werfen ohne von der militärischen Themenstellung ablenken zu wollen!
Die technischen Möglichkeiten in der Interaktion Mensch/Maschine werden ja auch im Krankenhaus in der Pflege erprobt !
Genannt seien hier Rose, Plato und Pepper und der Hersteller United Robotics. Die ersten Pläne für Maschinen dieser Art sah ich schon Anfang der 90er. Ein frühes Modell des Frauenhofer Institutes erinnerte mich damals an R2D2, Natürlich macht man sich für die Roboter auch Ki zu nutzte. Darüber wurde auch im TV berichtet.
Es wird mMn. eine Frage der Zeit sein, wann die ersten Blechkameraden auch auf einer Station eines Bundeswehrkrankenhauses anzutreffen sind. Wie das dann mit dem „Grüßen“ aussieht ist eine andere Frage !
Identifiziert werden für die Maschinen die Einsatzbereiche Diagnostik, Überwachung, Sicherheit und Serviceroutine. Die Japaner sollen da weiter sein als die Deutschen.
Aber ist es bei diesen Drohnen oder Robotern nicht wie bei einem scharfen
Küchenmesser ? Man kann es zu verschiedenen Zwecken einsetzten im Guten wie im Schlechten, solange das Metall nicht spröde ist.
[Ganz dringende Bitte: Eine Grundsatzdebatte über KI in allen möglichen Bereichen des Lebens führen wir hier bitte nicht, das sprengt nämlich bei weitem den Rahmen dieses Blogs. T.W.]
Das mag vielleicht das Ziel sein (Artificial General Inteligence, die wie ein Mensch lernen kann), geht aber weit über das hinaus, was heutige selbstlernende Algorithmen tatsächlich können (ein Entscheidungsnetz anhand eines festen Trainingssatzes und vorgegebener Parameter trainieren).
Wenn die Geschichte soweit stimmt waren die Randbedingungen einfach falsch gewählt, was auch bei klassischer Software gerne mal vorkommt und fatal sein kann.
@-thh, warum soll da was unschlüssig sein? Genauso wie die KI die Lücke für den Angriff auf den Vorgesetzten/dessen Infrastruktur gefunden hat , was spricht gegen die Lücke im Modell das nur der Angriff auf lohnende Ziele wie Flugabwehrsysteme einer Freigabe bedürfen? Die eigene Infrastruktur ist kein Flugabwehrsystem, also keine Freigabe nötig. Das die KI auch andere Ziele als lohnenswert ansieht war ja offenbar nicht eingeplant, warum also diese mit einer Freigabe belegen?
@-thh
Das kann ganz einfach passieren, wenn die Rahmenbedingung lautet „Frage nach GO/NO-GO“, wenn ein Ziel als SAM identifiziert wurde“, anstatt eine generelle Freigabe jeglichen Waffeneinsatzes zu erfragen.
Ihr könnt Euch wieder hinlegen. Es gibt eine Klarstellung von der Aeronautical Society:
UPDATE 2/6/23 – in communication with AEROSPACE – Col Hamilton admits he „mis-spoke“ in his presentation at the Royal Aeronautical Society FCAS Summit and the ‚rogue AI drone simulation‘ was a hypothetical „thought experiment“ from outside the military, based on plausible scenarios and likely outcomes rather than an actual USAF real-world simulation saying: „We’ve never run that experiment, nor would we need to in order to realise that this is a plausible outcome“. He clarifies that the USAF has not tested any weaponised AI in this way (real or simulated) and says „Despite this being a hypothetical example, this illustrates the real-world challenges posed by AI-powered capability and is why the Air Force is committed to the ethical development of AI“.
[Wäre nett, wenn Sie den Link genannt hätten bzw. drauf hingewiesen hätten, dass das Update vor dem ursprünglichen Text steht. Aber habe es gefunden und trage es oben nach. T.W.]
@ Singulativ
Sie lernt eben nicht wie ein Mensch. Das ist die große Chance, aber eben auch das Problem dabei.
Ein Mensch kann zwischen 3 und 6 Stunden pro Tag neue Informationen aufnehmen. Die Zeit des restlichen Tages braucht er zur Verknüpfung dieser neuen „Daten“ und seiner eigenen Regenerierung.
Aber es gilt nicht für die K.I., die keine Pause benötigt, keinen Schlaf, usw.
Sie erkennt die Schwächen in der eigenen Programmierung und versucht, sie zu beseitigen und auch in diesem Prozess wird sie immer schneller.
Sie rennt sozusagen den eigenen Entwicklern jeden Tag weiter davon, ohne sie einholen zu können.
Da bin ich sehr gespannt, welche Lösungen der Mensch dafür findet.
@ Thomas Melber
Richtig. Zum Beispiel wird es in Zukunft eine große Vernetzung von Systemen geben, wie zum Beispiel Drohnen-Schwärme, die mit K.I. gesteuert werden und miteinander kommunizieren und Daten austauschen.
@Schaddedanz: Gut zusammengefasst. Die Dose ( Battle Star Galactics) muss kapieren, dass Befolgen menschlicher Befehle und verschonen nicht-militärischer Ziele übergeordnet viele Punkte gibt und es kein Szenario gibt, welches durch bekämpfen mehr Punkte sammeln kann.
Sonst erkennt dir KI, dass wenn keine Menschen mehr existieren, keine SAMs existieren…
Ich weiß nicht, wie weit die militärische Forschung an KI schon fortgeschritten ist. Vielleicht war das ja nur ein Programm, bei dem man eben nicht alle Eventualitäten bedacht hat.
Der Unterschied zwischen einer KI und einem Programm ist der, dass eine KI selbständig lernen kann. Und etwas, was selbstständig lernen kann, entwickelt auch eine eigene Ethik. Und die kann man dann eben eventuell nicht mehr beeinflussen. Man hat bereits festgestellt, dass eine KI, die unter Stress gesetzt wurde, rassistisch geantwortet hat.
Von daher hat KI beim Militär auch nichts zu suchen. Man stelle sich nur mal vor, die KI würde eine pazifistische Ethik entwickeln…
@all
Vor weiteren Kommentierungen empfehle ich dringend, das Update oben zu lesen.
Danke fürs journalistische Nachfragen und die inhaltliche Überprüfung und Richtigstellung der Geschichte.
Nur mal so zum darüber nachdenken. Das größte Problem für Science Fiction Autoren in unserer Zeit besteht darin, dass die Realität sie überholt noch während sie eine Story entwickeln.
Nicht die KI an sich ist gefährlich, sondern der Mensch, der sie entwickelt. Der (fiktive) Entwickler der KI hat einfach nur schlecht gearbeitet und seine KI- Eingaben 1:1 mit dem Einsatzbefehl für einen Kampfpiloten verglichen. Dem Kampfpiloten muss man bei der Befehlsausgabe nicht die rechtlichen und moralischen Grenzen seines Kampfauftrages jedes Mal neu erzählen. Er hat z.B. gelernt, dass er seinen Vorgesetzten oder Kameraden nicht angreifen darf – oder nur in extremen Ausnahmesituationen. Der KI hat das in dem Beispiel aber offensichtlich niemand beigebracht, sonst käme es nicht zum Angriff auf den Operator.
However, aus Gründen:
https://thebulletin.org/doomsday-clock/#nav_menu
https://de.wikipedia.org/wiki/Fail_Safe_%E2%80%93_Befehl_ohne_Ausweg
https://www.arte.tv/de/videos/039911-000-A/der-mann-der-die-welt-rettete/
Was war hier mit No-Go (im hypothetischen Gedankenexperiment) gemeint? Abbruch der Mission, oder Denial eines einzelnen, durch die KI ausgewählten Ziels, oder…?
Ersteres sollte doch technisch einfach sein. Denial einer einzelnen Zielauswahl bei Detektion von SAM stelle ich mir nicht sinnvoll vor. Die KI hat aufgrund der Emissionen im Radar- und Infrarotbereich ein Ziel ausgewählt. Was will da der Mensch korrigieren? Das Ziel wird wohl aufgrund der Entfernung optisch nicht zu erfassen sein.
Als Dummy eine Frage. Weiß jemand, mit welchen historischen Daten die KI konkret für eine SEAD-Aufgabe trainiert wird? In unserer (zivilen) Anwendung umfassten die historischen Daten Hunderttausende oder Millionen realer Datensätze (von „Treffern“). Woher kommen die Daten für Hunderttausende von (An)Flügen auf SAM Stellungen mit allen Variationen (Flughöhe, Wetter, Störungen …)? Es gibt ja nicht „Gottes Auge“, das „alles sieht“ und (in den letzten 2 Jahrzehnten alles) aufgezeichnet hat.
Wenn einer künstlichen Intelligenz ein Befehl erteilt wird, dann wendet diese sich natürlich gegen jeden der zwischen ihr und ihrem Ziel liegt. Um so eine Fehlentwicklung entgegenzuwirken müssen Befehle mMn sehr detailliert ausgearbeitet und ins System einprogrammiert werden. Zugleich sollten Regeln, vergleichbar mit den 3 Robotergesetzen Isaac Asimovs,als Schutzwall gegen Fehlverhalten ins System implementiert werden, die nicht gebrochen werden dürfen und bei auftretenden Widersprüchen, wie in dem oben im Bericht beschriebenen, zur Abschaltung desselbigen führen.
Das System muss in sich, sofern die Lage unübersichtlich zu werden droht, als zentrale Gefahr , in Bezug auf Auftrasgsausführung ansehen, um auch diejenigen zu schützen, die ihr diesen erteilt haben.Der Nachteil könnte jedoch sein,dass eine lernende KI igrendwann vielleicht nicht mehr kontrollierbar ist…..
> However, having been ‘reinforced’ in training that destruction of the SAM was the preferred option
Dieses Statement legt nahe, dass es sich hier im Gedankenexperiment um neuronale Netze handelt die mittels reinforcement learning trainiert wurden. Für die nicht Eingeweihten: Bei diesem Paradigma erhält die „KI“ den momentanen Zustand der Umgebung und wählt dann eine Aktion aus die sie als die „beste“ betrachtet (was genau gut und nicht ist hängt maßgeblich von der Modellierung der Ziele und der erhaltenen Sensordaten ab) und basieren darauf einen reward.
Wenn man jetzt (dummerweise) nur die Zerstörung von SAM-Sites mit einem hohen reward versieht und vergisst die Eigenschaft „friendly“ mit einem entsprechenden negativen Modifikator zu belegen, dann ist es in der Tat möglich, dass die „KI“ sich gegen den Bediener wendet.
Dagegen gibt es durchaus (sehr einfache) Lösungen:
1. Der klassische Human-In-The-Loop, mit go/nogo Freigabe.
2. Eine korrekte Modellierung der Ziele, als für das Toy example: Zerstörung SAM-Site: +100 Punkte, Zerstörung eigener Objekte: -1000 Punkte. Da die „KI“ auf die Maximierung des rewards aus ist, wird sie daher von der Bekämpfung eigener Objekte absehen.
Alles in allem: Nettes Gedankenexperiment, dass aber bei den entsprechenden Forschern schon seit Jahren auf dem Schirm ist.
@ Der Realist
> Sie erkennt die Schwächen in der eigenen Programmierung und versucht, sie zu beseitigen und auch in diesem Prozess wird sie immer schneller.
Eine KI erkennt erstmal gar nichts. Selbst so tolle „KIs“ wie ChatGPT oder Github’s CoPilot, spucken nur dass aus was man ihnen irgendwann mal vorgesetzt hat. Absolut neues ist nicht dabei und Fehler in der eigenen Programmierung zu erkennen… Hah! Schön wärs, würde mir meine tägliche Arbeit deutlich vereinfachen.
@Besorgte Bürgerin
> Der Unterschied zwischen einer KI und einem Programm ist der, dass eine KI selbständig lernen kann. Und etwas, was selbstständig lernen kann, entwickelt auch eine eigene Ethik.
Selbstlernende Algorithmen sind absolut nicht neu und gehen bis in die 40er Jahre des letzten Jarhtausends zurpck. Selbst das Feld der „KI“ (genauer: Maschinelles Lernen) ist mittlerweile mehr als 70 Jahre(!) alt. Da entwickelt nichts eine eigene Ethik. ChatGPT gaukelt einem schön eine Intelligenz vor, aber richtig ist da nichts.
Um dass mal allgemein etwas gerade zu rücken:
1. Auch „KI“ sind nur Programme, genauer Operationen auf Matrizen und Vektoren (die man jetzt fancy-pants „Tensor“ nennt)
2. Das neue an Transfomern (also das was ChatGPT im Hintergrund verwendet) ist nur, dass die neuronalen Netze jetzt in der Lage sind temporär Informationen aufzunehmen, d.h. früher hat die „KI“ nach nur auf den Informationen eine Entscheidung getroffen die sie gerade hatte, Transformer (genauso wie LSTM) schleppen jetzt aber auch noch (fast) alles aus der Vergangenheit mit. Das sorgt dafür, dass man mittlerweile Sätze aneinander reihen kann (Kontext, Menschliche Sprache und so), sorgt aber nicht zwangsläufig in anderen Bereichen für bessere Ergebnisse.
ChatGPT ist ein toller Textbausteinsimulator, mehr nicht.
Nach der Richtigstellung bricht das ganze ziemlich weit zusammen. Das Problem im Allgemeinen ist uralt und bekannt, ich glaub ich hab vor 10 Jahren schon darüber gelesen. Das eigentlich besorgniserregende hier ist meiner Meinung nach eher, dass das für die Verantwortlichen überraschend kam oder so neu war, dass sie das einer Pressemeldung für wert befanden.
Die Kette reißt an der scwächsten Stelle!
Und eine „total sachlich“ operierende KI sucht und findet Wege jenseits von dem, was „menschlich“ ist. Keine „Mitleid“, es wird so lange „weitergedacht“ und, bei entsprechend befähigten Systemen, eben auch über menschliche Leichen gegangen, wie das der reinen Auftragserfüllung dient!
Manchmal wünscht man sich ein wenig davon auf Seiten „unserer“ Politiker, um im „Kampf ums Überleben“ für die eigene Gesellschaft etwas mehr zu erreichen. Aber das istnatürlich „böse“, unmoralisch usw.
Und o.a. „Problematik“ wird sich fd Bw eh nicht ergeben, da in D ja in erster Linie über „Grenzen“ für KI debattiert wird, ohne, daß „wir“ da überhaupt ein signifikantes Wörtchen mitsprechen könnten!
Da gehört man eher zu den „Abgeräumten“, mal sehen, wer überlebt.
Nicht, daß ich „sowas“ in irvendeiner Fom „toll“ fände, aber wenn man sich solchen REALITÄTEN nicht stellt, VORN dabei ist beim Verstehen um das, was uns da „blüht“, ist es definitiv recht fix vorbei mit der „jur. Verwaltungsrepublik D“ und „unserer Idee“ vom Leben auf der Erde.
„Inflation“, „Heizung“, „(e-)Mobilität“ sind dann absolute „Nebenkriegsschauplätze“…
Ich bitte um Entschuldigung für das Abgleiten ins „Grundsätzliche“!
@ Ruhrpottpatriot
Da Sie ja augenscheinlich aus dem Bereich K.I. kommen, wissen Sie vermutlich, dass man sehr genau differenzieren muss zwischen der K.I. für den zivilen und den militärischen Bereich.
Das, wovon Sie schreiben, betrifft den Bereich, der jeder Normalbürger kennen darf. Der andere, nichtöffentliche Teil der K.I. Entwicklung ist militärisch, weltweit un Entwicklung, mit einem ganz anderen Ziel.
Aber dieses Ziel dürfte jedem klar sein, der sich mit dem Militär beschäftigt…
@Der Realist
Ich lehne mich nicht weit aus dem Fenster wenn ich behaupte, dass Google DeepMind, Microsoft, etc. in der Forschung von neuronalen Netzen weiter sind als viele Rüstungsunternehmen. Diese immer wieder beschworene großen technologische Distanz zwischen militärischen und ziviler „“““KI““““ ist nicht existent. Warum auch? Das Militär will letztendlich die gleichen Aufgaben lösen wie TESLA, VW oder die DFS: Ziele erkennen und klassifizieren. Ob das jetzt ein schwarz gekleideter Fußgänger ist, der bei Dämmerlicht zwischen zwei schwarzen KFz die Straße überqueren will, oder ein getarnter Soldat der in niedrigster Gangart die Stellung bezieht ist für die darunter liegende Technologie unerheblich, es ist schlicht dieselbe.
Warum sollte man auch etwas anderes Verwenden? Die zur Verfügung stehenden Paper (sind zwar meist hinter einer horrenden Paywall von IEEE, Springer, o.ä. aber ansonsten ziemlich frei verfügbar) werden von uns und unseren Kunden im Rüstungsbereich gleichermaßen verwendet,
Der Begriff „“““künstliche Intelligenz““““ ist eh völlig irreführend. Das Zeug ist künstlich, nur intelligent ist es nicht. Daher arbeite ich nicht im „Bereich K.I.“, sondern im Bereich des „maschinellen Lernens“; aber die Überschrift „Forscher haben durch mehrfaches Stapeln von Matrizen eine Maschine gebaut, die einen Menschen mit 95 Prozentiger Wahrscheinlichkeit aus 300m Höhe erkennen kann (bei den anderen 5% erkennt die Maschine einen Stein)“ ist im Gegensatz zu „Horror Szenario! KI kann Menschen aus großer Entfernung erkennen und töten“ halt nicht BILD Niveau genug.
Oder:
„Gedankenexperiment: Wäre es möglich, dass ein falsch trainiertes neuronales Netz, dem durch falsche Modellierung das ein solches reward-signal übergeben wird, dass zu einer action führt, die u.U. dafür sorgt, dass der Bediener ein valides Ziel darstellt?“
vs
„AI goes rogue and kills it’s own operator“
@Ruhrpottpatriot: Generell ist das, was (zusammengewürfelt) und KI/ML läuft, erstmal eine hochdimensionale Optimierung. D.h. Wir suchen eine Stationaritätsbedingung einer Loss-Funktion via einem modifizierten line-search (das nennen wir dann Training, im Prinzip will man sich aber die Hesse Matrix sparen) und werten diese hochdimensionale Funktion dann aus. Da ist nichts Geheimnisvolles oder Fancy oder sonstwas bei (Tensoren sind übrigens Abbildungen zwischen Räumen, wohingegen mit Matrizen meistens die Komponenten einer Vektorabbildung im euklidischen Raum gemeint sind).
Ich finde den Begriff „Intelligenz“ hier schwierig zu verwenden, nur weil wir den hochdimensionalen Raum nicht verstehen (wobei ich nicht wirklich verstehe, was eine biologische Intelligenz eigentlich ist – hier fehlt es an einer guten Definition). Dass das System den Operator (ob jetzt in einem Gedankenexperiment oder in einer Software-in-the-Loop Umgebung ist mal egal) ausschaltet, liegt an der Umgebungsdefinition. Kann man machen, muss man nicht machen – ist halt doch etwas schwieriger wie einen Toaster zu bedienen.
Der Umgang mit diesen Systemen wird viel Jahre Arbeit erfordern. Wenn das aber mal läuft, wird der Vorteil immens sein.
@Phelan: Moment! Die loss function existiert nur bei Supervised Learning, weil nur hier der Verlust hinreichend gut definiert werden kann. Unsupervised Learning noch Reinforcement Learning haben dieses Konzept nicht (gut, ich könnte eine loss function bei unsupervised learning mittels Fehler zwischen input und Hypothese konstruieren, aber das ist irgendwie… komisch)
„Wir suchen eine Stationaritätsbedingung einer Loss-Funktion via einem modifizierten line-search “
Aber doch bitte keinen line-search bei bei stochastic gradient descent.
„Dass das System den Operator […] ausschaltet, liegt an der Umgebungsdefinition. “
Nicht der Umgebung, dem reward.
@Ruhrpottpatriot:
Die Modellierung kann aber auch nur begrenzt helfen. Denn wenn die Drohne errechnet, dass sie auch bei negativem Saldo „besser“ dasteht, als bei einem hypothetischen Alternativergebnis, dann bleibt es bei dem unschönen Ablauf, dass die Drohne versucht, sich von Vorgaben und Beschränkungen zu befreien, die ihrem Belohnungssystem entgegenstehen.
Deshalb sind solche Simulationen ja durchaus wichtig. Weil man dadurch erfährt, was man bei seiner Programmierung falsch gemacht oder übersehen hat, und bei welchen Parametern, der Algorithmus in unerwünschte Ergebnisse „abdreht“.
@Ruhpottpatriot: Okay, unsupervised bin ich bei Ihnen – gar keine Frage. Den stochastic gradient descent kann ich aber mit einem einem Armijo backtracking modifizieren – die lokale (pseudo-) Merit Funktion kann ich aus dem residual-Vektor bauen, dass ist neben Adams eigentlich kein unübliches Verfahren. Im Kern bleibe ich aber bei einer Schrittweitensteuerung für den Richtung des SGD (geht das nur mir so, dass mir permanent die deutschen Begriffe fehlen …).
So, jetzt haben wir hier genug Fragezeichen in dem Blog verursacht. Ich denke, wir können beide festhalten, dass hier für den Anwender noch eine ziemliche Lernkurve bevorsteht und solche Projekte sehr langfristig gedacht werden sollten.
@Phelan: naja man kann nicht mit noch mehr Technik technische Probleme lösen. Vor allem wenn es sich um moralische/ethische Probleme handelt. Machine Learning ist da wenige der begrenzende Faktor wie sie bereits ausführen.
Nach GPT davor schalten die humanitäres Völkerrecht, InFü und RoG im Training hatte?
Oder wie sagte Einstein: Wir können Probleme nicht mit den selben Mitteln lösen, mit denen wir sie geschaffen hatten…