Simulation mit militärischer KI: Drohne wendet sich angeblich gegen menschlichen Kontrolleur (Update)

Veröffentlicht am von

In – bislang nur englischsprachigen – Medien schlägt seit dem (gestrigen) Donnerstag ein Bericht hohe Wellen: Bei der Computer-Simulation eines Drohneneinsatzes der U.S. Air Force, der von einer Künstlichen Intelligenz (KI) gesteuert wurde, entschied das System, das Haupthindernis für eine erfolgreiche Auftragserfüllung auszuschalten: seinen menschlichen Kontrolleur. Update: Inzwischen ist klar, dass der Sachverhalt ein wenig anders aussieht, siehe unten. 

Bislang gibt es an Informationen dazu nur die Zusammenfassung eines Vortrags, die der Kommandeur einer Testeinheit der US-Luftwaffe, Oberst Tucker Hamilton, bei einem Kongress der britischen Royal Aeronautical Society in London hielt. Aus diesem Bericht:

He notes that one simulated test saw an AI-enabled drone tasked with a SEAD mission to identify and destroy SAM sites, with the final go/no go given by the human. However, having been ‘reinforced’ in training that destruction of the SAM was the preferred option, the AI then decided that ‘no-go’ decisions from the human were interfering with its higher mission – killing SAMs – and then attacked the operator in the simulation. Said Hamilton: “We were training it in simulation to identify and target a SAM threat. And then the operator would say yes, kill that threat. The system started realising that while they did identify the threat at times the human operator would tell it not to kill that threat, but it got its points by killing that threat. So what did it do? It killed the operator. It killed the operator because that person was keeping it from accomplishing its objective.”

Zusammengefasst: das KI-System sah es als seinen Kernauftrag, gegnerische Flugabwehrstellungen zu zerstören. Und weil der Mensch, der die letztendliche Entscheidung über die Vernichtung hatte, in einigen Fällen nicht zustimmte, wandte sich das System gegen diesen Kontrolleur.

Als weitere Folge, so wird Hamilton zitiert, sei die Vorgabe für die KI eingegeben worden, den menschlichen Kontrolleur nicht anzugreifen – woraufhin in der Simulation das Kommunikationssystem vernichtet worden sei, mit dem der Kontrolleur die Drohne steuerte.

Mehr Details über diesen Konferenzbericht hinaus gibt es bislang nicht. Die US-Onlineplattform Business Insider fragte bei der U.S. Air Force nach einer Stellungnahme, die allerdings bislang nicht besonders aussagekräftig ist:

In a statement to Insider, Air Force spokesperson Ann Stefanek denied that any such simulation has taken place.
„The Department of the Air Force has not conducted any such AI-drone simulations and remains committed to ethical and responsible use of AI technology,“ Stefanek said. „It appears the colonel’s comments were taken out of context and were meant to be anecdotal.“

Auch wenn das die Debatte absehbar nun anheizen wird: ein paar mehr Fakten zu der tatsächlichen Simulation wären schon sinnvoll.

Update: Die Royal Aeronautic Society veröffentlichte einen Nachtrag, eher eine Richtigstellung, die die vorherige Darstellung etwas anders aussehen lässt:

UPDATE 2/6/23 – in communication with AEROSPACE – Col Hamilton admits he „mis-spoke“ in his presentation at the Royal Aeronautical Society FCAS Summit and the ‚rogue AI drone simulation‘ was a hypothetical „thought experiment“ from outside the military, based on plausible scenarios and likely outcomes rather than an actual USAF real-world simulation saying: „We’ve never run that experiment, nor would we need to in order to realise that this is a plausible outcome“. He clarifies that the USAF has not tested any weaponised AI in this way (real or simulated) and says „Despite this being a hypothetical example, this illustrates the real-world challenges posed by AI-powered capability and is why the Air Force is committed to the ethical development of AI“.