Die britische Regierung hat das auf Künstlicher Intelligenz spezialisierte Rüstungsunternehmen Anduril Industries beauftragt, bei der Überwachung des Ärmelkanals zu unterstützen. Bisher wurde in Dover ein Überwachungsturm installiert, weitere Technologien des US-amerikanischen Start-Ups wie Dronen, autonome Boote sowie landgestützte Radar- und Kamerasysteme sollen folgen. Als Software wird die von Anduril bereitgestellte Plattform Lattice zum Einsatz kommen, die in der Lage ist, Daten aus verschiedensten Überwachungssystemen auszulesen und zu kombinieren, und für die Kombination auf Künstliche Intelligenz (KI) setzt.
Vom britischen Innenministerium ist als Ziel der Kooperation explizit formuliert: small boats im Kanal automatisiert „entdecken, nachverfolgen und klassifizieren“ zu können. Die Softwareplattform soll in der Lage sein, die Überwachungsdaten beliebig lange zu speichern. Unklar ist, ob die Technologie auch dazu eingesetzt werden soll, einzelne Exilierte zu identifizieren. Dies ist deshalb bedeutsam, weil mit dem Illegal Immigration Bill Menschen der Zugang zum britischen Asylsystem verwehrt werden soll, die Großbritannien „illegal“, insbesondere per Kanalpassage in einem kleinen Boot, erreicht haben.
Akteure und Technologien
Für die nach einem Schwert aus dem literarischen Werk J.R.R. Tolkiens benannte Anduril Industries, die mit dem britischen Verteidigungsministerium bereits Verträge im Volumen von rund 8 Millionen Pfund abgeschlossen haben, ist der Transfer von militärischer Technologie auf den Bereich der Grenzsicherung nicht neu: Ihre Überwachungstürme kommen – einschließlich einer KI-basierten Software zur Gesichtserkennung – schon länger in den Vereinigten Staaten an der Grenze zu Mexiko zum Einsatz.
Gegründet wurde Anduril Industries von Palmer Luckey und mehreren ehemaligen Mitarbeitern von Palantir Technologies, eines börsennotierten Unternehmens, das unter anderem für US-amerikanische Nachrichtendienste große Datenmengen mit Methoden von Künstlicher Intelligenz analysiert. Wichtigster Geldgeber von Anduril ist der deutsch-amerikanische Technologieinvestor Peter Thiel, der sich auch als konservativer politischer Aktivist betätigt und zu den wenigen Trump-Unterstützern in der amerikanischen Technologie-Szene zählt.
Die Erzählung des Innenministeriums, dass jeder, der mit einem kleinen Boot die Küste erreicht, später identifiziert und vom Zugang zum Asylsystem ausgeschlossen wird, passt zu einer auf Abschreckung basierten Migrationspolitik. Aktuell ist jedoch noch völlig offen, ob eine Gesichtserkennung überhaupt zum Einsatz kommen und effektiv sein wird – Kritiker_innen wie der Jurist Olivier Cahn verweisen nicht nur auf die problematische Bildqualität beim Fotografieren von Personen auf dem Meer, sondern auch darauf, dass es relativ einfache Gegenmaßnahmen geben wird: „Für einen Aufpreis von 15 Euro versorgen die Schmuggler dann die Migranten mit Sturmhauben.“
Datenschutzprobleme
Die Gesichtserkennung wäre nicht der erste Einsatz von KI im Migrationsregime, allerdings in diesem Kontext ein potentiell hochproblematischer, der dazu geeignet ist, die Grenzen, in welchem Rahmen der Einsatz von Informationstechnologie und Datenverarbeitung akzeptabel ist, auszuloten und zu verschieben.
Ein Problem ist die Übermittlung von Bildmaterial an ein US-amerikanisches Unternehmen. Dies betrifft zunächst das im Kanal erzeugte Bildmaterial. Hier steht zu befürchten, dass die datenschutzrechtlichen Standards einfach abgesenkt werden. Um Personen identifizieren zu können, müssen jedoch auch Vergleichsbilder übermittelt werden. Denkbar ist hier eine enorme Bandbreite von Szenarien. Es können extra für diesen Zweck gefertigte Fotografien nur im Verdachtsfall übermittelt werden, idealerweise im Rahmen eines formalen Verfahrens. Es kann aber auch zu einem massenhaften, anlasslosen Abgleich mit den Bilddaten kommen, die von der in Großbritannien im öffentlichen Raum allgegenwärtigen Videoüberwachung produziert werden. Letzteres würde nicht nur buchstäblich Millionen von Menschen betreffen. Für Menschen, die den Kanal in kleinen Booten überquert haben, würde es die Drohung in den Raum stellen, auch noch Jahre später auf der Straße identifiziert zu werden.
So fernliegend dieses weit gedachte Szenario heute noch scheint: Es ist nicht zu erwarten, dass sich die britische Regierung politisch an einen eng gefassten Rahmen binden wird. Ihre Tendenz, die Migrationspolitik zu deregulieren und zu entformalisieren, wird sie jede juristische und politische Grenze testen lassen: was sich durchsetzen lässt, wird umgesetzt werden. Was juristisch oder politisch scheitert, wird der politischen Konkurrenz oder den Gerichten zugeschrieben, die damit dafür verantwortlich gemacht werden, dass die Passagen noch immer nicht unterbunden werden konnten.
Obskur und unbestreitbar
Wenn eine Gesichtserkennung feststellt, dass auf zwei Bildern dieselbe Person dargestellt ist, handelt es sich um eine KI-basierte algorithmischen Entscheidung eines Computers. Ein großes Problem dieser Art Entscheidungen ist ihre fehlende Nachvollziehbarkeit. Damit verbunden sind extrem große Schwierigkeiten, eine einzelne Entscheidung zu bestreiten. Diese Eigenschaft ist für KI-Algorithmen konstruktionsbedingt. Sie ist für einige Kritiker_innen das Argument, den Einsatz von KI grundsätzlich beschränken zu wollen, während andere Kriteriker_innen Maßnahmen zur Risikominimierung vorschlagen. So juristisch entformalisiert, wie der künftige Entscheidungsprozess über Bleibemöglichkeiten konzipiert ist, wirkt er auf die Risiken der KI wie ein Brandbeschleuniger: weder die Entscheider_innen noch die Betroffenen, für die kein juristischer Beistand vorgesehen ist, dürften in der Lage sein, die KI-Entscheidung fundiert in Frage zu stellen. Und selbst wenn man ihnen prozessual die Möglichkeit eröffnen würde, wäre sie nicht nur inhärent schwierig und aufwändig, sondern würde die Analyse des KI-Modells erforderlich machen. Dieses dürfte jedoch bei einem Rüstungsunternehmen und Start-Up als Geschäftgeheimnis, wenn nicht gar als militärisches Staatsgeheimnis, gelten.
Qualitätsprobleme
Die zum Einsatz kommende Software kann von hier aus nicht begutachtet werden, aber es bestehen gute Gründe, massive Qualitätsprobleme und zumindest anfangs häufige Fehlentscheidungen zu erwarten. Die Qualität von Software muss sich an Qualitätszielen orientieren. Qualitätsziele stehen in einem Spannungsfeld untereinander und mit anderen Zielen wie Kosteneffizienz, kurze Entwicklungszeit, großer Funktionsumfang und hoher Innovationsgrad.
Ein innovatives Start-Up mit Fremdkapital wird nur das absolut erforderliche Mindestmaß an Qualitätszielen verfolgen. Es muss zuallererst beweisen, dass sein innovatives Produkt überhaupt funktioniert. Das muss es schneller tun als eventuelle Konkurrent_innen und schneller, als den Geldgeber_innen die Geduld ausgeht. Ist das Produkt erst einmal erfolgreich, kann man die Qualität im Nachhinein verbessern.
Aus der Übertragung von Software aus der militärischen Domäne in den zivilen Einsatz ergeben sich ebenfalls Qualitätsprobleme. Im militärischen Bereich sind ganz andere Qualitätsziele als im zivilen entscheidend. Eine Gesichtserkennung, die auf dem Gefechtsfeld eigene und fremde Soldaten identifiziert, wird mit hoher Priorität dafür sorgen müssen, dass die eigenen Soldaten nicht von ihren eigenen Einheiten beschossen werden. Die hohe Priorisierung dieses militärischen Qualitätsziels kann dazu führen, dass jemand bei der zivilen Anwendung fälschlicherweise als Mitfahrer eines kleinen Bootes identifiziert wird.
Weitere Qualitätsprobleme ergeben sich aus dem Einsatz von Künstlicher Intelligenz. KI-basierte Algorithmen sind schwierig qualitätszusichern. Gleichzeitig können sie quasi automatisiert verbessert werden, wenn man sie in der Praxis erprobt. Die Domäne des Militärs, in dem es ständige Übungen und Manöver gibt, bietet einen geschützten und kontrollierten Raum, einen konzeptionell (noch) unzureichenden Algorithmus auszuprobieren und zu verbessern. Im Migrationsregime fehlen die Kontrolle und der Schutz: Jede_r Exilierte hat ein starkes Interesse daran, eine fehlerhafte Nicht-Identifizierung zu verschweigen und eine zutreffende Identifizierung zu bestreiten. Und als Folge der KI-Entscheidung steht nicht das De-Briefing und die Manöverkritik, sondern die Abschiebung.
Arschloch Computer
Ein weiteres Qualitätsproblem ist, dass KI-basierte Algorithmen systematisch diskriminierend und unethisch entscheiden können. Es gibt verschiedene Gründe, warum das Problem auftritt. Einer besteht in einer toxischen Feedback-Schleife: Wenn etwa ein KI-Alogithmus einer Telefongesellschaft einmal gelernt hat, dass Menschen mit dem Vornamen Sascha ihre Rechnungen nicht bezahlen, wird der Algorithmus dem über vorzügliche Bonität und Zahlungsmoral verfügenden Autor dieses Artikels keinen Telefonvertrag geben – und sich selbst der Datenbasis für die Korrektur berauben.
Ein KI-Algorithmus, der das Risiko bewerten soll, ob ein_e angehende_r Autofahrer_in später mal einen schweren Unfall verschuldet, kann ohne Korrektur sehr schnell dazu übergehen, einfach die meisten oder alle Männer nicht mehr zum Führerschein zuzulassen. Diese vermutlich statistisch sogar valide Strategie ist aber gesellschaftlich nicht erwünscht: Es wird erwartet, dass der Algorithmus sich in Bezug auf das Geschlecht fair verhält.
Das diskriminierende Verhalten von Algorithmen ist in der Realität nicht so drastisch, wie in den geschilderten Beispielen. Es gibt inzwischen sogenannten Ethik-Testverfahren, um es zu entdecken und zu korrigieren. Ob die britische Regierung darauf besteht, dass der eingekaufte Algorithmus regelmäßig diesen Ethik-Tests unterzogen wird, bleibt abzuwarten.
Aber selbst wenn die Regierung das tut: Ethische Qualitätsziele werden sich in diesem Kontext als schwierig zu erreichen erweisen. Die ethnische Zusammensetzung der Exilierten in den kleinen Booten entspricht nicht der ethnischen Zusammensetzung der britischen Bevölkerung. Damit der Algorithmus statistisch nicht als ethnisch diskriminierend auffällt, wäre ein verändertes KI-Modell nötig, was unter Umständen die Qualität der Gesichtserkennung stark herabsetzt.
Wegen der fehlenden Nachvollziehbarkeit lässt sich Diskriminierungsfreiheit aber nicht anders als statistisch ermitteln. Bei einem nachvollziehbaren Algorithmus kann man bei einer beobachteten Diskriminierung den Grund prüfen und sie akzeptieren, wenn die Schritte des Algorithmus plausibel sind. Es ist nach Diskriminierungsgesichtspunkten völlig unproblematisch, dass verhältnismäßig viel mehr Männer aufgrund des Flensburger Punktesystems ihren Führerschein abgeben müssen, weil der Algorithmus „Punkte zusammenzählen“ nachvollziehbar ist. Bei einem nicht nachvollziehbaren KI-Algorithmus hat man keine andere Chance, als für vulnerable Gruppen statistische Unauffälligkeit der negativen Entscheidungen zu fordern und herzustellen.
Dass Anduril Industries überhaupt daran interessiert ist, sein Produkt in diese Richtung zu entwickeln, darf bezweifelt werden. Man wird die Kosten scheuen, zwei separate KI-Modelle zu pflegen, und für den militärischen Einsatz wird Diskriminierungsfreiheit deutlich weniger wichtig sein als etwa die Vermeidung von friendly fire.
Ob die möglichen Qualitätsprobleme das Innenministerium als neuen Kunden von Anduril überhaupt interessieren, und wie das Unternehmen mit ihnen umgeht, bleibt abzuwarten. Über relevante Zertifizierungen im Bereich Datenschutz, Informationssicherheit oder gar Erfahrung in ethischen Tests verfügt das Unternehmen jedenfalls nicht, oder es ist ihm nicht wichtig genug, diese auf seiner Website zu präsentieren.
Der Vater aller Dinge
Es steht zu befürchten, dass die Entwicklung technischer Innovation für das Militär und ihre Verprobung im zivilen Bereich zunächst an vulnerablen Gruppen eine Blaupause für die weitere Entwicklung von KI-Algorithmen sein wird. Beim Militär stehen die hohen Budgets bereit, um nach der Anschubfinanzierung durch Investoren die ersten praktischen Anwendungen zu entwickeln. Nachdem die Machbarkeit gezeigt ist, wird die zivile Marktreife im Migrationsregime erreicht. Man hätte niemals durchsetzen können, die Überwachungstürme und ihre KI zur Verkehrsüberwachung einzusetzen und dort zu verproben. Die technischen und rechtsstaatlichen Standards, die für die Ausstellung eines Strafzettels selbstverständlich sind, gelten künftig unter Umständen nicht mehr für die Entscheidung, dass jemand das Land verlassen muss.
Nach Heraklit ist der Krieg der Vater aller Dinge. Und losgelassen werden die Dinge in einem frühen, fehlerhaften und risikoreichen Stadium auf diejenigen, die sich am wenigsten dagegen wehren können.