EU-Agentur fordert unabhängige Überprüfung der IT-Systeme

Die EU sollte einen unabhängigen Überprüfungsmechanismus einrichten, um die Umsetzung ihrer groß angelegten IT-Systeme für das Grenzmanagement zu überwachen, so die EU-Grundrechteagentur (FRA) in ihrem Jahresbericht 2023.

Der Bericht, der am Donnerstag (8. Juni) veröffentlicht wurde, untersuchte die Fortschritte der EU bei der Entwicklung von drei neuen IT-Großsystemen, die die Grenzverwaltung erleichtern und die Risiken für die innere Sicherheit mindern sollen, zum Teil durch KI-gestützte Risikoprofile.

Während die Rechtsinstrumente zur Einrichtung dieser drei Systeme „bedeutende Grundrechtsgarantien, auch in Bezug auf Datenschutz und Diskriminierung“ enthalten, warnte die FRA, dass „die Umsetzungsphase entscheidend ist, um sicherzustellen, dass diese Garantien nicht nur auf dem Papier stehen.“

Da sich die neuen IT-Systeme noch in der Entwicklung befinden und viele Details über ihr Zusammenspiel noch unklar sind, bleiben ihre „potenziell enormen Auswirkungen auf die Grundrechte daher teilweise unbekannt.“

Interessengruppen für digitale Rechte und Forscher der Zivilgesellschaft haben die Bedenken der FRA aufgegriffen, insbesondere im Hinblick auf die Funktionsweise des Europäischen Reiseinformations- und -genehmigungssystems (ETIAS), das voraussichtlich 2024 in Betrieb gehen wird.

Während solche Technologien die Entscheidungsprozesse beschleunigen können, erhöhen sie auch die Anfälligkeit für Asylbewerber, argumentierte Derya Ozkul, Forscherin an der Universität Oxford. Sie fügte hinzu, dass sie „inhärente Risiken von Voreingenommenheit, Diskriminierung und potenziellen ‚Maschinenfehlern‘ beinhalten.“

Bei visumfreien Drittstaatsangehörigen, die online einen Antrag auf Einreise in den Schengen-Raum stellen, wird ETIAS die Anträge mit Datenbanken abgleichen. Dadurch soll festgestellt werden, ob der Antragsteller ein Sicherheitsrisiko, ein Risiko für irreguläre Migration oder ein Epidemierisiko darstellt, wobei Algorithmen zur Erstellung von Prognosen verwendet werden.

Nach Angaben der EU-Grenzschutzagentur Frontex sollen 97 Prozent der ETIAS-Anträgen innerhalb von Minuten bearbeitet werden, während die verbleibenden 3 Prozent zur Überprüfung vorgemerkt werden.

Ein Beratungsgremium für Grundrechte, dem die FRA angehört, wird eine beratende Funktion bei der Arbeit von ETIAS haben.

„Der Rat dieses Gremiums wird eine Schlüsselrolle bei der Minderung des Risikos spielen, dass die für ETIAS entwickelten Algorithmen diskriminierende Auswirkungen haben könnten“, schreibt die FRA in ihrem Bericht.

Ergänzend zur Arbeit von ETIAS wird das Europäische Strafregisterinformationssystem für Drittstaatsangehörige (ECRIS-TCN) eine zentrale Datenbank zur Identifizierung von Verurteilungen von Drittstaatsangehörigen einrichten.

Darüber hinaus wird das automatisierte Einreise-/Ausreisesystem (EES) biometrische Daten für die Ein- und Ausreise von Drittstaatsangehörigen in den beziehungsweise aus dem Schengen-Raum sowie Einreiseverweigerungen registrieren, um die Berechnung von Kurzaufenthalten in der grenzfreien Zone zu vereinfachen und Überschreitungen zu erkennen.

Auswirkungen auf die Grundrechte

Der Einsatz von KI in Risikomanagement- und Profiling-Systemen „wirft jedoch eine breite Palette von strukturellen und grundrechtlichen Überlegungen auf“, betonte die Interessengruppe für digitale Rechte Access Now.

Solche prädiktiven Technologien, die auf vorher festgelegten Risikoindikatoren wie Nationalität, geografischer Lage, Bildungsniveau und Berufsgruppen basieren, „verletzen von Natur aus das Recht auf Nichtdiskriminierung im Migrationskontext, da sie Annahmen über die Verbindung zwischen persönlichen Daten und Merkmalen mit bestimmten Risiken kodifizieren“, so Access Now.

Der Einsatz solcher Technologien birgt die Gefahr, dass grundlegende Prinzipien der internationalen Flüchtlings- und Menschenrechtsgesetzgebung verletzt werden, wie beispielsweise der Grundsatz der Nichtzurückweisung – die illegale Rückführung eines Asylsuchenden in sein Herkunftsland.

Im Jahr 2020 kündigte das britische Innenministerium an, einen Algorithmus abzuschaffen, der zur Kategorisierung von Visumbewerbern in einem „Ampelsystem“ verwendet wird, das teilweise auf der Nationalität basiert, nachdem die Gruppe für digitale Rechte Foxglove eine Kampagne gestartet hatte.

Die Frage der Regulierung von KI-gestützten Werkzeugen in der Migrations- und Grenzkontrolle ist ein heikles Thema im Zusammenhang mit dem KI-Gesetz, dem Flaggschiff der EU zur Regulierung von künstlicher Intelligenz auf der Grundlage ihres Schadenspotenzials.

Das Europäische Parlament wird nächste Woche über seine Position zu dem Dossier abstimmen. Die Abgeordneten der Linken drängen auf Änderungsanträge, die die Verwendung von Algorithmen zur Risikobewertung von Migranten oder zur Vorhersage von Migrationsströmen verbieten würden.

Im Gegensatz dazu hat der EU-Ministerrat die Anforderungen für KI-Systeme, die in den Bereichen Strafverfolgung und Migrationskontrolle eingesetzt werden, gelockert.

„Das Europäische Parlament muss in den Trilog zum KI-Gesetz mit der stärkstmöglichen Position eintreten, um die Rechte aller Menschen in der EU und bei der Einreise in die EU zu schützen – unabhängig von ihrem Migrationsstatus“, sagte Caterina Rodelli, EU-Politikanalystin bei Access Now.

[Bearbeitet von Luca Bertuzzi]