REGULIERUNG IN EUROPA

:

Was die KI-Verordnung für den digitalen Staat konkret bedeutet

- VON KRISTIN BENEDIKT, MORITZ KÖHLER, ROLF SCHWARTMANN UND MARKUS WÜNSCHELBAUM

- -AKTUALISIERT AM -09:16

Bildbeschreibung einblenden

Die EU hat ein umfassendes Regelwerk für Künstliche Intelligenz auf den Weg gebracht. Doch was folgt daraus tatsächlich für die öffentliche Verwaltung und ihre KI-Anwendungen? Ein Gastbeitrag.

- MERKEN

- 1

11 Min.

In der vergangenen Woche wurde die KI-Verordnung (KI-VO) mit großer Mehrheit vom EU-Parlament angenommen. Wenn das Gesetz ins Werk gesetzt werden soll, muss es sich in der praktischen Anwendung bewähren. Das gilt auch für den grundrechtsgebundenen Staat, konkret für den KI-Einsatz in der Verwaltung. Dieser soll nach dem KI-Aktionsplan der Bundesregierung gefördert werden.

Dazu hat das Innenministerium mit dem Beratungszentrum für KI (BeKI) eine zentrale Anlauf- und Koordinierungsstelle für KI-Vorhaben in der Bundesverwaltung geschaffen. Und auch für die Wirtschaft werden erste Projekte zur KI-Förderung vorgestellt: Das Bundeswirtschaftsministerium plant derzeit etwa ein Prüf- und Testzentrum, um Standards für die Entwicklung von KI-basierten Robotern zu entwickeln.

Die EU-Kommission wiederum hat sich entschieden, mitgliedstaatliche Behörden beim sicheren und vertrauenswürdigen Einsatz von KI-Anwendungen zu unterstützen. Die KI-Innovation der Verwaltung ist damit Bestandteil der europäischen Datenstrategie und politisch gewollt.

Namentlich den Einsatz von Sprachmodellen in der Verwaltung hat der Gesetzgeber aber mit einem beachtlichen Pflichtenheft ausgestattet – voraussetzungsvolle Anwendungsfälle sind der geplante Einsatz von ChatGPT in Schulen und KI-Ermittlungshelfer für die Polizei. Diese Systeme sollen also Einzug halten in die Kernbereiche der staatlichen Hoheitsaufgaben: Hier geht es um Sicherheit und Freiheit der Bürger und die Keimzelle der demokratischen Bildung in Schulen und Hochschulen.

„BehördenGPT“

Was bedeutet das für die Praxis? Betrachten wir die regulierte Wertschöpfungskette, die zum fiktiven Einsatz eines KI-Sprachassistenten in einer deutschen Verwaltungsbehörde führt. Der Sprachassistent soll aus einer Vielzahl von Anträgen auf Arbeitslosengeld weniger erfolgversprechende aussortieren. Der Assistent arbeitet auf Basis eines Sprachmodells, das von einem privaten Unternehmen in jahrelanger Arbeit entwickelt wurde.

Das Modell wurde mit Texten trainiert. Mit jedem eingespielten Textbaustein hat es die Parameter seiner Wahrscheinlichkeitsberechnungen angepasst. Aufgrund dieser Berechnungen ist es nunmehr in der Lage, die in einem vorgegebenen Kontext wahrscheinlichste Wortfolge auszuspielen. Das Sprachmodell ist für keinen spezifischen Anwendungszweck entwickelt worden. Es ist von seinem Entwickler und Anbieter auch nicht als Wissensdatenbank konzipiert. Vielmehr soll das Modell als Basis einer Vielzahl von KI-Systemen Anwendung finden und für unbestimmt viele Einsatzzwecke sinnvoll klingende Wortfolgen erzeugen. Diese Simulation von Sprache erzeugt überzeugend anmutende Sinnzusammenhänge.

Für Modelle mit vielseitigem Anwendungszweck, die als Grundlage zahlreicher KI-Anwendungen dienen, hat sich der EU-Gesetzgeber dazu entschlossen, besondere Regulierungsmaßnahmen zu etablieren. Für Modelle mit systemischem Risiko gelten zusätzliche Pflichten. Das systemische Risiko macht der Gesetzgeber unter anderem von der Rechenleistung abhängig, die für das Training das Modells erforderlich ist.

Der Entwickler des Sprachmodells bietet dieses nunmehr einem Softwareentwickler an, der es in eine konkrete Anwendung integriert, indem er ihm eine Prägung für den anvisierten Einsatzzweck auf den Weg gibt. In unserem Beispiel könnte der Softwareentwickler das Modell etwa darauf trainieren, Massen von Verwaltungsvorgängen zu Anträgen auf Arbeitslosengeld für die Agentur für Arbeit zu analysieren und Bewilligungs- und Ablehnungsmuster nachzuzeichnen. Hierzu füttert er das Modell mit einer Vielzahl entsprechender Dokumente und bringt ihm dadurch bei, welche Schlagworte es bei der Analyse zu beachten hat.

Daneben entwickelt er eine Benutzeroberfläche für die Verwaltungsmitarbeiter. So entsteht ein generatives KI-System, also ein KI-System, das in der Lage ist, verschiedene Inhalte wie Texte, Bilder oder Videos herzustellen. Anbieter generativer KI-Systeme müssen nach der KI-VO stets besondere Transparenzpflichten erfüllen. Sie müssen dafür sorgen, dass ihre Systeme die künstliche Erzeugung der Inhalte erkennbar machen.

Behördliche Hochrisiko-KI-Systeme

Das weitere Pflichtenprogramm ist abhängig von der Frage, ob das System im Einsatzkontext hochriskant ist. KI-Systeme unterliegen nun nämlich grundsätzlich einem risikobasierten Regulierungsansatz. Anders als allgemeine Vorgaben, etwa des Medien- oder des Urheberrechts, führt der risikobasierte Ansatz der KI-VO dazu, dass bei hochriskanten Anwendungsfällen strengere Maßnahmen vorzusehen sind als bei einfachen KI-Systemen.

Die KI-VO führt diese hochriskanten Anwendungsfälle in einem Katalog auf und bezeichnet sie als Hochrisiko-KI-Systeme. Der Katalog nennt unter anderem Systeme, die von Behörden eingesetzt werden sollen, um zu beurteilen, ob jemand Anspruch auf eine öffentliche Unterstützungsleistung hat, beispielsweise auf Arbeitslosengeld.

Trainiert der Softwareentwickler den Sprachassistenten auf einen der aufgelisteten Fälle und bietet ihn entsprechend auf dem Markt an, muss er zusätzliche Pflichten erfüllen. Er hat dann etwa bestimmte Vorgaben zu den Trainingsdatensätzen zu beachten und muss das System so programmieren, dass ein Mensch dessen Einsatz beaufsichtigen kann.

Die Erfüllung dieser Pflichten ist mit erheblichen Kosten verbunden. Um diese Kosten zu sparen, können die Anbieter von Sprachassistenten deren Einsatz zu hochriskanten Zwecken in ihren Nutzungsbedingungen ausschließen. Dazu können sie etwa entsprechende Klauseln in die Lizenzverträge mit den Behörden oder Unternehmen aufnehmen, welche die Systeme als Betreiber einsetzen wollen.

Der Softwareentwickler im genannten Beispiel könnte also festlegen, dass sein System zwar auf die Analyse von Dokumenten programmiert, allerdings nicht dazu gedacht ist, Arbeitslosengeldanträge zu bearbeiten. Setzt die Behörde das System entgegen dieser Vorgabe doch zu einem solchen Zweck ein, geht die Anbieterrolle mit allen daran anknüpfenden Pflichten auf sie über. Das führt dazu, dass die Anbieterpflichten der KI-VO unter Umständen an Akteuren mit deutlich weniger Fachkenntnis und finanzieller Ausstattung hängen bleiben.

Behörden sollten bei der öffentlichen Vergabe darauf achten, nur KI-Systeme zu beschaffen, die von den Anbietern hinsichtlich ihres Einsatzzwecks schon spezialisiert und an die Anforderungen für Hochrisiko-KI-Systeme angepasst wurden. In die Leistungsbeschreibung gehören daher alle Anbieterpflichten nach der KI-VO.

Die Anbieter werden sich ihre besondere Verantwortlichkeit von den Betreibern zwar teuer bezahlen lassen. Die Spezialisierung durch die Behörde ist aber mit Kosten und Mühen verbunden, die regelmäßig nicht mehr im Verhältnis zum Nutzen des Hochrisiko-KI-Systems stehen dürften.

Wie sollen Behördenmitarbeiter KI kontrollieren?

Unabhängig von ihrer Verpflichtung als Anbieterin treffen die Behörde aber auch in ihrer Eigenschaft als Betreiberin eines Hochrisiko-KI-Systems Pflichten. Ein Teil dieser Pflichten gilt für private und öffentliche Stellen gleichermaßen: So müssen Betreiber stets den Einsatz der KI durch die Beschäftigten überwachen und Vorfälle mit erheblichen Auswirkungen melden.

Dabei ist sicherzustellen, dass der Sprachassistent nur nach Maßgabe seiner Gebrauchsanweisung verwendet wird. Das dürfte in der Praxis umfangreiche Maßnahmen der Behördenleitung erfordern. Insbesondere ist die zweckgemäße Verwendung schwer zu greifen. Sie ergibt sich aus den Maßgaben des Anbieters, einschließlich des spezifischen Kontexts und den Nutzungsbedingungen sowie der Gebrauchsanweisung im Werbe- oder Verkaufsmaterial.

Doch wann stimmt die Verwendung eines KI-Systems nicht mehr mit dem beabsichtigten Zweck überein, der sich aus vernünftigerweise vorhersehbarem menschlichem Verhalten oder der Interaktion mit anderen Systemen, einschließlich anderen KI-Systemen, ergeben kann? Die hierzu erforderlichen umfangreichen Schulungen der Behördenmitarbeiter sind nicht nur zweckmäßig, sondern nach der KI-VO zwingend.

Behörden müssen für generative KI-Systeme einstehen, die sie in ihre behördlichen Anwendungen integrieren. Das bedeutet, sie müssen das komplexe und teilweise nicht einsehbare Gefüge eines Sprachassistenten verstehen und ihr Wissen sowie Nichtwissen transparent vermitteln.

Das wirft weitere Fragen auf: Wie verantwortet man halluzinierendes „Verhalten“ der autonomen Maschine, wenn deren Ursache nicht erkennbar ist? Wie sollen Verwaltungsmitarbeiter diese nicht erlaubten Abweichungen des KI-Systems erkennen und einschätzen? Wie soll der Arbeitgeber das kontrollieren?

Risiko für Grundrechte

Die hinter diesen Vorgaben stehenden Fragen um den verantwortungsvollen, risikogerechten Einsatz von KI-Systemen kulminieren in öffentlichen Stellen in einer weiteren Pflicht: der Grundrechte-Folgenabschätzung. Der Gesetzgeber fordert damit öffentliche Stellen auf, den Wald vor lauter Bäumen nicht aus den Augen zu verlieren.

Die zahlreichen Dokumentations-, Berichts, und Meldepflichten über das „Wie“ des Einsatzes sollen öffentliche Stellen nicht davon ablenken, „ob“ der konkrete Einsatz grundrechtskonform ist. Die Grundrechte-Folgenabschätzung soll die Verwaltung nachdenklich stimmen, sie zum Innehalten bringen: Welche Risiken sind mit einem staatlichen KI-Einsatz verbunden?

Diese Pflicht trifft nicht ausschließlich Behörden, sondern den gesamten öffentlichen Sektor. Erfasst sind alle öffentlichen Stellen, Einrichtungen und öffentlichen Unternehmen, aber auch private Anbieter, die öffentliche Aufgaben erfüllen. Ob der KI-Einsatz zur öffentlichen Aufgabenerfüllung von einer Gemeinde, Hochschule, einem privaten Krankenhaus oder Energieversorger vorgenommen wird, ist nicht entscheidend. Zu prüfen sind potentielle Folgen für Grundrechte, indem relevante Zielgruppen für die Anwendung festgelegt und Risiken für diese Zielgruppen bewertet werden.

Wenn die Zielgruppe gefährdet sein könnte, muss ein System zur menschlichen Überprüfung der KI-Anwendung festgelegt werden. Für den Fall, dass sich die gelisteten Risiken realisieren, muss schon vorab festgelegt sein, wie mit Grundrechtseingriffen umzugehen ist: Die öffentliche Stelle muss in der Lage sein, auf Beschwerden korrigierend einzugreifen und das KI-System präventiv zu übersteuern.

KI muss transparent zu ihrer Entscheidung kommen

Diese Pflicht zum Bewusstsein über die Risiken des KI-Einsatzes bedeutet auch sokratische Zurückhaltung: Behörden sind verpflichtet zu wissen, welche Risiken aus Nichtwissen folgen. Gegenwärtige Sprachmodelle können nicht aufzeigen, wodurch genau ein bestimmtes Ergebnis verursacht worden ist. Weshalb die vom Sprachassistenten ausgegebene Wortfolge im konkreten Fall gerade so erfolgt ist, kann der Anwender nicht nachvollziehen – er sieht nur die Ausgabebox. Auch der Anbieter kann dies allenfalls begründet vermuten.

Der Einsatz solcher Technologien bedarf daher einer gründlichen Abwägung und Expertise. Einerseits muss erwogen werden, ob bei einschneidenden Lebensereignissen wie staatlichen Prüfungen, der Beantragung sozialer Leistungen zur Existenzsicherung oder der Frage über den Zugang zur Daseinsvorsorge dieser Grad an Nichtwissen über die Entscheidungsursache akzeptabel ist.

Andererseits muss sichergestellt sein, dass die KI ein Werkzeug bleibt und nicht die Entscheidung ersetzt – im Einzelfall durch den menschlichen Eingriff. Letzteres ist auch datenschutzrechtlich geboten: Der Europäische Gerichtshof hat im Jahr 2023 entschieden, dass Algorithmen nicht das letzte Wort haben dürfen. Trifft am Ende die Maschine und nicht der Mensch die maßgebliche Entscheidung, ist das unzulässig. Ausnahmen gibt es, wenn der Betroffene dem ausdrücklich zustimmt oder ein Gesetz das vorsieht.

Die KI-VO versucht, dieses Dilemma von Innovationsinteresse und fehlender Anwenderkenntnis durch Informationsansprüche gegen die Entwickler von Sprachmodellen auszugleichen: Würde eine Behörde den Sprachassistenten in ihre IT-Systeme integrieren, hat sie das Recht, alle Informationen über die Fähigkeiten und Einschränkungen des KI-Systems zu verlangen, die notwendig sind, um ihre Pflichten nach der KI-VO zu erfüllen. Weil die Grundrechte-Folgenabschätzung der öffentlichen Stellen vor dem Einsatz des Systems erfolgen muss, erwächst dieses Informationsrecht zur Pflicht.

MEHR ZUM THEMA

KI in China: Baidu’s „ERNIE Bot“

CHINAS KI-PROBLEM

:

Viele Forscher arbeiten ausgerechnet für den Erzfeind

- GUSTAV THEILE, SCHANGHAI

- Empfehlungen:

Veröffentlicht/Aktualisiert:

17

Wird das Übersetzen durch KI zunehmend zur Korrektur von Maschinenoutputs?

KI BEIM ÜBERSETZEN

:

Die Maschinen geben uns die Sprache vor

- MIGUEL DE LA RIVA, TOBIAS RÜTHER, HARALD STAUN UND ANNA VOLLMER

- Kommentare:

Veröffentlicht/Aktualisiert:

29

Empfehlungen:

,

15

Sieht das Digitale-Dienste-Gesetz als Erfolg an: Bundesminister Volker Wissing (FDP)

BEDROHUNGEN DER INDUSTRIELÄNDER

:

Warum von Unterseekabeln ein Sicherheitsrisiko ausgeht

- CHRISTIAN SCHUBERT, VERONA

- Empfehlungen:

Veröffentlicht/Aktualisiert:

3

Wenn Behörden nunmehr versuchen, mit KI-Systemen den zähen Digitalisierungsprozess zu überspringen, ist daher zu Vorsicht geraten. Eine rasche Implementierung ohne bedachte Risikoabwägung kann zum Geltungsbeginn der KI-VO zwar vollendete Tatsachen schaffen – allerdings auch Erklärungsnot auslösen. Richtigerweise sollten derartige Auswirkungen schon jetzt in datenschutzrechtlichen Folgeabschätzungen mitgedacht werden.

Hierfür bedarf es einer Expertise, welche die turbulente technische Entwicklung nachvollziehen, den Einsatz solcher Systeme kritisch hinterfragen und begrenzen kann. Die Frage nach Wegen der verantwortungsvollen Innovation prägt die Arbeit von Datenschutzaufsichtsbehörden im Verhältnis zu Behörden und Unternehmen schon jetzt. Und nach der KI-VO muss die Grundrechte-Folgenabschätzung auch an die zuständigen Aufsichtsbehörden übermittelt werden.

Die KI-VO hat schon festgelegt, dass die Datenschutzaufsichtsbehörden den KI-Einsatz kontrollieren werden, wenn es um Kernelemente unserer demokratischen Ordnung geht: Wenn KI-Systeme Wahlen beeinflussen, im Bereich der Migration und Grenzkontrolle verwendet oder zur Justizverwaltung und Strafverfolgung eingesetzt werden, werden die Datenschutzaufsichtsbehörden zuständig sein. Darüber hinaus werden die EU-Mitgliedstaaten entscheiden müssen, welche Stellen „Marktüberwachungsbehörden“ sein sollen.

Naheliegend ist, die Datenschutzaufsichtsbehörden auch hinsichtlich der weiteren Anwendung von KI-Systemen mit der Aufsicht zu betrauen. Als Bestandteil von IT-Systemen werden KI-Anwendungen ohnehin datenschutzrechtlich auf die Zulässigkeit von automatisierten Entscheidungen hin überprüft werden. Die Aufsicht nach der KI-VO würde diese bestehende Aufsicht um einen für die Produktregulierung typischen Schutz von Leben, Gesundheit, Sicherheit und Freiheit ergänzen. Letztlich würde es hier aber um eine dem Datenschutzrecht gleichende Frage gehen: Wie schützen wir uns vor intransparenten, kaum nachvollziehbaren Systemen, die unser Leben und unsere Grundrechtsausübung beeinflussen?

Auch die Gerichte prüfen eine behördliche Entscheidung, die unter Einsatz von KI-Systemen getroffen wurde. Hat der KI-Assistent den Antrag auf Arbeitslosengeld abgelehnt, hat der Bürger das Recht, diese Entscheidung gerichtlich überprüfen zu lassen. Das Gericht prüft dabei nicht nur, ob der Antrag zu Recht abgelehnt wurde, sondern auch den Weg zur Entscheidung. Denn es könnte sein, dass Antragsunterlagen fehlerhaft nicht geprüft wurden, ein atypischer Fall von der KI nicht erkannt wurde – oder die Behördenentscheidung schlichtweg nicht begründet wurde.

Behördliche KI-Systeme müssen daher sowohl für den Bürger als auch für die Justiz transparent sein. Sind sie das nicht, geht dies zulasten der Behörde, die das intransparente KI-System einsetzt. Es wäre kontraproduktiv, wenn öffentliche Stellen KI-Systeme zur Entlastung einsetzen, die Gerichte hingegen belastet werden, weil die behördlichen KI-Entscheidungen massenhaft angefochten werden.

Die Möglichkeiten des innerstaatlichen Gesetzgebers

Um das zu verhindern, könnte der Gesetzgeber dem Bürger ein Vetorecht einräumen. Der Bürger kann verlangen, dass eine KI-basierte Entscheidung von einer natürlichen Person in der Behörde überprüft wird. Der Sachbearbeiter kann die Entscheidung bestätigen oder abändern und stellt dadurch sicher, dass die menschliche Entscheidung immer Vorrang genießt.

Eine solche Regelung fehlt bislang in der KI-VO, obwohl der Gedanke nicht neu ist. In Schleswig-Holstein gilt schon seit dem Jahr 2022 ein KI-Gesetz (IT-Einsatz-Gesetz), das den Einsatz Künstlicher Intelligenz in der Verwaltung regelt. Hiernach kann der Bürger kostenlos eine sogenannte „KI-Rüge“ erheben, bevor er kostenpflichtig klagt. Der Gesetzgeber in Schleswig-Holstein erhofft sich dadurch, das Vertrauen der Bürger in den Einsatz von KI zu fördern und zugleich das autonome System stichprobenartig zu überprüfen.

Das Landesgesetz ist sogar strenger als die KI-VO auf europäischer Ebene. Entscheidungen, bei denen ein behördliches Ermessen oder ein Beurteilungsspielraum besteht, dürfen nicht von KI-Systemen getroffen werden. Geschieht dies doch, etwa bei der Anordnung, einen Schwarzbau zu beseitigen, ist dieser Verwaltungsakt nichtig.

Was noch fehlt, das ist das Bewusstsein der handelnden Staatsdiener, dass KI nur eine Unterstützung sein darf. Hierzu wären in besonders sensiblen Bereichen wie der Rechtsprechung Regelungen sinnvoll, welche die richterlichen Anwender verpflichten, zunächst eine eigene Entscheidung zu treffen und diese erst im Anschluss von einem KI-System überprüfen zu lassen. Die von der KI-VO antizipierte Stopptaste müsste in diesen Szenarien zu einer Starttaste umgebaut werden.

Auch andere Bundesländer erarbeiten mit dem IT-Einsatz-Gesetz vergleichbare Regelungen, die künftig neben der KI-VO gelten werden. Auf deutsche Behörden kommen daher mehr Pflichten zu als auf Unternehmen, und das bei oftmals geringeren Ressourcen. Einige Länder greifen ihren Behörden unter die Arme und unterstützen sie in der Umsetzung der KI-VO, indem sie die Entwicklung eigener Sprachmodelle fördern. Projekte wie „LLMoin“ oder „BayernGPT“ sollen als unabhängige und datenschutzkonforme Lösung die Verwaltungen in Hamburg und Bayern stärken.

Ausblick: Innovation und Grundrechtsschutz?

Wenn die Entwicklung dieser Zukunftsprojekte abgeschlossen sein wird, dürfte das Pflichtenprogramm der KI-VO schon gelten. Doch bei der Regulierung des Ist-Zustands schwebt über der KI-VO ein Damoklesschwert: In den Übergangsregelungen werden gegenwärtig eingesetzte Hochrisiko-Systeme ausgenommen oder großzügige Umsetzungsfristen gesetzt. So wird generativen KI-Systemen wie ChatGPT drei Jahre gegeben, um erforderliche Maßnahmen zur KI-VO-Konformität zu implementieren. Der Rückwirkungsschutz ist ein Standard aus dem Produktsicherheitsrecht.

Doch angesichts der rasanten Entwicklung von KI-Systemen könnte er den Anreiz setzen, rasch Tatsachen zu schaffen – „move fast and break things“. So könnte man die KI-VO kurzschließen und Regulierung umgehen. Ob die KI-VO in der Lage sein wird, diese Dynamik zu bändigen und einen angemessenen Ausgleich zwischen Innovation und Grundrechtsschutz herzustellen, wird eine Frage der praktischen Umsetzung sein. Hieran wird sich zeigen, ob diese Verordnung ihr Ziel erreichen wird: Europa einen zukunftssicheren und wirtschaftsfördernden Rechtsrahmen für den Einsatz von KI-Systemen zu geben.

Für die Wirtschaft gelten – sieht man von der wichtigen Besonderheit der Grundrechte-Folgenabschätzung ab – im Wesentlichen dieselben Anforderungen. Was für den Staat gilt, gilt demnach auch für Unternehmen. Der Staat hat hier die Möglichkeit, mit gutem Beispiel voranzugehen und eine Vorreiterrolle in der Implementierung der neuen Technologie einzunehmen, um der Wirtschaft rechtssicher gangbare und wirtschaftlich tragfähige Wege in die neue Welt der Digitalisierung vorzuzeichnen.

Kristin Benedikt ist Richterin am Verwaltungsgericht Regensburg und Mitglied im Vorstand der Gesellschaft für Datenschutz und Datensicherheit.

Moritz Köhler ist Mitarbeiter der Kölner Forschungsstelle für Medienrecht an der TH Köln und Doktorand bei Prof. Dr. Rolf Schwartmann.

Prof. Dr. Rolf Schwartmann ist Leiter der Kölner Forschungsstelle für Medienrecht an der TH Köln und Vorsitzender der Gesellschaft für Datenschutz und Datensicherheit.

Dr. Markus Wünschelbaum ist Referent beim Hamburgischen Beauftragten für Datenschutz und Informationsfreiheit. Der Beitrag wurde nicht in dienstlicher Eigenschaft verfasst und gibt ausschließlich die persönliche Auffassung des Autoren wieder.