Künstliche Intelligenz in Europa

Künstliche Intelligenz in Europa

Ulrich Herfurth, Rechtsanwalt in Hannover und Brüssel
Sara Nesler, Mag. iur. (Torino), LL.M. (Münster)

 

Entwicklung in der EU

Die Europäische Union hat im Jahr 2020 ein Weißbuch veröffentlicht, das die in 2018 vorgelegte KI-Strategie in zwei Hauptrichtungen ausbaut. Zum einen soll die Entwicklung und Forschung von KI durch die Bereitstellung von Ressourcen vorangetrieben werden und die KI-Kompetenzen innerhalb der EU dank einer stärkeren Zusammenarbeit der Mitgliedstaaten erhöht. Außerdem will die EU das Vertrauen der Bürger in die neuen Technologien fördern und auch für kleine und mittlere Unternehmen den Zugang zu KI sichern. Zum anderen ist die Notwendigkeit einer umfassenden Regulierung auf europäischer Ebene erkannt.

Daraufhin hat die EU-Kommission am 21.04.2021 einen Verordnungsvorschlag zur Festlegung harmonisierter Vorschriften für Künstliche Intelligenz (KI-Verordnung) vorgestellt. Ziel des Entwurfes ist es, die Verwendung von KI-Systemen in der EU so zu regulieren, dass die Risiken der Technologie minimiert werden, ohne ihre Entwicklung zu erschweren oder zu behindern.

Reichweite der Verordnung

Die KI-Verordnung sieht eine breite Definition von KI vor. Dadurch ist die Regelung nicht nur auf moderne machine-learning Systeme anwendbar, sondern auch auf traditionell hard-kodierte Software, die auf Logik und Statistik basiert. Betroffen ist die gesamte Wertschöpfungskette von KI-Systemen, sowohl im privaten als auch im öffentlichen Sektor. Die geplante KI-Verordnung richtet sich daher an Anbieter, Entwickler und Hersteller von KI-Systemen, aber auch an Importeure, Händler und Nutzer (ausgenommen Verbraucher).

Maßnahmen nach Risikostufe

Um unterschiedliche KI-Systeme und Anwendungen umfassend zu regulieren, ohne unnötige Hürden für die Entwicklung und Verwendung der neuen Technologien zu setzen, folgt die Verordnung einem risikobasierten Ansatz und sieht vier Risikostufen vor, die bei zukünftigem Bedarf geändert oder ergänzt werden sollen.

(1) Unannehmbares Risiko

KI-Systeme, die ein inakzeptables Risiko darstellen, werden verboten. Darunter fallen Systeme, die das Verhalten der Menschen manipulieren oder physische und psychische Schwächen ausnutzen und dadurch physische oder psychische Schäden verursachen können. Ein Beispiel dafür sind Spielzeuge, die kleine Kinder zu gefährlichem Verhalten veranlassen, des weiteren Systeme zur sozialen Bewertung (social scoring) die zu Diskriminierungen durch Behörden führen können, sowie Systeme, die biometrische Identifikationen vornehmen (Ausnahmen sind u.a. für Identifikation und Verfolgung eines Täters oder Verdächtigen einer Straftat vorgesehen).

(2) Hohes Risiko

Diese Risikostufe umfasst zwei Hauptgruppen von Anwendungen: zum einen Sicherheitssysteme und Komponenten (z.B. Anwendungen für robotische Chirurgie oder Sicherheitskomponenten von Automobilen), zum anderen Systeme, die in sensiblen Bereichen verwendet werden und Grundrechtsverletzungen verursachen können. Dazu zählen auch kritische Infrastrukturen, Zugang zu Schule oder Berufsausbildung, berufliche Einstellungsverfahren, Strafverfolgung, die Rechtspflege sowie wichtige private und öffentliche Dienstleistungen, wie etwa die Bewertung der Kreditwürdigkeit.

Für Hochrisiko-KI-Systeme enthält die Verordnung strenge Vorgaben, unter anderem zur Risikobewertung von Systemen, Qualität der Datensätze, Rückverfolgbarkeit der Vorgänge und zu einer angemessenen menschlichen Aufsicht. Um die Einhaltung der Vorschriften sicherzustellen, sollen für das Inverkehrbringen eines Hochrisiko-KI-System eine positive (interne oder externe) Konformitätsbewertung, die Registrierung in einer dafür eingerichteten europäischen Datenbank und die Anbringung eines CE-Kennzeichens erforderlich sein.

Neben den Pflichten für Anbieter und Produkthersteller sieht die geplante KI-Verordnung auch Aufsichts-, Melde- und Gewährleistungspflichten für Importeure und Händler vor.

 (3) Geringes Risiko

Mit einem geringen Risiko werden KI-Systeme bewertet, die besondere Transparenzverpflichtungen erfordern. So sollen künftig die Verwendung von Chatbots und die Exposition gegenüber deep fakes (manipulierte oder generierte Inhalte, die als authentische Personen, Fakten oder Objekte wahrgenommen werden) offengelegt werden. Das Gleiche gilt für Systeme, die Emotionen erkennen oder biometrische Kategorisierungen vornehmen.

(4) Minimales Risiko

 Die Mehrheit der KI-Systeme, wie Videospiele oder Spamfilter, stellen nach der KI-Verordnung nur ein minimales Risiko dar und sollen entsprechend im Rahmen des bereits geltenden Rechts frei benutzt werden können.

Aktuelle Diskussionspunkte

Ob es der Kommission mit dem Verordnungsentwurf gelingt, einen klaren Rechtsrahmen zu schaffen, der Grundrechte umfassend schützt ohne die Entwicklung und Anwendung von KI-Systemen übermäßig zu erschweren, ist allerdings fraglich.

Rechtsunsicherheit

Begriffe wie „psychische Schäden“ und „psychische Schwächen“ werden nicht näher definiert. Das ist sowohl für den geschäftlichen Bereich, als auch für den wirksamen Schutz der Bürger von Bedeutung: so ist nicht ersichtlich, wie weit Nudging gehen darf, ohne als unannehmbar eingestuft zu werden.

 Umfangreiche Anforderungen

Seitens der Anbieter und Produkthersteller werden die Anforderungen für Hochrisiko-Systeme und deren Überprüfung als zu aufwändig kritisiert. Andererseits bemängeln Fachkreise, dass der Entwurf zu viel Rücksicht auf wirtschaftliche Interessen nehme. Hochrisiko-Systeme können schwere negative Konsequenzen auslösen, es genüge deswegen insbesondere nicht, dass bei den meisten Hochrisiko-Systemen eine interne Konformitätsbewertung ausreichen soll. Demgegenüber schätzen Anbietern diesen Ansatz, der Schutz von geistigem Eigentum und Geschäftsgeheimnisse sei damit besser gewahrt.

Umsetzbarkeit in der Praxis

Unklar ist auch, wie manche Vorschriften in der Praxis umgesetzt werden können. Die menschliche Aufsicht für automatisierte Bewertungen und Entscheidungen ist beispielsweise viel weiter geregelt als in der Datenschutz-Grundverordnung. Nach der KI-Verordnung reicht die formale Beteiligung eines Menschen an der Entscheidung nicht aus. Vielmehr soll der Mensch mit Systemverständnis und im Bewusstsein der möglichen Verzerrungseffekte in der Automatisierung unabhängig entscheiden können, ob er das KI-System nutzt oder aber das Ergebnis unberücksichtigt lässt.

Das ist aktuell etwa bei der Beurteilung der Kreditwürdigkeit eines Kunden oft nicht der Fall. Zwar wird eine menschliche Bewertung neben der algorithmischen durchgeführt, und die letzte Entscheidung über die Wahrung eines Kredites trifft in der Regel ein Mensch. Die algorithmische Bewertung spielt dennoch bei der Berechnung des Zinssatzes eine zentrale Rolle. Der Sachbearbeiter ist dort an das „System“ gebunden, und kann auch nicht vollständig nachvollziehen, welche Kriterien in die Bewertung eingeflossen sind. Wegen des Datenschutzes werden nicht alle Kriterien, die in den Score eingeflossen sind, der Bank offengelegt.

Automatisierte Bewertungen und Entscheidungen spielen eine wachsende Rolle in vielen Bereichen von Wirtschaft und Gesellschaft. Eine größere Transparenz der Prozesse ist daher wünschenswert, damit Künstliche Intelligenz Menschen dienen und deren Vertrauen erlangen soll – wie von der Kommission erwünscht. Gleichwohl ist zu überlegen, wie und inwieweit die Vorschriften in der Praxis angewendet werden können, ohne die vermeintlichen Vorteile der KI, wie Zeitersparnis und Objektivität, durch eine umfassende menschliche Kontrolle und Korrektur zu unterdrücken. Wird kein Ausgleich gefunden, wird die Rolle des menschlichen Entscheidungsträgers weitestgehend auf dem Papier bleiben, so wie bei der Datenschutz-Grundverordnung. Schließlich könnte die Entscheidung, die algorithmische Bewertung zu umgehen, zu einer Haftungsfrage werden. Die Verantwortung dafür würden viele menschliche Entscheidungsträger in der Praxis nicht auf sich nehmen wollen.

Haftung und Rechtsdurchsetzung

Wer für Schäden haften soll, die von KI gesteuerte Maschinen und Systeme verursachen und nicht von einer vertraglichen Haftung erfasst sind, bleibt in dem Verordnungsvorschlag offen. Ein Beispiel dafür sind Schäden, die durch eine Fehlfunktion eines autonom fahrenden Fahrzeugs verursacht werden. Damit mangelt es dem Entwurf an dieser Stelle an der erforderlichen Systematik. (Mehr dazu in dem Compact „Künstliche Intelligenz und Recht“, Ulrich Herfurth, Januar 2019).

Die Verordnung sieht bislang auch keine besonderen Rechte für diejenigen vor, die durch KI-Systeme beurteilt werden oder dessen Verhalten gesteuert wird. Die Rechtsdurchsetzung im Bereich der Künstlichen Intelligenz ist besonders schwierig, denn die Prozesse sind oft nicht transparent. Beweislastumkehrungen oder Kausalitätserleichterungen werden aber in dem Entwurf nicht behandelt.

Umsetzung der Verordnung

 Für die Durchsetzung der Verordnung wird die Einrichtung eines Europäischen KI-Ausschuss mit hauptsächlich Beratungsfunktionen geplant. Die neue Behörde soll nach dem Modell des Europäischen Datenschutzausschusses aus den zuständigen Behörden der Mitgliedstaaten und dem Europäischen Datenschutzbeauftragten bestehen. Die Einhaltung der Anforderungen für Hochrisiko-Systeme soll von den Marktüberwachungsbehörden überprüft werden.

Verstoße gegen die KI-Verordnung werden mit hohen Bußgeldern geahndet. Diese können bis zu 30 Mio. EUR oder 6 % des weltweiten Jahresumsatzes erreichen. Es ist deswegen für Unternehmen sehr wichtig, die Rechtsentwicklung zu beobachten und entsprechend strategisch zu planen.

Ausblick

Der Entwurf steht noch am Anfang des Gesetzgebungsverfahrens. Es ist noch unklar, ob eventuelle Änderungen die Entwicklung von KI und die damit verbundenen wirtschaftlichen Interessen oder aber der Schutz der Grundrechte der Bürger favorisiert werden. Beide Interessenlager betreiben dazu intensives Lobbying.

Mit einem Inkrafttreten der KI-Verordnung ist ab 2024 zu rechnen.

Siehe auch Compact „Künstliche Intelligenz und Recht“, Ulrich Herfurth, Januar 2019.