Was die KI-Verordnung regelt
Die KI-Verordnung (AI Act, Verordnung (EU) 2024/1689) regelt Entwicklung, Inverkehrbringen und Einsatz von Systemen künstlicher Intelligenz in der Europäischen Union. Als Verordnung gilt sie unmittelbar in allen Mitgliedstaaten und muss nicht in nationales Recht umgesetzt werden. Die Mitgliedstaaten müssen jedoch nationale Aufsichtsbehörden benennen und Sanktionsregeln festlegen. In Deutschland ist nach aktuellem Stand die Bundesnetzagentur als zentrale Stelle vorgesehen, in Österreich ist die RTR mit ihrer KI-Servicestelle ein wichtiger Ansprechpartner. Verfolgen Sie den aktuellen Stand der nationalen Durchführung.
Die Verordnung folgt einem risikobasierten Ansatz: Je stärker ein System Gesundheit, Sicherheit und Grundrechte von Menschen beeinträchtigen kann, desto mehr Pflichten gelten. Sie betrifft Anbieter und Betreiber in der EU, aber auch Anbieter außerhalb der EU, wenn die Ergebnisse ihrer Systeme in der EU genutzt werden. Ausgenommen sind unter anderem militärische und Verteidigungszwecke, wissenschaftliche Forschung sowie rein private, nicht berufliche Nutzung. Die Klasse Ihres Systems prüfen Sie mit dem Tool auf dieser Seite.
Vier Risikoklassen
| Klasse | Beispiele | Folge |
|---|---|---|
| Verbotene Praktiken (Artikel 5) | Social Scoring, manipulative Techniken, Emotionserkennung bei Beschäftigten, ungezieltes Auslesen von Gesichtsbildern | Der Einsatz ist nicht erlaubt |
| Hochrisiko-Systeme (Artikel 6, Anhänge I und III) | Vorauswahl von Bewerbern, Bonitätsbewertung, Sicherheitskomponenten von Medizinprodukten oder Maschinen | Umfangreiche Anforderungen für Anbieter und Betreiber |
| Begrenztes Risiko: Transparenz (Artikel 50) | Chatbots, Erzeugung von Bildern und Texten, Deepfakes | Information der Nutzer und Kennzeichnung von Inhalten |
| Minimales Risiko | Spamfilter, Bestandsprognosen, Produktempfehlungen | Keine besonderen Pflichten, außer KI-Kompetenz |
Hochrisiko-Systeme nach Anhang III sind solche, die in den Bereichen Biometrie, kritische Infrastruktur, Bildung, Beschäftigung und Personalmanagement, Zugang zu wesentlichen öffentlichen und privaten Leistungen (zum Beispiel Bonitätsbewertung sowie Risikobewertung und Preisbildung bei Lebens- und Krankenversicherungen), Strafverfolgung, Migration und Grenzkontrolle sowie Justiz und demokratische Prozesse eingesetzt werden.
Ein System aus einem Bereich des Anhangs III gilt nicht als Hochrisiko-System, wenn es kein erhebliches Risiko birgt, zum Beispiel weil es nur eine eng begrenzte verfahrenstechnische oder vorbereitende Aufgabe erfüllt. Diese Ausnahme greift nicht, wenn das System Profiling natürlicher Personen vornimmt. Der Anbieter muss eine solche Bewertung dokumentieren.
Anbieter oder Betreiber: Wer ist wofür verantwortlich
Die Pflichten hängen von der Rolle ab. Der Anbieter entwickelt ein KI-System oder bringt es unter eigenem Namen oder eigener Marke in Verkehr bzw. in Betrieb. Der Betreiber setzt ein System im Rahmen seiner beruflichen Tätigkeit ein. Die meisten Unternehmen in Deutschland und Österreich werden Betreiber sein, etwa beim Einsatz eines Recruiting-Tools, das ein anderer Anbieter entwickelt hat.
| Hochrisiko-System | Anbieter | Betreiber |
|---|---|---|
| Risikomanagement und Datenqualität | ja | Eignung der Eingabedaten, die er kontrolliert |
| Technische Dokumentation und Protokolle | erstellt die Dokumentation, ermöglicht die Protokollierung | bewahrt die Protokolle auf, in der Regel mindestens sechs Monate |
| Menschliche Aufsicht | Gestaltung, die sie ermöglicht | wird von geschulten Personen ausgeübt |
| Konformitätsbewertung, CE-Kennzeichnung, Registrierung | ja | öffentliche Stellen registrieren die Nutzung |
| Information | Gebrauchsanweisung | informiert Beschäftigte und Personen, über die das System mitentscheidet |
| Grundrechte-Folgenabschätzung | nein | öffentliche Stellen, Erbringer öffentlicher Dienste, Bonitäts- und Versicherungsbewertung |
Ein Betreiber wird zum Anbieter, wenn er ein Hochrisiko-System unter eigenem Namen oder eigener Marke in Verkehr bringt, es wesentlich verändert oder seinen Zweck so ändert, dass es zum Hochrisiko-System wird. Das ist wichtig, wenn Sie bestehende Lösungen für eigene Zwecke anpassen.
Beispiele aus der Praxis
- Chatbot für den Kundenservice auf Basis eines großen Sprachmodells: in der Regel begrenztes Risiko. Sie müssen Nutzer darüber informieren, dass sie mit einer KI kommunizieren, sofern das nicht offensichtlich ist.
- Tool zur Vorauswahl von Lebensläufen oder Bewertung von Bewerbern: Hochrisiko-System im Bereich Beschäftigung. Das Unternehmen muss als Betreiber menschliche Aufsicht sicherstellen, Protokolle aufbewahren und Bewerber sowie Arbeitnehmervertreter informieren. In Deutschland sind zusätzlich Mitbestimmungsrechte des Betriebsrats zu beachten, in Österreich entsprechende Mitwirkungsrechte.
- Vorhersage von Maschinenausfällen aus Sensordaten: in der Regel minimales Risiko, es sei denn, das System ist Sicherheitskomponente einer Maschine, für die Rechtsvorschriften aus Anhang I gelten.
- Bonitätsbewertung natürlicher Personen: Hochrisiko-System. Die Aufdeckung von Finanzbetrug ist dabei ausdrücklich ausgenommen.
- Analyse der Emotionen von Beschäftigten in Video- oder Sprachanrufen: am Arbeitsplatz eine verbotene Praxis, außer aus medizinischen oder Sicherheitsgründen.
KI-Modelle mit allgemeinem Verwendungszweck
Für große Sprachmodelle und andere Modelle mit allgemeinem Verwendungszweck (GPAI) gelten seit 2. August 2025 besondere Regeln. Anbieter solcher Modelle müssen technische Dokumentation erstellen, Informationen für Anbieter bereitstellen, die das Modell in eigene Systeme einbauen, eine Urheberrechtsstrategie vorhalten und eine Zusammenfassung der Trainingsinhalte veröffentlichen. Für die leistungsfähigsten Modelle mit systemischem Risiko gelten zusätzliche Anforderungen.
Ein Unternehmen, das ein bestehendes Modell über eine API nutzt oder in eine eigene Anwendung einbaut, ist in der Regel nicht Anbieter eines Modells mit allgemeinem Verwendungszweck. Es kann aber Anbieter oder Betreiber des darauf aufbauenden KI-Systems sein, und die Klasse dieses Systems hängt vom Verwendungszweck ab.
Fristen und Bußgelder
| Datum | Was anzuwenden ist |
|---|---|
| 1. August 2024 | Die Verordnung tritt in Kraft |
| 2. Februar 2025 | Verbotene Praktiken und Pflicht zur KI-Kompetenz |
| 2. August 2025 | Regeln für KI-Modelle mit allgemeinem Verwendungszweck, Governance und Sanktionen |
| 2. August 2026 | Der Großteil der Vorschriften, einschließlich Hochrisiko-Systemen nach Anhang III und Transparenzpflichten |
| 2. August 2027 | Hochrisiko-Systeme als Sicherheitskomponenten von Produkten nach Anhang I |
Die Europäische Kommission hat mit dem sogenannten Digital-Omnibus-Paket vorgeschlagen, einzelne Fristen für Hochrisiko-Systeme zu verschieben. Da das Gesetzgebungsverfahren noch läuft oder inzwischen abgeschlossen sein kann, prüfen Sie vor der Planung den aktuellen Stand auf den Seiten der Europäischen Kommission.
Die Bußgelder betragen bis zu 35 Millionen Euro oder 7 % des weltweiten Jahresumsatzes bei verbotenen Praktiken, bis zu 15 Millionen Euro oder 3 % bei Verstößen gegen andere Pflichten und bis zu 7,5 Millionen Euro oder 1 % bei falschen Angaben gegenüber Behörden. Bei KMU und Start-ups gilt der niedrigere der beiden Beträge.
So bereiten Sie sich vor
- Bestandsaufnahme der KI-Systeme. Erfassen Sie alle Systeme und Tools mit KI, die Sie entwickeln oder einsetzen, auch solche, die Fachabteilungen selbst eingeführt haben.
- Einstufung. Ordnen Sie jedes System mit dem Tool oben ein und dokumentieren Sie das Ergebnis.
- KI-Kompetenz. Bereiten Sie Schulungen für Beschäftigte vor, die KI nutzen, und eine interne Nutzungsrichtlinie.
- Hochrisiko-Systeme. Fordern Sie von Lieferanten Konformitätsdokumentation, benennen Sie Verantwortliche für die menschliche Aufsicht und regeln Sie die Aufbewahrung der Protokolle.
- Governance. Verknüpfen Sie die Anforderungen der Verordnung mit den bestehenden Prozessen für Datenschutz und Informationssicherheit. Eine Orientierung bietet auch der Leitfaden NIS2-Umsetzung.
Humanfrog unterstützt Unternehmen bei Planung und Einführung von KI-Lösungen, die von Anfang an verordnungskonform konzipiert sind, mit passender Sicherheit, Zugriffskontrolle und Protokollierung. Dieser Leitfaden ersetzt keine Rechtsberatung. Wenn Sie einen konkreten Anwendungsfall prüfen möchten, sprechen Sie mit uns.
