Während die EU KI-Verordnung (EU) 2024/1689 in Stufen in Kraft tritt, steht der nächste wichtige Meilenstein bevor: Ab August 2026 gelten die vollständigen Anforderungen für Hochrisiko-KI-Systeme. Gleichzeitig hat die Bundesregierung die Bundesnetzagentur als nationale Behörde für die Aufsicht über GPAI-Modelle benannt.
Was bedeutet das für den deutschen Mittelstand?
Was „Hochrisiko-KI" nach EU AI Act bedeutet
Der EU AI Act unterscheidet KI-Systeme nach ihrem Risikopotenzial. Als Hochrisiko-KI gelten Systeme, die in bestimmten kritischen Bereichen eingesetzt werden. Anhang III der Verordnung listet diese Bereiche auf:
- Biometrische Identifizierung (z.B. Gesichtserkennung am Eingang)
- Kritische Infrastruktur (Energie, Wasser, Verkehr)
- Bildung (automatisierte Bewerbungsauswahl für Schulen/Hochschulen)
- Beschäftigung und Personalmanagement: KI-Systeme, die bei Einstellung, Beförderung oder Kündigung eingesetzt werden
- Zugang zu wichtigen Diensten (Kreditvergabe, Sozialleistungen, Versicherungen)
- Strafverfolgung und Rechtspflege
- Demokratische Prozesse (Wahlbeeinflussung)
Welche KMU tatsächlich betroffen sind
Die gute Nachricht für die meisten KMU: Standard-KI-Tools wie ChatGPT für E-Mails, Copilot für Dokumente oder KI-Chatbots für den Kundensupport fallen nicht in die Hochrisiko-Kategorie.
Die schlechtere Nachricht: Einige Anwendungsfälle, die im Mittelstand verbreitet sind, könnten davon betroffen sein:
Potenziell betroffen:
KI-gestützte Bewerbervorauswahl: Wenn ein HR-System KI nutzt, um Bewerbungen automatisch zu filtern oder zu bewerten, handelt es sich um Hochrisiko-KI im Bereich Beschäftigung. Das trifft Unternehmen, die entsprechende HR-Software einsetzen.
KI in der Kreditvergabe: Für Finanzdienstleister, die KI zur Bonitätsprüfung nutzen, gelten die Hochrisiko-Vorschriften.
Biometrische Zeiterfassung: Einige Unternehmen nutzen Gesichtserkennung für die Zeiterfassung – das fällt unter biometrische Identifizierung.
Typischerweise nicht betroffen:
- KI für Textgenerierung und -überarbeitung
- KI-gestützte Übersetzungen
- Produktempfehlungssysteme
- Interne Wissensdatenbanken
- KI-basierte Prozessautomatisierung in der Produktion (wenn keine Entscheidungen über Personen)
Anforderungen für Hochrisiko-KI-Betreiber
Wer tatsächlich Hochrisiko-KI einsetzt, muss ab August 2026 umfangreichere Pflichten erfüllen:
Technische Dokumentation: Detaillierte Beschreibung des KI-Systems, seiner Funktionsweise und Risiken.
Risikomanagementsystem: Schriftliche Analyse der Risiken, Maßnahmen zur Risikominderung.
Datensatz-Dokumentation: Herkunft, Qualität und Repräsentativität der Trainingsdaten.
Transparenz gegenüber Betroffenen: Natürliche Personen, über die eine Hochrisiko-KI Entscheidungen trifft, müssen informiert werden.
Menschliche Aufsicht: Hochrisiko-KI darf nicht vollständig autonom Entscheidungen treffen – es muss immer eine menschliche Kontrollmöglichkeit geben.
Protokollierung: Aktivitäten und Entscheidungen müssen protokolliert werden (Logs über eine definierte Zeit aufbewahrt).
Die Rolle der Bundesnetzagentur
Deutschland hat die Bundesnetzagentur als nationale Behörde für die Marktüberwachung von GPAI-Modellen (General Purpose AI) benannt. Sie ist damit Ansprechpartnerin für Anbieter großer Basismodelle – nicht für KMU, die diese Modelle nur nutzen.
Für betriebliche Hochrisiko-KI sind andere Behörden zuständig – je nach Branche und Anwendungsfall können das Datenschutzbehörden, Arbeitsschutzbehörden oder Branchenaufsichten sein. Die genaue Zuständigkeit ist in manchen Bereichen noch in Klärung.
Sofortmaßnahmen für KMU
Schritt 1: KI-Inventar erstellen Welche KI-Systeme werden im Unternehmen eingesetzt? Diese Frage muss systematisch beantwortet werden – inklusive der Tools, die Mitarbeitende informell nutzen.
Schritt 2: Hochrisiko-Check Für jedes eingesetzte KI-System: Fällt es unter die Hochrisiko-Kategorien des Anhangs III? Wenn unsicher: juristische oder Compliance-Beratung hinzuziehen.
Schritt 3: KI-Richtlinie einführen Eine interne KI-Richtlinie – welche Tools erlaubt sind, welche Daten nicht eingegeben werden dürfen, wie KI-Ausgaben geprüft werden – ist ohnehin gute Praxis und reduziert Haftungsrisiken.
Schritt 4: EU AI Act-Schulungen durchführen Art. 4 (KI-Kompetenzpflicht) gilt seit Februar 2025. Wer noch nicht geschult hat, sollte das jetzt nachholen – auch im Hinblick auf die kommenden Hochrisiko-Vorschriften.
ScaleWise unterstützt KMU in Bayern bei der EU AI Act-konformen Gestaltung ihres KI-Einsatzes – vom Hochrisiko-Check bis zu Art. 4-Schulungen mit Zertifikat. BAFA-gefördert.