KI-Verordnung gestartet - was Sie jetzt wissen müssen

Am 2. Februar 2025 treten die ersten Regelungen der KI-Verordnung in Kraft. Nach Art. 113 lit. a KI-VO treten Kapitel I und II der KI-VO in Kraft. Diese Regelungen betreffen den Anwendungsbereich der KI-Verordnung und enthalten Begriffsbestimmungen. Hinzu kommen Schulungspflichten zum Aufbau von KI-Kompetenzen und die Pflicht zur Abschaltung verbotener KI-Systeme. Für Arbeitgeber sind folgende Neuerungen relevant:

KI-Kompetenzen

Nach Art. 4 KI-VO müssen Arbeitgeber beim Einsatz von KI-Systemen im Betrieb als sog. Betreiber Maßnahmen ergreifen, um nach besten Kräften sicherzustellen, dass alle Beschäftigten, die mit der Nutzung von KI-Anwendungen befasst sind, über die notwendigen Kompetenzen verfügen. Dabei sind technische Vorkenntnisse, Erfahrungen, Qualifikation sowie der Kontext, in dem die KI-Systeme eingesetzt werden, zu berücksichtigen.

KI-Kompetenzen sind nach Art. 3 Nr. 56 KI-VO die Fähigkeiten, die Kenntnisse und das Verständnis, die es Beschäftigten ermöglicht, „KI-Systeme sachkundig einzusetzen sowie sich der Chancen und Risiken von KI und möglicher Schäden, die sie verursachen kann, bewusst zu machen“.

Dabei ist zu beachten:

Die Pflicht zum Ergreifen von Maßnahmen für die Kompetenzvermittlung gilt grundsätzlich für alle KI-Anwendungen, unabhängig von der Risikoklassifizierung.
Die Vorschrift ist dabei wenig konkretisiert. Welche Maßnahmen erforderlich sind, hängt im Einzelfall von der eingesetzten KI und von den Beschäftigten ab.
Mögliche Maßnahmen können sein: Schulungen, KI-Guidelines, praxisorientiertes Lernen in divers zusammengesetzten Teams, Weiterbildungs- und Zertifizierungsprogramme oder die Benennung von Anlaufstellen wie betriebsinterne KI-Beauftragte.
Die Pflicht ist sehr weich formuliert, sie kann als Appell verstanden werden. Dafür spricht, dass Art. 4 KI-VO nicht sanktionsbewährt ist.
Das Unterlassen von Maßnahmen nach Art. 4 KI-VO stellt aber eine Sorgfaltspflichtverletzung dar, die bei Eintritt eines Schadens eine Schadensersatzpflicht auslösen kann.

Verbotene KI-Systeme

Nach Art. 5 KI-VO sind KI-Systeme mit einem unannehmbar hohen Risiko grundsätzlich verboten. Gemeint sind damit KI-Systeme, von denen eine eindeutige Bedrohung ausgeht, weil sie z. B. manipulieren, täuschen oder Merkmale von Personen (Alter, Geschlecht, Herkunft etc.) kalkuliert ausnutzen. Die KI-VO katalogisiert diese verbotenen KI-Systeme, darunter z. B. solche, die ein sog. social scoring vornehmen oder Systeme zur biometrischen Identifizierung. Dazu gehören grundsätzlich auch alle KI-Systeme zur Emotionserkennung am Arbeitsplatz.

Dabei ist zu beachten:

Ausgenommen sind KI-Systeme, die aus rein medizinischen oder sicherheitstechnischen Gründen Emotionen erkennen, wie z. B. für therapeutische Zwecke.
Nicht gemeint sind nicht körperliche Zustände wie Schmerzen oder Müdigkeit.
Das Verbot nach Art. 5 KI-VO ist grundsätzlich sanktionsbewährt nach Art. 99 KI-VO.

Weitere Informationen zu den für Arbeitgeber relevanten Regelungen der KI-Verordnung finden Sie in hier verlinkten BDA-Anwendungspapier.

Quelle: BDA

EU AI Act – Was steht drin?

Kernpunkte, die im Dokument ausführlich behandelt werden:

Definition von KI-Systemen und welche Systeme unter die KI-VO fallen.
Risikoklassifizierung und Regulierung von KI.
Regelungen und Pflichten für Arbeitgeber beim Einsatz von KI-Anwendungen.
Voraussetzungen für Hochrisiko-KI-Systeme.
Umsetzungsfristen und Handlungsempfehlungen für Unternehmen.
Nächste Schritte und Handlungsempfehlungen für Unternehmen, um die Regelungen systematisch umzusetzen.

KI.NRW zum EU AI Act

Webseite Download AI Act Infopapier (PDF)

Was noch wichtig ist

mit freundlicher Unterstützung des KI-Tools Microsoft Copilot bei Recherche und Formulierung

Chatbots und Virtuelle Assistenten
- Nutzen: Beantworten Gästeanfragen, nehmen Reservierungen entgegen und bieten rund um die Uhr Unterstützung.
- Erlaubt: Ja, solange Transparenzpflichten erfüllt werden[1].
Personalisierte Marketingstrategien
- Nutzen: Analysieren Gästedaten, um personalisierte Angebote und Marketingkampagnen zu erstellen.
- Erlaubt: Ja, unter Einhaltung der Datenschutzbestimmungen[1].
Automatisiertes Revenue Management
- Nutzen: Optimiert Preisstrategien basierend auf Nachfrageprognosen und Marktanalysen.
- Erlaubt: Ja, aber strenge Anforderungen an Transparenz und menschliche Aufsicht müssen erfüllt werden[1].
Smart Rooms
- Nutzen: Steuern Beleuchtung, Temperatur und Unterhaltung in Hotelzimmern.
- Erlaubt: Ja, solange die Systeme sicher und transparent sind[1].
Robotik
- Nutzen: Übernehmen Aufgaben wie Gepäcktransport, Zimmerservice oder Reinigung.
- Erlaubt: Ja, unter Einhaltung strenger Sicherheits- und Transparenzanforderungen[1].

[1]: Hotel Tech Report

Emotionserkennungssysteme: Verboten, da sie ein unannehmbar hohes Risiko darstellen und personenbezogene Merkmale ausnutzen können[1].
Social Scoring Systeme: Verboten, da sie manipulative Techniken anwenden und personenbezogene Daten missbrauchen[1].

[1]: Hotel Tech Report

Transparenz sicherstellen
- Dokumentation: Verlangen Sie von Ihren Dienstleistern eine klare Dokumentation der Funktionsweise der KI-Systeme[1].
- Kennzeichnung: Stellen Sie sicher, dass Nutzer wissen, wenn sie mit einem KI-System interagieren[1].
Schulungen und Weiterbildung
- Schulungen: Fordern Sie regelmäßige Schulungen für Ihre Mitarbeiter an, um den sicheren Umgang mit KI-Systemen zu gewährleisten[1].
- Zertifizierungen: Bitten Sie Ihre Dienstleister um Nachweise über Zertifizierungen und unabhängige Überprüfungen der KI-Systeme[1].
Feedback und Kommunikation
- Feedback-Kanäle: Richten Sie Kanäle ein, über die Mitarbeiter und Gäste Feedback zu den KI-Systemen geben können[1].
- Offene Kommunikation: Fördern Sie eine Kultur der offenen Kommunikation über den Einsatz von KI[1].

[1]: Hotel Tech Report

1. Dokumentation und Offenlegung

Erklärung der Funktionsweise: Stellen Sie sicher, dass die grundlegende Funktionsweise des KI-Systems dokumentiert und für alle Beteiligten verständlich ist[1].
Zugänglichkeit der Informationen: Machen Sie relevante Informationen über das KI-System, wie z.B. die Datenquellen und die Entscheidungslogik, für Mitarbeiter und Kunden zugänglich[1].

2. Transparenzpflichten erfüllen

Kennzeichnung: Informieren Sie Nutzer klar und deutlich darüber, dass sie mit einem KI-System interagieren. Dies kann durch Hinweise auf Websites, in Apps oder bei der Nutzung von Chatbots erfolgen[1].
Erklärung der Entscheidungen: Bieten Sie Erklärungen an, wie und warum das KI-System bestimmte Entscheidungen trifft, insbesondere bei personalisierten Angeboten oder automatisierten Prozessen[2].

3. Schulungen und Weiterbildung

Regelmäßige Schulungen: Führen Sie regelmäßige Schulungen für Ihre Mitarbeiter durch, um das Verständnis und den sicheren Umgang mit KI-Systemen zu fördern[1].
Workshops und Seminare: Organisieren Sie Workshops und Seminare, um die neuesten Entwicklungen und Best Practices im Bereich der KI-Transparenz zu vermitteln[1].

4. Externe Audits und Zertifizierungen

Unabhängige Überprüfungen: Lassen Sie Ihre KI-Systeme regelmäßig von unabhängigen Dritten überprüfen, um die Einhaltung der Transparenzanforderungen sicherzustellen[1].
Zertifizierungen: Streben Sie Zertifizierungen an, die die Transparenz und Vertrauenswürdigkeit Ihrer KI-Systeme bestätigen[1].

5. Feedback und Kommunikation

Feedback-Kanäle: Richten Sie Kanäle ein, über die Mitarbeiter und Kunden Feedback zu den KI-Systemen geben können[1].
Offene Kommunikation: Fördern Sie eine Kultur der offenen Kommunikation, in der Fragen und Bedenken bezüglich der KI-Systeme offen angesprochen und diskutiert werden können[1].

[1]: BSI Whitepaper zur Transparenz von KI-Systemen [2]: BfDI - Technische Anwendungen - Die KI-Verordnung der EU