Was ist der EU AI Act? Anforderungen, Zeitplan und Compliance

Was ist der EU AI Act? 

Der EU AI Act ist der weltweit erste umfassende Rechtsrahmen für künstliche Intelligenz. Er trat am 1. August 2024 in Kraft und legt rechtsverbindliche Verpflichtungen für Organisationen fest, die KI-Systeme in der Europäischen Union entwickeln, in Verkehr bringen, vertreiben, importieren oder nutzen. Seine Anforderungen gelten nicht nur für Organisationen mit Sitz in der EU, sondern auch für Unternehmen außerhalb der EU, wenn deren KI-Systeme auf dem EU-Markt bereitgestellt werden oder Personen mit Wohnsitz in der EU betroffen sind.

Die Bedeutung der Verordnung zeigt sich besonders deutlich in der MedTech-Branche, wo KI zunehmend zur Unterstützung der Diagnostik, der klinischen Entscheidungsfindung, vernetzter Geräte und softwaregesteuerter Medizinprodukte eingesetzt wird. Da viele dieser Anwendungen direkten Einfluss auf den Behandlungserfolg von Patienten haben können, müssen Hersteller darauf vorbereitet sein, neue Anforderungen in Bezug auf Risikomanagement, Rückverfolgbarkeit, Transparenz und Aufsicht zu erfüllen.

Für wen gilt der EU AI Act?

Die Verordnung richtet sich an einige wenige Hauptkategorien von Unternehmen. Jede davon unterliegt spezifischen Compliance-Verpflichtungen.

Anbieter: Unternehmen, die ein KI-System oder ein Allzweck-KI-Modell entwickeln oder in ihrem Auftrag entwickeln lassen und es unter ihrem eigenen Namen oder ihrer eigenen Marke in Verkehr bringen.

Anwender: Unternehmen, die KI-Systeme unter ihrer Verantwortung in einem beruflichen Kontext einsetzen. Bei Herstellern von Medizinprodukten können dies Krankenhäuser, Gesundheitsdienstleister und Organisationen sein, die KI-gestützte Systeme in klinischen Arbeitsabläufen einsetzen.

Bevollmächtigte: In der EU ansässige Organisationen, die im Namen von außerhalb der EU ansässigen Anbietern handeln und bestimmte, durch die Verordnung vorgeschriebene Verpflichtungen erfüllen.

Importeure: Unternehmen, die KI-Systeme von außerhalb der EU auf den EU-Markt bringen

Vertreiber: Organisationen in der Lieferkette, die KI-Systeme auf dem EU-Markt bereitstellen, jedoch weder Anbieter noch Importeur sind.

Wie werden KI-Systeme im EU AI Act klassifiziert? 

Die Verordnung unterteilt KI-Systeme in vier Risikostufen. Die Einstufung bestimmt, welche Verpflichtungen gelten.

KI-Systeme mit inakzeptablem Risiko 

Diese Systeme sind gänzlich verboten. Dazu gehören KI-Systeme, die menschliches Verhalten durch unterschwellige Techniken manipulieren, in öffentlichen Räumen zur Strafverfolgung (mit wenigen Ausnahmen) biometrische Echtzeitüberwachung einsetzen oder eine soziale Bewertung durch Regierungen ermöglichen. Für diese Anwendungen gibt es keine kommerziellen Verwertungsmöglichkeiten.

KI-Systeme mit hohem Risiko

Dies ist für die meisten Unternehmen die Kategorie mit den weitreichendsten Auswirkungen. Zu den Systemen mit hohem Risiko zählen KI-Anwendungen in kritischen Infrastrukturen, bei Personalentscheidungen, im Bildungswesen, bei wesentlichen Dienstleistungen, in der Strafverfolgung, im Migrationsbereich sowie insbesondere bei Medizinprodukten und In-vitro-Diagnostika. Unternehmen, die KI-Systeme mit hohem Risiko auf den Markt bringen, müssen vor deren Einsatz eine Reihe strenger Anforderungen erfüllen.

KI-Systeme mit begrenztem Risiko

Diese Systeme unterliegen Transparenzpflichten. Organisationen müssen offenlegen, wann Nutzer mit KI interagieren, insbesondere in Kontexten wie Chatbots, Deepfakes oder KI-generierten Inhalten. Die Pflichten sind weniger weitreichend als bei Systemen mit hohem Risiko, doch die Nichteinhaltung zieht dennoch Sanktionen nach sich.

KI-Systeme mit minimalem Risiko 

Die überwiegende Mehrheit der KI-Anwendungen fällt in diesen Bereich: Spamfilter, Empfehlungssysteme und einfache Automatisierungstools. Für diese gelten keine verbindlichen Anforderungen gemäß der Verordnung, allerdings wird die Einhaltung freiwilliger Verhaltenskodizes empfohlen.

Was sind die wichtigsten Anforderungen des EU AI Act?

Für Systeme mit hohem Risiko schreibt die Verordnung sechs Kernanforderungskategorien vor.

Risikomanagement und Governance 

Organisationen müssen während des gesamten Lebenszyklus eines KI-Systems einen dokumentierten Risikomanagementprozess aufrechterhalten. Risiken müssen im Rahmen festgelegter Governance-Prozesse identifiziert, bewertet, gemindert und überwacht werden.

Datenqualität und Datenverwaltung

Trainings-, Validierungs- und Testdaten müssen relevant, repräsentativ und angemessen verwaltet sein. Organisationen müssen dokumentieren, wie Daten erhoben, verwaltet und auf mögliche Verzerrungen und Qualitätsprobleme hin überprüft werden.

Anforderungen an die technische Dokumentation 

Anbieter von KI-Systemen mit hohem Risiko müssen technische Unterlagen führen, die die Compliance belegen und die Konformitätsbewertungen während des gesamten Produktlebenszyklus unterstützen.

Aufzeichnungen und Protokollierung 

KI-Systeme mit hohem Risiko müssen eine automatisierte Protokollierung unterstützen, um die Überwachung, die Untersuchung von Vorfällen, die Prüfung sowie die behördliche Überprüfung während der gesamten Betriebsdauer des Systems zu ermöglichen.

Transparenz- und Offenlegungspflichten 

Unternehmen müssen ausreichende Informationen bereitstellen, damit die Nutzer verstehen, wie das System zu verwenden ist, und dessen Ergebnisse richtig interpretieren können.

Anforderungen an die menschliche Überwachung 

KI-Systeme mit hohem Risiko müssen eine sinnvolle menschliche Aufsicht ermöglichen, einschließlich der Fähigkeit, Ergebnisse zu interpretieren, Probleme zu erkennen und bei Bedarf einzugreifen.

Anforderungen an Präzision, Robustheit und Cybersecurity 

KI-Systeme müssen ein angemessenes Level an Präzision erreichen, unter zu erwartenden Bedingungen widerstandsfähig bleiben und vor Sicherheitsbedrohungen schützen, die die Systemleistung oder die Ergebnisse betreffen könnten.

Was sind Allzweck-KI-Modelle im Sinne des EU AI Act? 

Allgemeine KI-Modelle (GPAI) sind Grundmodelle, die auf großen Datensätzen trainiert wurden und ein breites Spektrum an Aufgaben bewältigen können. Zu dieser Kategorie gehören Large Language Models und multimodale KI-Systeme. Die Verordnung führt eine eigene Compliance-Stufe für GPAI-Anbieter ein, wobei für diejenigen, die aufgrund ihrer Größe oder Leistungsfähigkeit als systemisches Risiko eingestuft werden, strengere Verpflichtungen gelten. Unternehmen, die GPAI in ihre Produkt-Workflows integrieren, müssen verstehen, wo die Verpflichtungen des Anbieters enden und die des Anwenders beginnen.

Wie der EU AI Act auf Medizinprodukte anzuwenden ist

Medizinprodukte stellen einen der Anwendungsbereiche dar, in denen im Rahmen der Verordnung besonders viel auf dem Spiel steht. Hersteller, die in diesen Bereich einsteigen, sehen sich mit sich überschneidenden Verpflichtungen aus verschiedenen Frameworks konfrontiert.

Warum viele KI-gestützte Medizinprodukte als risikoreich gelten 

In Medizinprodukte integrierte KI beeinflusst in der Regel die klinische Entscheidungsfindung, diagnostische Ergebnisse oder die Durchführung von Behandlungen. Diese Funktionen haben direkte Auswirkungen auf die Patientensicherheit. Die Verordnung führt ausdrücklich Medizinprodukte, die unter die EU-MDR (2017/745) fallen, sowie In-vitro-Diagnostika, die unter die IVDR (2017/746) fallen, als risikoreiche KI-Anwendungen auf, sofern die KI eine Sicherheitskomponente des jeweiligen Produkts darstellt.

Beispiele für den Einsatz von KI in medizinischen Geräten 

KI ist bereits in einer Vielzahl medizinischer Produkte integriert. Dazu zählen unter anderem Software für die diagnostische Bildgebung, die Anomalien erkennt, Tools zur Unterstützung klinischer Entscheidungen, die Behandlungswege empfehlen, KI-gestützte chirurgische Systeme sowie Plattformen zur Fernüberwachung von Patienten. Da diese Systeme immer weiter verbreitet sind, rückt ihre regulatorische Einstufung für die Produktteams in den Mittelpunkt des Interesses.

Die Entwicklung medizinischer Geräte verändert sich ständig

Weitere Informationen finden Sie auf der Ressourcen-Seite von PTC

Mehr erfahren

Zusammenhang zwischen dem EU AI Act und der Medizinprodukteverordnung (MDR) 

Die KI-Verordnung und die EU-MDR sind sich ergänzende, aber unterschiedliche Frameworks. Die MDR regelt allgemein die Sicherheit und Leistung von Medizinprodukten, während der EU AI Act zusätzliche Anforderungen einführt, die speziell auf die Entwicklung und Nutzung von KI ausgerichtet sind, darunter Risikomanagement, Transparenz, menschliche Aufsicht und Governance.

Die beiden Frameworks weisen zudem wichtige Gemeinsamkeiten auf. Beide verfolgen einen risikobasierten Ansatz, wobei die regulatorischen Anforderungen je nach dem mit einem Medizinprodukt oder KI-System verbundenen Risikoniveau steigen. Bei KI, die als Sicherheitskomponente eines Medizinprodukts eingesetzt wird, oder wenn das KI-System selbst ein Medizinprodukt ist, kann das KI-System gemäß dem EU AI Act als risikoreich eingestuft werden, wenn das Produkt zudem einer Konformitätsbewertung durch eine unabhängige Stelle unterzogen werden muss. In diesen Fällen werden die Anforderungen des EU AI Act Teil der Konformitätsbewertung, die gemäß den geltenden Rechtsvorschriften für Medizinprodukte erforderlich ist.

Was Hersteller von Medizinprodukten wissen müssen

Die Verordnung ist keine Zukunftsangelegenheit. Die Verpflichtungen für KI-Systeme mit hohem Risiko wurden schrittweise eingeführt, wobei wichtige Fristen bereits abgelaufen sind oder bald ablaufen. Hersteller, die noch keine KI-Bestandsaufnahme durchgeführt oder keine Konformitätsbewertung eingeleitet haben, gehen ein erhebliches Risiko ein.

Anforderungen des EU AI Act an Hersteller von Medizinprodukten 

KI-Risikomanagement über den gesamten Produktlebenszyklus hinweg

Hersteller sollten KI-spezifische Risiken, darunter Verzerrungen in Datensätzen, Modelldrift und Software-Updates, in bestehende Risikomanagementprozesse integrieren. Die Abstimmung der KI-Governance auf Frameworks wie ISO 14971 trägt dazu bei, Compliance sowohl mit der MDR als auch mit dem KI-Gesetz zu gewährleisten.

Datenqualität, Validierung und klinische Evidenz

Die Hersteller müssen nachweisen, dass KI-Modelle unter Verwendung von Daten trainiert, validiert und getestet werden, die für die vorgesehene Patientengruppe repräsentativ und für den Verwendungszweck des Produkts geeignet sind.

Anforderungen an die technische Dokumentation und die Rückverfolgbarkeit 

Die Dokumentation muss Anforderungen, Datensätze, Testaktivitäten, Risikokontrollen und Validierungsnachweise miteinander verknüpfen, um Compliance und die behördliche Überprüfung zu unterstützen.

Menschliche Kontrolle und Nachvollziehbarkeit in klinischen Umgebungen 

Kliniker müssen in der Lage sein, von KI generierte Ergebnisse zu verstehen, zu bewerten und entsprechend darauf zu reagieren. Die Erklärbarkeit sollte eine sichere und effektive klinische Entscheidungsfindung unterstützen.

Überwachung nach dem Inverkehrbringen und kontinuierliche Verbesserung 

Hersteller müssen die Leistung der KI nach der Bereitstellung überwachen, Probleme untersuchen und die Risikobewertungen sowie die Dokumentation aktualisieren, sobald neue Informationen vorliegen.

Herausforderungen für Hersteller von Medizinprodukten im Rahmen des EU AI Act

Verwaltung von Änderungen an KI-Modellen nach der Bereitstellung 

Modellaktualisierungen können die Systemleistung beeinflussen und eine Neubewertung von Risiken, der Dokumentation oder regulatorischer Verpflichtungen erfordern. Die Verwaltung dieser Änderungen erfordert solide Prozesse zur Änderungskontrolle.

Wahrung der Compliance bei Produktaktualisierungen 

Hersteller müssen prüfen, ob Aktualisierungen gemäß den geltenden Vorschriften wesentliche Änderungen darstellen, und feststellen, ob zusätzliche Bewertungen erforderlich sind.

Gewährleistung der Datenintegrität und Rückverfolgbarkeit 

Unternehmen müssen klare Aufzeichnungen über Datenquellen, Validierungsmaßnahmen und Systemänderungen führen, um die Einhaltung der Vorschriften und behördliche Überprüfungen zu unterstützen.

Nachweis von Transparenz und menschlicher Aufsicht 

Hersteller müssen nachweisen, dass Aufsichtsmechanismen in der Praxis wirksam sind und nicht lediglich in technischen Unterlagen dokumentiert sind.

Koordination von Engineering-, Qualitäts- und Zulassungsteams 

Die Erfüllung der Anforderungen des AI Act erfordert eine konsequente Kollaboration zwischen den Bereichen Engineering, Qualität, klinische Prüfung und Zulassung über den gesamten Produktlebenszyklus hinweg.

Welche Anforderungen gelten für KI-Systeme mit hohem Risiko?

Was zeichnet ein KI-System mit hohem Risiko aus? 

Ein System gilt als risikoreich, wenn es unter einen der in Anhang III der Verordnung aufgeführten regulierten Bereiche fällt oder wenn es sich um eine Sicherheitskomponente eines Produkts handelt, das bereits unter die EU-Harmonisierungsvorschriften fällt. Für die meisten MedTech-Hersteller erfüllt KI, die in das Gerät integriert ist oder dessen Leistung beeinflusst, diese Schwelle.

Bewertungen 

KI-Systeme mit hohem Risiko erfordern vor dem Markteintritt eine Konformitätsbewertung. Je nach Art des Systems kann diese intern oder durch eine benannte Stelle durchgeführt werden. Bei der Bewertung muss überprüft werden, ob alle geltenden Anforderungen erfüllt sind, und sie muss so dokumentiert werden, dass sie einer behördlichen Überprüfung standhält.

Anforderungen an die technische Dokumentation und die Überwachung 

Nach der Bewertung müssen Organisationen technische Unterlagen führen, die den aktuellen Zustand des Systems widerspiegeln. Dazu gehört eine Protokollierungsfunktion, die das Systemverhalten im Betrieb erfasst und so die Überwachung nach dem Inverkehrbringen sowie die Untersuchung von Vorfällen ermöglicht.

Zeitplan und wichtige Termine zum EU AI Act

Die Verordnung trat im August 2024 in Kraft. Zu den wichtigsten Meilensteinen bei der Compliance gehören:

• Februar 2025: Die Verbote für KI-Systeme mit inakzeptablem Risiko traten in Kraft.
  
• August 2025: Die Verpflichtungen für Anbieter von GPAI-Modellen und die Governance-Regeln traten in Kraft.
  
• August 2026: Die Anforderungen für KI-Systeme mit hohem Risiko in Anhang III treten vollständig in Kraft.
  
• August 2028: Die Anforderungen für KI-Systeme, die Sicherheitskomponenten regulierter Produkte sind, einschließlich Medizinprodukte gemäß der EU-MDR und der IVDR, werden vollständig anwendbar.

Unternehmen der Medizinproduktebranche sollten den August 2028 als feste operative Frist betrachten und nicht als fernes Ziel.

Welche Sanktionen drohen bei Nichteinhaltung? 

Die Verordnung sieht eine gestaffelte Strafregelung vor. Verstöße im Zusammenhang mit verbotenen KI-Praktiken können zu Geldbußen von bis zu 35 Millionen Euro oder 7 % des weltweiten Jahresumsatzes führen, je nachdem, welcher Betrag höher ist. Die Nichteinhaltung anderer Verpflichtungen wird mit Geldbußen von bis zu 15 Millionen Euro oder 3 % des Umsatzes geahndet. Die Übermittlung falscher oder irreführender Informationen an die Behörden kann zu Geldbußen von bis zu 7,5 Millionen Euro oder 1,5 % des Umsatzes führen. Für große globale Unternehmen stellen diese Zahlen sowohl ein erhebliches finanzielles Risiko als auch ein Reputationsrisiko dar.

So bereiten Sie sich auf die Compliance mit dem EU AI Act vor

Bestandsaufnahme bestehender KI-Systeme 

Ermitteln Sie zunächst KI-Systeme, die sich in der Entwicklung befinden, bereits im Einsatz sind oder geplant sind, und klassifizieren Sie diese gemäß dem Framework des KI-Gesetzes.

Identifizieren Sie risikoreiche Anwendungsfälle 

Priorisieren Sie Systeme, die bei der klinischen Entscheidungsfindung, der Diagnostik, der Behandlungsunterstützung oder bei regulierten Medizinprodukten zum Einsatz kommen.

Richten Sie KI-Governance-Prozesse ein 

Legen Sie Zuständigkeiten, Überprüfungsprozesse und die Rechenschaftspflicht für KI-bezogene Compliance-Entscheidungen fest.

Aufbau eines KI-Risikomanagement-Frameworks 

Erweitern Sie bestehende Qualitäts- und Risikomanagementprozesse, um KI-spezifische Risiken zu berücksichtigen.

Erstellung und Pflege der technischen Dokumentation 

Erstellen Sie die Dokumentation frühzeitig und halten Sie sie stets auf dem aktuellen Stand hinsichtlich des Systemdesigns, der Daten, der Tests und der Risikokontrollen.

Vorbereitung auf laufende Überwachung und Audits 

Richten Sie Prozesse ein, um die Leistung zu überwachen, Vorfälle zu untersuchen und die Compliance nach der Markteinführung nachzuweisen.

Empfehlungen der PTC zur Vorbereitung auf den EU AI Act

Zwar variieren die spezifischen Anforderungen des EU AI Act je nach Systemklassifizierung und organisatorischer Rolle, doch empfiehlt PTC, den Fokus auf die grundlegenden Funktionen zu legen, die die Compliance über den gesamten Produktlebenszyklus hinweg unterstützen. Für Hersteller von Medizinprodukten umfasst dies die Einrichtung klarer Steuerungs- und Verantwortungsstrukturen, die Gewährleistung einer lückenlosen Rückverfolgbarkeit, ein kontrolliertes Change Management sowie die Sicherstellung, dass Nachweise zur Compliance auch im Zuge der Weiterentwicklung der Produkte zugänglich bleiben.

Unternehmen, die mit einer vernetzten Grundlage für Anforderungen, Risiken, Qualität, Produktdaten und behördliche Dokumentation beginnen, sind besser aufgestellt, um neue KI-Compliance-Anforderungen zu erfüllen und gleichzeitig Innovationen in großem Maßstab zu fördern.

Entdecken Sie den intelligenten Produktlebenszyklus von PTC

Dieser lebenszyklusbasierte Ansatz steht im Einklang mit den Grundsätzen der IPL-Strategie von PTC.

Mehr erfahren

Den Schwerpunkt auf die Unternehmensführung legen, bevor die behördlichen Fristen ablaufen 

Während Hersteller ihre Bereitschaft prüfen, empfiehlt PTC, klare Zuständigkeiten für KI-bezogene Entscheidungen festzulegen, Prüf- und Genehmigungsprozesse zu definieren sowie ein Framework für die kontinuierliche Überwachung und Kontrolle zu schaffen. Die frühzeitige Umsetzung dieser Maßnahmen kann Unternehmen dabei helfen, ihre Audit-Bereitschaft zu verbessern, die Rückverfolgbarkeit zu stärken und sich auf sich wandelnde regulatorische Anforderungen vorzubereiten, während sich der Einsatz von KI in der gesamten MedTech-Industrie weiter ausbreitet.

Wichtigste Erkenntnisse 

Das EU AI Act führt neue Anforderungen ein, bekräftigt aber auch Grundsätze, die Medizinprodukteherstellern bereits gut bekannt sind: Risikomanagement, Rückverfolgbarkeit, Validierung und kontinuierliche Überwachung. Indem sie diese Fähigkeiten in den Produktlebenszyklus integrieren, können Hersteller die Compliance unterstützen und gleichzeitig vertrauenswürdige KI-Innovationen vorantreiben. Angesichts der weltweiten Weiterentwicklung der KI-Regulierung deuten das EU AI Act und neue Initiativen wie die gemeinsamen Grundsätze der FDA und der EMA für gute KI-Praxis ebenfalls auf eine stärkere internationale Angleichung hin. Hersteller, die diese Grundlage bereits jetzt schaffen, sind besser aufgestellt, um sich an sich ändernde Anforderungen anzupassen und KI-fähige Produkte mit Zuversicht auf den Markt zu bringen.

Entdecken Sie die MedTech-Compliance-Ressourcen von PTC, um zu erfahren, wie Unternehmen diese Infrastruktur mit speziell für den Medizintechniksektor entwickelten Tools aufbauen.