Закон о применении Регламента (ЕС) 2024/1689 Европейского парламента и Совета от 13 июня 2024 г. об установлении гармонизированных правил в сфере искусственного интеллекта и о внесении изменений в регламенты (ЕС) № 300/2008, (ЕС) № 167/2013, (ЕС) № 168/2013, (ЕС) 2018/858, (ЕС) 2018/1139 и (ЕС) 2019/2144, а также в директивы 2014/90/ЕС, (ЕС) 2016/797 и (ЕС) 2020/1828 (Закон о применении Регламента об искусственном интеллекте)

Begründung

A. Allgemeiner Teil

I.

Zielsetzung und Notwendigkeit der Regelungen

Am 1. August 2024 ist die Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates vom 13. Juni 2024 zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz und zur Änderung der Verordnungen (EG) Nr. 300/2008, (EU) Nr. 167/2013, (EU) Nr. 168/2013, (EU) 2018/858, (EU) 2018/1139 und (EU) 2019/2144 sowie der Richtlinien 2014/90/EU, (EU) 2016/797 und (EU) 2020/1828 (Verordnung über künstliche Intelligenz) (ABl. L, 2024/1689, 12.07.2024) in Kraft getreten.

Die Verordnung (EU) 2024/1689 legt einen einheitlichen Rechtsrahmen für die Entwicklung, das Inverkehrbringen, die Inbetriebnahme und die Verwendung von Systemen künstlicher Intelligenz (KI-Systeme) in der Europäischen Union fest. Sie verfolgt einen risikobasierten Ansatz und enthält insbesondere Verbote bestimmter Praktiken im KI-Bereich, besondere Anforderungen an Hochrisiko-KI-Systeme und Pflichten für Akteure in Bezug auf solche Systeme, Transparenzvorschriften für bestimmte KI-Systeme sowie Maßnahmen zur Innovationsförderung mit besonderem Augenmerk auf kleine und mittlere Unternehmen (KMU) und Start-up-Unternehmen sowie die anwendungsorientierte Forschung. Dadurch sollen ein einheitlicher Binnenmarkt für KI-gestützte Waren und Dienstleistungen geschaffen, Innovationen gefördert und gleichzeitig ein hohes Schutzniveau in Bezug auf Gesundheit, Sicherheit und die in der Charta der Grundrechte der Europäischen Union verankerten Grundrechte, einschließlich Demokratie, Rechtsstaatlichkeit und Umweltschutz, sichergestellt werden.

Die Regelungen der Verordnung (EU) 2024/1689 gelten grundsätzlich unmittelbar ab dem 2. August 2026. Zum Zwecke der Durchführung der Verordnung (EU) 2024/1689 muss jeder Mitgliedstaat bis zum 2. August 2025 mindestens eine notifizierende Behörde und mindestens eine Marktüberwachungsbehörde (darunter eine Marktüberwachungsbehörde, die als zentrale Anlaufstelle für die Verordnung (EU) 2024/1689 fungiert) als zuständige nationale Behörden einrichten oder benennen und entsprechend den Vorgaben der Verordnung (EU) Vorschriften für Sanktionen und andere Durchsetzungsmaßnahmen erlassen.

Gemäß der Verordnung (EU) 2024/1689 sind die notifizierenden Behörden für die Einrichtung und Durchführung der erforderlichen Verfahren zur Bewertung, Benennung und Notifizierung von Konformitätsbewertungsstellen und für deren Überwachung zuständig. Die Mitgliedstaaten können entscheiden, dass die Bewertung und Überwachung von einer nationalen Akkreditierungsstelle im Sinne und gemäß der Verordnung (EG) Nr. 765/2008 durchzuführen sind.

Die Marktüberwachungsbehörden führen die Tätigkeiten durch und ergreifen die Maßnahmen, die in der Verordnung (EU) 2019/1020 vorgesehen sind. Auch wenn unter bestimmten Voraussetzungen Abweichungen möglich sind, sieht die Verordnung (EU) 2024/1689 vor, dass bei Hochrisiko-KI-Systemen und damit in Zusammenhang stehenden Produkten, auf die die in Anhang I Abschnitt A der Verordnung (EU) 2024/1689 aufgeführten Harmonisierungsrechtsvorschriften der Europäischen Union Anwendung finden, als Marktüberwachungsbehörde die in jenen Rechtsakten für die Marktüberwachung benannte Behörde gilt. Bei Hochrisiko-KI-Systemen, die von auf der Grundlage des Unionsrechts im Bereich der Finanzdienstleistungen regulierten Finanzinstituten in Verkehr gebracht, in Betrieb genommen oder verwendet werden, gilt die in jenen Rechtsvorschriften für die Finanzaufsicht über diese Institute benannte nationale Behörde als Marktüberwachungsbehörde, sofern das Inverkehrbringen, die Inbetriebnahme oder die Verwendung des KI-Systems mit der Erbringung dieser Finanztätigkeiten in direktem Zusammenhang steht und keine andere einschlägige Behörde als

Marktüberwachungsbehörde benannt wird. Zudem gilt für die in Anhang III Nummer 1 der Verordnung (EU) 2024/1689 genannten Hochrisiko-KI-Systeme, sofern diese Systeme für Strafverfolgungszwecke, Grenzmanagement und Justiz und Demokratie eingesetzt werden, und für die in Anhang III Nummern 6, 7 und 8 der Verordnung (EU) 2024/1689 genannten Hochrisiko-KI-Systeme, dass die Mitgliedstaaten als Marktüberwachungsbehörden entweder die nach der Verordnung (EU) 2016/679 oder der Richtlinie (EU) 2016/680 für den Datenschutz zuständigen Aufsichtsbehörden oder jede andere Behörde gemäß denselben Bedingungen wie den in den Artikeln 41 bis 44 der Richtlinie (EU) 2016/680 festgelegten benennen. Marktüberwachungstätigkeiten dürfen in keiner Weise die Unabhängigkeit von Justizbehörden beeinträchtigen oder deren Handlungen im Rahmen ihrer justiziellen Tätigkeit anderweitig beeinflussen. Zudem dürfen Marktüberwachungstätigkeiten nicht das Steuergeheimnis verletzen oder die Handlungen der Finanzbehörden im Rahmen ihrer fiskalischen Tätigkeit beeinträchtigen oder anderweitig beeinflussen (Artikel 108 Absatz 1 und 2 GG). Die Koordinierung zwischen den auf der Grundlage der Verordnung (EU) benannten Marktüberwachungsbehörden und anderen nationalen Behörden und Stellen ist zu erleichtern (vgl. Artikel 74 Absatz 10 der Verordnung (EU) 2024/1689).

Die Verordnung (EU) 2024/1689 fügt sich als Produktregulierung in das allgemeine System der Marktüberwachung ein. Die Verordnung (EU) 2024/1689 gilt im Einklang mit der Verordnung (EG) Nr. 765/2008 des Europäischen Parlaments und des Rates vom 9. Juli 2008 über die Vorschriften für die Akkreditierung und Marktüberwachung im Zusammenhang mit der Vermarktung von Produkten und zur Aufhebung der Verordnung (EWG) Nr. 339/93 des Rates (ABl. L 218 vom 13.8.2008, S. 30), dem Beschluss Nr. 768/2008/EG des Europäischen Parlaments und des Rates vom 9. Juli 2008 über einen gemeinsamen Rechtsrahmen für die Vermarktung von Produkten und zur Aufhebung des Beschlusses 93/465/EWG des Rates (ABl. L 218 vom 13.8.2008, S. 82) und der Verordnung (EU) 2019/1020 des Europäischen Parlaments und des Rates vom 20. Juni 2019 über Marktüberwachung und die Konformität von Produkten sowie zur Änderung der Richtlinie 2004/42/EG und der Verordnungen (EG) Nr. 765/2008 und (EU) Nr. 305/2011 (ABl. L 169 vom 25.6.2019, S. 1) („neuer Rechtsrahmen“).

Dieser Entwurf steht im Kontext der Ziele der Resolution der Generalversammlung der Vereinten Nationen vom 25. September 2015 „Transformation unserer Welt: die UN- Agenda 2030 für nachhaltige Entwicklung“ und trägt insbesondere zur Erreichung der Nachhaltigkeitsziele „Sozialen Zusammenhalt in einer offenen Gesellschaft wahren und verbessern“ und „Bildung, Wissenschaft und Innovation als Treiber einer nachhaltigen Entwicklung nutzen“ bei.

II.

Wesentlicher Inhalt des Entwurfs

Der vorliegende Gesetzentwurf dient der Durchführung der Verordnung (EU) 2024/1689. Frist hierfür war der 2. August 2025. Mit Artikel 1 werden die für die Durchführung der Verordnung (EU) 2024/1689 zuständigen Behörden benannt, deren Aufgaben geregelt sowie Kooperationsvorschriften und die erforderlichen Vorschriften über das Bußgeldverfahren erlassen. Mit den Artikeln 2 bis 4 erfolgt die erforderliche Änderung einschlägiger Gesetze.

Ziel ist eine innovationsfreundliche und bürokratiearme Durchführung der Verordnung (EU) 2024/1689. Dabei kommt der Festlegung der nationalen Aufsichts- und Behördenstruktur in Artikel 1 eine wesentliche Bedeutung zu. Bei der Bundesnetzagentur (BNetzA) wird daher ein Koordinierungszentrum geschaffen, um alle Marktüberwachungsbehörden und notifizierenden Behörden bei ihren aus der Verordnung (EU) 2024/1689 resultierenden Aufgaben zu unterstützen. Dadurch wird KI-Expertise zentral gebündelt und ressourcenschonend den bestehenden Behörden bei Bedarf zur Verfügung gestellt.

Behörden, die bereits in vollharmonisierten Bereichen der Produktregulierung als Marktüberwachungsbehörden und notifizierende Behörden zuständig sind, sollen auch im Bereich der Verordnung (EU) 2024/1689 die für Marktüberwachung und Notifizierung zuständigen Behörden werden. Insoweit sollen die bestehenden Strukturen genutzt werden, da anderenfalls zulasten der betroffenen Unternehmen Doppelstrukturen geschaffen würden. Werden in diesem Bereich der vollharmonisierten Produkte relevante europäische Rechtsvorhaben verabschiedet, werden die dort geschaffenen Strukturen entsprechend auch für die Verordnung (EU) 2024/1689 zuständig (Zukunftsklausel). Das könnte in Zukunft Fälle des Anhang I Abschnitt B der Verordnung (EU) 2024/1689 (u.a. im Bereich Kraftfahrzeuge) betreffen. Dadurch wird bestehende sektorspezifische Expertise genutzt und für die Unternehmen bleibt es bei den bestehenden Behörden- und Aufsichtsstrukturen.

Das Gleiche gilt in den Bereichen, auf die durch die Verordnung (EU) 2024/1689 das System der Marktüberwachung erstreckt wird und in denen systematisch anders gelagerte Aufsichtsstrukturen teilweise schon bestehen (z.B. der Bereich der Medienaufsicht). Auch hier gilt, dass die Behörden aus den bestehenden Strukturen für die Marktüberwachung im Bereich der Verordnung (EU) 2024/1689 zuständig werden.

In Bereichen, in denen nicht auf bestehende Strukturen im Bereich der Produktregulierung oder andere bestehende Aufsichtsstrukturen zurückgegriffen werden kann oder muss, wird die Bundesnetzagentur zuständige Marktüberwachungsbehörde und notifizierende Behörde.

Werden KI-Systeme von öffentlichen Stellen der Länder in Verkehr gebracht, in Betrieb genommen oder verwendet, obliegt die Marktüberwachung den nach Landesrecht zu benennenden zuständigen Behörden.

Zusätzlich wird die Bundesnetzagentur für die Innovationsförderung im Bereich der künstlichen Intelligenz (insbesondere die Einrichtung und den Betrieb eines KI-Reallabors) zuständig.

Die Expertise anderer Behörden (insbesondere des Bundesamtes für Sicherheit in der Informationstechnik, des Bundeskartellamts und der Bundesbeauftragten für den Datenschutz und die Informationsfreiheit) wird Rahmen der jeweiligen Zuständigkeitsbereiche eingebunden.

Die zuständigen Behörden sorgen bei der Erfüllung ihrer Aufgaben nach diesem Gesetz für innovationsfreundliche und ressourcenschonende Prozesse. Prozesse, bei denen künstliche Intelligenz technisch verfügbar und wirtschaftlich sinnvoll vertrauenswürdig, sicher und ethisch vertretbar einsetzbar sind, sollen im Rahmen der gesetzlichen Anforderungen durch KI-Systeme automatisiert werden.

III.

Exekutiver Fußabdruck

Die Bundesregierung hat die allgemein zugänglichen und ihr unmittelbar zugeleiteten Stellungnahmen von Interessenvertreterinnen und Interessenvertretern ausgewertet und berücksichtigt. Eine Stellungnahme, die den Inhalt des Gesetzentwurfs wesentlich bestimmt hat, lag nicht vor.

IV.

Alternativen

Die Durchführung der Verordnung (EU) 2024/1689 ist zwingend. Insoweit gibt es keine Alternativen.

Für die Marktüberwachung ist geprüft worden, ob eine zentrale Behörde mit einer Zuständigkeit für alle KI-Systeme geschaffen werden sollte, ggf. durch einen Staatsvertrag, sowie ob eine Überwachung für alle Bereiche auf Länderebene erfolgen kann. Gegen erstgenannte Alternative sprechen vor allem Zeitgründe. Ein solcher Prozess wäre innerhalb der gesetzlichen Durchführungsfrist nicht abzuschließen. Gegen die zweite Alternative spricht, dass eine möglichst einheitliche Anwendung der Verordnung (EU) 2024/1689 Voraussetzung für Rechtssicherheit, grenzüberschreitende einheitliche Rechtanwendung und Innovationsförderung ist. Im Ergebnis werden diese Ziele am besten durch einen Ansatz erreicht, der die Nutzung bestehender Strukturen und Schaffung einer neuen zentralen Zuständigkeit bei der Bundesnetzagentur vereint, was eine weitergehende Bündelung mit anderen Digitalthemen im weiteren Verlauf einschließt. So ist zum Beispiel geplant, die Bundesnetzagentur auch als zentrale Aufsichtsbehörde für die Durchsetzung und Überwachung der Verordnung (EU) 2023/2854 des Europäischen Parlaments und des Rates vom 13. Dezember 2023 über harmonisierte Vorschriften für einen fairen Datenzugang und eine faire Datennutzung sowie zur Änderung der Verordnung (EU) 2017/2394 und der Richtlinie (EU) 2020/1828 (Datenverordnung) und – neben dem Statistische Bundesamt – als zuständige Behörde für die Durchführung der Verordnung (EU) 2022/868 des Europäischen Parlaments und des Rates vom 30. Mai 2022 über europäische Daten-Governance und zur Änderung der Verordnung (EU) 2018/1724 (Daten-Governance-Rechtsakt) einzusetzen.

Für den von Artikel 74 Absatz 8 der Verordnung (EU) 2024/1689 geforderten Bereich der völligen Unabhängigkeit der Marktüberwachung sind verschiedene Alternativen geprüft worden. So wäre es denkbar, die Marktüberwachung auf eine bereits eingerichtete Behörde (wie der Bundesbeauftragten für den Datenschutz und die Informationsfreiheit) zu übertragen. Hiergegen sprechen gewichtige Gründe:

Bei der Aufteilung der Zuständigkeiten auf verschiedene Behörden ergeben sich Abgrenzungsschwierigkeiten, die zu unklaren Zuständigkeiten und auseinanderfallenden Ansprechpartnern für Unternehmen und Verwaltungen führen können.

Unterschiedliche Auslegungen der Verordnung (EU) 2024/1689 durch verschiedene Behörden sollen vermieden werden. Die Gefahr einer unterschiedlichen Auslegung bestünde jedoch bei Benennung einer anderen Behörde als der Bundesnetzagentur, da sich die Datenschutzbehörden primär auf den Grundrechtsschutz fokussieren und keine Erfahrung im Bereich Produktregulierung haben. Die Verordnung (EU) 2024/1689 hat neben dem Grundrechtsschutz vor allem das Ziel, einheitliche Marktregeln und Rechtssicherheit zu schaffen, um Innovationen zu fördern.

Schließlich gibt es absehbar einen Mangel an KI-Fachkräften. Bei einer Aufteilung der Marktüberwachung auf verschiedene Behörden würden diese um knappe Ressourcen konkurrieren und müssten jeweils getrennt Kompetenzen aufbauen. Dies wäre ineffizient und unwirtschaftlich.

Auch für die Ausgestaltung der völligen Unabhängigkeit innerhalb der Bundesnetzagentur sind verschiedene Modelle geprüft worden, u.a. die Gewährleistung der Unabhängigkeit der Behörde als Ganzes oder die Schaffung einer völlig unabhängigen Abteilung innerhalb der Bundesnetzagentur. In der Abwägung zwischen rechtlichen Anforderungen und praktischer Durchführbarkeit ist die gefundene Lösung, die sich am Prinzip der bestehenden Beschlusskammern orientiert, am zweckdienlichsten.

V.

Gesetzgebungskompetenz

Die Gesetzgebungskompetenz des Bundes beruht im Schwerpunkt auf Artikel 74 Nummer 11 des Grundgesetzes (GG; Recht der Wirtschaft) in Verbindung mit Artikel 72 Absatz 2 GG und hinsichtlich der Bußgeldvorschriften (Teil 5 des KI-Marktüberwachungs-und- Innovationsförderungs-Gesetzes in Artikel 1 des Entwurfs) auf Artikel 74 Absatz 1 Nummer 1 GG (Strafrecht). Das vorliegende Gesetz dient der Durchführung der Verordnung (EU) 2024/1689, die Schwerpunkt als Produktregulierung wirtschaftsbezogene Anforderungen enthält. Die Voraussetzungen von Artikel 72 Absatz 2 GG liegen vor. Eine bundesgesetzliche Regelung ist hier im gesamtstaatlichen Interesse zur Durchführung der Verordnung (EU) 2024/1689 erforderlich, um ein einheitliches Vorgehen bei der Anwendung der EU-Regelungen innerhalb der Bundesrepublik Deutschland und damit zugleich die Wahrung der Rechts- und Wirtschaftseinheit sicherzustellen. Eine bundeseinheitliche Ausgestaltung der Durchführungsbestimmungen gewährleistet die Anwendung einheitlicher Maßstäbe bei der Aufsicht und Rechtsdurchsetzung hinsichtlich der Maßnahmen, die insbesondere Anbieter und Betreiber von KI-Systemen gemäß der Verordnung (EU) 2024/1689 ergreifen müssen, um KI-Systeme verordnungskonform in Verkehr zu bringen, in Betrieb zu nehmen und zu verwenden. Dem dient insbesondere das durch dieses Gesetz geschaffene Koordinierungs- und Kompetenzzentrum, das alle Marktüberwachungsbehörden und notifizierenden Behörden bei ihren aus der Verordnung (EU) resultierenden Aufgaben unterstützen soll. Zudem wird die Bundesnetzagentur nach diesem Gesetz bundesweit für die Innovationsförderung im Bereich der künstlichen Intelligenz zuständig. Das Regelungsziel einer innovationsfreundlichen Durchführung der Verordnung (EU) 2024/1689 macht eine bundesgesetzliche Regelung erforderlich.

Die Gesetzgebungskompetenz des Bundes für Artikel 2 ergibt sich aus Artikel 74 Absatz 1 Nummer 1 (Strafrecht, gerichtliches Verfahren), Nummer 11 (Recht der Wirtschaft) des Grundgesetzes (GG) in Verbindung mit Artikel 72 Absatz 2 GG, Artikel 74 Absatz 1 Nummer 12 (Arbeitsrecht) GG, sowie ergänzend als Annexkompetenz des Bundes zu den jeweiligen vom sachlichen Anwendungsbereich des Gesetzentwurfs berührten Gesetzgebungszuständigkeiten des Bundes nach Artikel 73 und 74 GG.

Die Gesetzgebungskompetenz des Bundes für Artikel ergibt sich kraft Sachzusammenhangs aus Artikel Absatz Nummer (Arbeitsrecht, Sozialversicherung) beziehungsweise Artikel 74 Absatz 1 Nummer 7 GG (öffentliche Fürsorge) in Verbindung mit Artikel 72 Absatz 2 GG).

VI.

Vereinbarkeit mit dem Recht der Europäischen Union und völkerrechtlichen

Verträgen

Das vorliegende Gesetz ist mit dem Recht der Europäischen Union und mit völkerrechtlichen Verträgen, die die Bundesrepublik abgeschlossen hat, vereinbar. Es dient der Durchführung der Verordnung (EU) 2024/1689.

VII.

Gesetzesfolgen

1.

Rechts- und Verwaltungsvereinfachung

Es werden keine bestehenden Regelungen vereinfacht oder aufgehoben. Mit der Schaffung einer Behördenstruktur für die Durchführung der Verordnung (EU) 2024/1689 und der Formulierung von Vorschriften für die Zusammenarbeit und Kooperation der Behörden wird das Ziel verfolgt, eine möglichst einheitliche und praktikable Rechtsanwendung zu erreichen und damit den Verwaltungsaufwand für die Durchsetzung der Verordnung (EU) 2024/1689 bei allen zuständigen Behörden so gering wie möglich zu halten. Diesem Ziel dient auch die weitestmögliche Bündelung von KI-Kompetenz und Ressourcen.

2.

Nachhaltigkeitsaspekte

Das Gesetz steht im Einklang mit der Nachhaltigkeitsstrategie der Bundesregierung. Es dient der Durchführung der Verordnung (EU) 2024/1689. Zweck der Verordnung (EU) 2024/1689 ist es, das Funktionieren des Binnenmarkts zu verbessern und die Einführung einer auf den Menschen ausgerichteten und vertrauenswürdigen künstlichen Intelligenz (KI) und damit verbundene Innovationen zu fördern. Gleichzeitig soll ein hohes Schutzniveau in Bezug auf Gesundheit und Sicherheit und die in der Charta verankerten Grundrechte gewährleistet werden.

Die Verordnung (EU) 2024/1689 fördert das reibungslose Funktionieren des Binnenmarktes, indem sie einen horizontalen Rechtsrahmen für KI-Modelle und -Systeme schafft. Die Regelungen des Gesetzentwurfs dienen den Zielen der Deutschen Nachhaltigkeitsstrategie. Insbesondere soll der Entwurf zu einem stetigen und angemessenen Wirtschaftswachstum (vgl. Deutsche Nachhaltigkeitsstrategie der Bundesregierung, Indikator 8.4) beitragen, indem die Voraussetzungen für einen wirksamen Wettbewerb gestärkt werden. Die Etablierung verlässlicher rechtlicher Rahmenbedingungen fördert zudem Innovationen, die es ermöglichen, die Zukunft mit neuen Lösungen nachhaltig zu gestalten (Nachhaltigkeitsstrategie, Ziel 9).

Der Entwurf folgt damit insbesondere den Nachhaltigkeitsprinzipien „Sozialen Zusammenhalt in einer offenen Gesellschaft wahren und verbessern“ und „Bildung, Wissenschaft und Innovation als Treiber einer nachhaltigen Entwicklung nutzen“.

3.

Haushaltsausgaben ohne Erfüllungsaufwand a. Bundesnetzagentur

Aufgrund der Neuregelungen entstehen der Bundesnetzagentur jährliche Personaleinzelkosten für die Wahrnehmung der Fachaufgaben in Höhe von insgesamt

3 678 000 Euro, Sacheinzelkosten in Höhe von 1 137 000 Euro sowie Gemeinkosten in Höhe von 1 416 000 Euro; diese Kosten gelten ab dem Jahr 2026 und sind – vorbehaltlich einer anderweitigen Evaluierung – für die folgenden Jahre gleichbleibend.1

Nach den Ergebnissen zur Ermittlung und Darstellung des Erfüllungsaufwands sind für die Wahrnehmung der Fachaufgaben insgesamt 33,2 Planstellen erforderlich (23 im höheren Dienst (hD), 7,7 im gehobenen Dienst (gD) und 2,5 im mittleren Dienst (mD)), für den Querschnittsbereich werden weitere 9,8 Planstellen benötigt (6,8 hD, 2,3 gD und 0,7 mD).

hD gD

Fachbereich 7,7 2,5 33,2

Querschnittsbereich

6,8 2,3 0,7 9,8

Gesamt

29,8 3,2

Damit ergeben sich über die nächsten vier Haushaltsjahre folgenden Bedarfe.

In Tsd. Euro

BNetzA Personaleinzelkosten 3 678 3 678 3 678 3 678

BNetzA Sacheinzelkosten 1 137 1 137 1 137 1 137

BNetzA Gemeinkosten 1 416 1 416 1 416 1 416 einmalige Sachkosten 1 000 1 000 1 000 lfd. Sachkosten 6 300 6 300 6 300 6 300

Gesamtkosten

13 531 13 531 13 531 12 531

Die Personalund Sacheinzelkosten für den Querschnittsbereich (u. a. Personalverwaltung, IT-Management, Beschaffungswesen, Pressearbeit) sind Gemeinkostenzuschlag auf die jährlichen Personal- und Sacheinzelkosten für die Fachaufgaben enthalten. Die Kosten wurden auf Grundlage des Rundschreibens für Wirtschaftlichkeitsuntersuchungen und Kostenberechnungen des Bundesministeriums der Finanzen vom 23. Juni 2025 (Gz.: II A 3 – H 1012/00236/007/015) ermittelt. Die Berechnungen des personellen Mehrbedarfs sind vor dem Hintergrund der in Abschnitt A Ziffer VIII der Begründung vorgesehenen Evaluierung zu sehen, die ggfs. eine bedarfsorientierte Nachsteuerung der Kapazitäten notwendig macht.

Es entstehen einmalige Sachkosten in Höhe von 3 000 000 Euro und laufende Sachkosten in Höhe von 6 300 000 Euro insbesondere für den Betrieb und die Weiterentwicklung erforderlicher IT-Verfahren, den Betrieb eines KI-Reallabors sowie die Sämtliche in diesem Kapitel aufgeführten Kosten wurden auf Grundlage des Rundschreibens für Wirtschaftlichkeitsuntersuchungen und Kostenberechnungen des Bundesministeriums der Finanzen vom 23. Juni 2025 (Gz.: II A 3 – H 1012/00236/007/015) ermittelt.

Schnittstellenbereitstellung zur EU-Datenbank. Im Zusammenhang mit der Datenbank ist bei der Verarbeitung der Daten Vertraulichkeit gemäß Artikel 78 der Verordnung (EU) 2024/1689 herzustellen. In diesem Zusammenhang muss eine digitale VS-Registratur aufgebaut und betrieben werden. Zudem ist der Aufbau und Betrieb einer zentralen Beschwerdestelle und eines Koordinierungs- und Kompetenzzentrums für Fragen von nationalen Marktüberwachungs- und notifizierenden Behörden zum Thema KI erforderlich. Damit das Koordinierungsund Kompetenzzentrumentsprechend Fachexpertise bereitstellen kann, muss ergänzend auf externe Sachverständige zurückgegriffen werden, da die horizontalen Anforderungen an KI nicht ohne externe Fachexpertise nachvollzogen werden können. Oft verfügt internes Personal über breites Wissen, aber es mangelt an der Spezialisierung in spezifischen KI-Bereichen. In den einzelnen Bereichen der 20 Harmonisierungsvorschriften aus Anhang I muss ein weites Feld mit rasanter Entwicklung abgedeckt werden. Hierfür muss sektoral spezifische KI-Kompetenz entwickelt werden. Zwar ist teilweise damit zu rechnen, dass die Implementierung von KI-Systemen in der Verwaltung mittelfristig zu Effizienzen und einer Fokussierung auf Kernaufgaben führt. Allerdings muss neue Kompetenz in neuen technologischen Bereichen zunächst aufgebaut werden. Mittelfristig dürfte damit ein geringerer Bedarf für die Einbindung externer Sachverständiger verbunden sein.

Die Marktüberwachung prüft Produkte bei Akteuren in Zusammenarbeit mit dem Zoll, im Internet in Zusammenarbeit mit Online-Plattformen und mittels anonymer Testeinkäufe von Produkten, sowohl im Bereich E-Commerce als auch in einzelnen Geschäften. Damit sichere Produkte auf dem Markt zur Verfügung stehen, muss die Marktüberwachung mit entsprechenden Werkzeugen, wie Testsoftware oder Testlaboren, ausgestattet werden, um die Produkte auf ihre Konformität hin zu überprüfen.

In der Verordnung (EU) 2024/1689 ist die Einrichtung mindestens eines nationalen KI- Reallabors bis zum 2. August 2026 vorgesehen. Detaillierte Regelungen für dessen Einrichtung, Entwicklung, Umsetzung, Betrieb und Beaufsichtigung müssen noch durch die Europäische Kommission im Rahmen eines Durchführungsrechtsakts festgelegt werden.

Die Sachkostenschätzung für das nationale KI-Reallabor hängt maßgeblich vom Umfang des angestrebten Angebots ab. Vorliegend wird davon ausgegangen, dass lediglich eine regulatorische Begleitung ohne zusätzliche Leistung, wie etwa die Bereitstellung von technischer Infrastruktur und Daten im KI-Reallabor, stattfindet.

Nach einer ersten Phase mit dem Schwerpunkt auf Aufbau und Erprobung (2026-2030) muss die Schätzung der Sachkosten erneut überarbeitet werden. Dabei sollen mögliche Veränderungen berücksichtigt werden – etwa beim Bedarf an externer Expertise (zum Beispiel ein geringerer Bedarf durch den Aufbau interner Kompetenzen), beim Leistungsumfang des KI-Reallabors (z. B. nur Begleitung von Trainings und Tests oder zusätzlich auch Tests unter realen Bedingungen) sowie bei der Anzahl der Teilnehmenden.

b. Bundesanstalt für Finanzdienstleistungsaufsicht

Für Kosten, die der Bundesanstalt für Finanzdienstleistungsaufsicht aus ihrer Zuständigkeit nach diesem Gesetz entstehen, gelten die Regelungen des Gesetzes über die Bundesanstalt für Finanzdienstleistungsaufsicht (Finanzdienstleistungsaufsichtsgesetz – FinDAG, siehe Artikel 3).

c. Bundesamt für Sicherheit in der Informationstechnik

Aufgrund der Neuregelungen dieses Gesetzes und der damit einhergehenden Übertragung neuer Aufgaben entstehen bei dem Bundesamt für Sicherheit in der Informationstechnik zusätzliche Personalkosten. Für die Wahrnehmung der neuen Fachaufgaben sind insgesamt 13 Stellen / Planstellen (11 hD, 1 gD, 1 mD) erforderlich.

Hieraus resultieren voraussichtlich jährliche Personalkosten in Höhe von 1 511 000 Euro, Sacheinzelkosten in Höhe von 445 000 Euro sowie Gemeinkosten in Höhe von 575 000 Euro.

d. Zentrale Stelle für Informationstechnik im Sicherheitsbereich

Aufgrund der Neuregelungen dieses Gesetzes und der damit einhergehenden Übertragung neuer Aufgaben entstehen bei der Zentralen Stelle für Informationstechnik im Sicherheitsbereich zusätzliche Personalkosten für die Algorithmenbewertungsstelle für Behörden und Organisationen mit Sicherheitsaufgaben (ABOS). ABOS berät zu KI- Systemen im sicherheitsbehördlichen Kontext, begleitet beratend Erprobungen sowie Tests nach Maßgabe dieses Gesetzes und wirkt aktiv in der Standardisierung mit. Für die Wahrnehmung der neuen Fachaufgaben sind insgesamt 8 Stellen / Planstellen (5 hD, 3 gD) erforderlich. Hieraus resultieren voraussichtliche jährliche Personalkosten in Höhe von 872 000 Euro, Sacheinzelkosten in Höhe von 274 000 Euro sowie Gemeinkosten in Höhe von 337 000 Euro.

Hinzu kommen einmalige Sachkosten in Höhe von 850 000 Euro. Der einmalige Sachaufwand ist erforderlich für die Beschaffung von technischer Ausstattung (z.B. leistungsfähiger Workstations) einschließlich spezialisierter Analyseund Dokumentationswerkzeuge.

e. Bundesbeauftragte für den Datenschutz und die Informationsfreiheit

Durch die Zusammenarbeit mit der Bundesnetzagentur nach § 9 dieses Gesetzes entstehen der Bundesbeauftragten für den Datenschutz und die Informationsfreiheit zusätzliche Personalbedarfe im höheren Dienst. Die vorgesehene Einbeziehung der Datenschutzbeauftragten begründet neue Fachaufgaben durch regelmäßigen, strukturierten Austausch zu aufsichtsrelevanten Fragestellungen, insbesondere zur Abgrenzung und Koordinierung der jeweiligen Zuständigkeiten. Darüber hinaus sollen gemeinsame Leitfäden erarbeitet werden, um Behörden, Unternehmen und sonstigen Verpflichteten praxisnahe Orientierung zu Anwendung der KI-VO im Zusammenspiel mit dem Datenschutzrecht zu geben. Ferner sind gemeinsame Leitlinien zur einheitlichen Auslegung und Durchsetzung der einschlägigen Vorschriften angezeigt, um divergierende Verwaltungspraxis zu vermeiden. Schließlich umfasst die künftige Zusammenarbeit die gemeinsame Besprechung komplexer Einzelfälle mit dem Ziel kohärenter einheitlicher Rechtsanwendung im KI-Bereich. Nach den Ergebnissen zur Ermittlung und Darstellung des Erfüllungsaufwands sind für die Wahrnehmung der Fachaufgaben insgesamt 4,6 Planstellen im höheren Dienst (hD), erforderlich.

Für die Wahrnehmung der Fachaufgabe entstehen jährlich Personalausgaben in Gesamthöhe von 1 033 000 Euro. Diese setzten sich aus Personaleinzelkosten in Höhe von 596 000 Euro, Sacheinzelkosten in Höhe von 158 000 Euro sowie Gemeinkosten in Höhe von 279 000 Euro zusammen. Die Kosten gelten ab dem Jahr 2026 und sind vorbehaltlich einer anderweitigen Evaluierung - für die folgenden Jahre gleichbleibend.

f. Bundesanstalt für Arbeitsschutz und Arbeitsmedizin

Aufgrund der Neuregelungen dieses Gesetzes und der damit einhergehenden Übertragung neuer Aufgaben nach § 7 Absatz 1 und 2 entstehen bei der Bundesanstalt für Arbeitsschutz und Arbeitsmedizin zusätzliche Personalkosten. Für die Wahrnehmung der neuen Fachaufgaben sind nach den Ergebnissen zur Ermittlung und Darstellung des Erfüllungsaufwands insgesamt 5 Planstellen (1 hD, 4 gD) erforderlich. Hieraus resultieren voraussichtliche jährliche Personalgesamtkosten in Höhe von 773 052 Euro und Sachgesamtkosten in Höhe von 221 598 Euro. Daraus ergeben sich Gesamtkosten in Höhe von 994 649 Euro. Diese Kosten gelten ab dem Jahr 2027 und sind – vorbehaltlich einer anderweitigen Evaluierung – für die folgenden Jahre gleichbleibend.

g. Kostentragung

Der stellenmäßige Mehrbedarf in dem unter der Fachaufsicht des BMDS stehenden Bereichs der Bundesnetzagentur soll im Einzelplan des zuständigen Ressorts ausgeglichen werden. Der finanzielle Mehrbedarf soll im Einzelplan 24 des Bundesministeriums für Digitales und Staatsmodernisierung ausgeglichen werden.

Im Übrigen soll der hier durch die Durchführung der Verordnung (EU) 2024/1689 entstehende Mehrbedarf an Sach- und Personalmitteln im Bereich des Bundes finanziell und stellenmäßig im jeweils betreffenden Einzelplan ausgeglichen werden. Über die Einzelheiten wird im Rahmen der jeweiligen Haushaltsaufstellungsverfahren der kommenden Jahre entschieden.

4.

Erfüllungsaufwand a. Kurzbeschreibung

Die Verpflichtungen für die Wirtschaft und die Bürgerinnen und Bürger ergeben sich aus der unmittelbar geltenden Verordnung (EU) 2024/1689. Mit diesem Durchführungsgesetz werden für sie keine neuen Verpflichtungen geschaffen, sondern lediglich die zuständigen Behörden benannt und deren Aufgaben und Zusammenarbeit geregelt. Ein Erfüllungsaufwand ergibt sich daher aus diesem Gesetz nicht für die Wirtschaft und die Bürgerinnen und Bürger.

Vor dem Hintergrund des weit gefassten horizontalen Regulierungsansatzes, der komplexen Regelungsmaterie sowie des dynamisch wachsenden Marktumfeldes im Bereich der künstlichen Intelligenz ist die Ermittlung der Ressourcen zur Anwendung und Durchsetzung der KI-Verordnung mit zahlreichen Unsicherheiten behaftet, wodurch ggfs. eine spätere bedarfsorientierte Nachsteuerung der Kapazitäten erforderlich wird. Die Beurteilung eines notwendigen Mehrbedarfs ist insbesondere nach Durchführung der vorgesehenen Evaluierungen durch den europäischen und nationalen Gesetzgeber möglich und sollte mit diesen verknüpft werden. (vgl. Abschnitt A Ziffer VIII der Begründung).

b. 1:1-Umsetzung von EU-Recht

Nach dem Verursacherprinzip wird die Belastung der Ebene zugeschrieben, die die Regelung zuerst eingeführt hat (nach Beschlussdatum). Das bedeutet, dass die reine Überführung einer Regelung aus einer EU-Verordnung ins Bundesrecht keine Aufwandsänderung der Normadressaten verursacht. Neben dem Normadressaten Wirtschaft (bei diesem in Gänze) entstehen durch die KI-VO auch für die Verwaltung Aufwände, welche dieser 1:1-Umsetzung zuzuordnen sind. Für diese Vorgaben, die vom Rahmen der EU-Verordnung abgedeckt sind, entsteht kein Erfüllungsaufwand aufgrund der Bundesgesetzgebung. Folglich werden diese Vorgaben in der Schätzung nicht aufgeführt. Dies betrifft beispielsweise viele Aufwände für KI-Reallabore (Artikel 57 ff. KI-VO) oder im Kontext von Hochrisiko-KI-Systemen (Artikel 16, 26, 27, 49, 60, 84 i.V. mit den Anhängen der KIVO).

Erfüllungsaufwand im Sinne dieser Schätzung entsteht nur dort, wo der nationale Gesetzgeber Konkretisierungen vornimmt und beispielsweise eine Behörde benennt (z.B. die BNetzA in § 2 Absatz 1 KI-MIG). In einem solchen Fall ist die Bundesregierung als Verursacher zu betrachten und die Regelung mit einer Änderung des Erfüllungsaufwands verbunden.

c. Aufwände der Länder

Der im Folgenden ausgewiesene Erfüllungsaufwand der Bundesländer basiert auf einer Hochrechnung. In der Feldphase konnte ein Großteil der Bundesländer befragt werden. Diese befragten Länder stehen für 76,5% aller Marktüberwachungstätigkeiten aller Länder. Davon ausgehend wurde der Aufwand auf die Grundgesamtheit aller Bundesländer hochgerechnet. Deshalb ist hier die Fallzahl bei 1. Der ausgewiesene Aufwand im gehobenen sowie im höheren Dienst ist somit ebenso äquivalent zur Relation der befragten Länder.

Darüber hinaus gibt es mit der Zentralstelle der Länder noch eine Einrichtung, die in Vorgabe 2 aufgeführt ist. Diese erfüllt die Aufgaben in diesem Bereich für alle Bundesländer. Dieser Aufwand wurde dementsprechend nicht hochgerechnet.

d. Aufwände der Bundesbehörden

Vielfach wurden die Aufwände der Bundesbehörden mit einer Fallzahl von 1 ausgewiesen. Dies ist durch verschiedene Faktoren bedingt. Zum einen fiel es den Behörden schwer den Aufwand konkret zu schätzen, da oftmals keine vergleichbaren Vorgänger etabliert sind mit denen der neue KI-Bereich vergleichbar ist und dementsprechend Vorerfahrungen für Einschätzungen fehlten. Hier wurden oftmals Prozesse geschätzt, die auch mehrere Fälle beinhalten können (bspw. Parallelbearbeitung). Darüber hinaus gibt es eine große Heterogenität zwischen den Fällen, wodurch eine valide Darstellung eines typischen Einzelfalles nicht möglich ist. Des Weiteren fallen die Sachkosten meistens insgesamt (bspw. IT-Infrastruktur) an und nicht für die jeweiligen Einzelfälle.

Eine Darstellung des Einzelfalles wäre in diesen Fällen nur scheingenau.

e. Überblick der Erfüllungsaufwandsänderungen

Erfüllungsaufwand der Verwaltung lfd. Nr.

Artikel Regelungsentwurf; Norm (§§); Bezeichnung der Vorgabe

Bund/ Land

Jährliche Fallzahl und Einheit

Jährlicher Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Jährlicher Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)“

Einmalige Fallzahl und Einheit

Einmaliger Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Einmaliger Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)

1.1

§ 2 i.V. m §§

4, 9 KI-MIG;

Marktüberwachung für KI-Systeme (Neu)

Bund 1 BNetzA

5.799.971 Euro = (1.708.800 / 60 * 59,69 Euro/h (9% mD; 18% gD; 73% hD) +4.100.000 Euro)

5.800 1.0 BNetzA

3.000.000 Euro = (0 +3.000.000 Euro)

3.000

1.2

§ 2 i.V. m §§

4, 9 KI-MIG;

Marktüberwachung für KI-Systeme (Neu)

Bund 1 BaFin

2.105.264 Euro = (1.879.980 / 60 * 67,19 Euro/h (1% mD; 99% hD))

2.105 1.0 BaFin

160.767,4 Euro = (142.693 / 60 * 67,60 Euro/h (100% hD))

1.3

§ 2 i.V. m §§

4, 9 KI-MIG;

Marktüberwachung für KI-Systeme (Neu)

Land 1 Länder

26.136.587 Euro = (16.521.605 / 60 * 46,81 Euro/h (86% gD; 14% hD) +13.246.981 ,78 Euro)

26.136 1.0 Länder 2.614 Euro = (0 +2.614 Euro)

§ 2 Abs. 7 KI- MIG; Marktüberwachung für KI- Systeme (Neu)

Land 1 LMAs

621.000 Euro = (0 +621.000 Euro)

lfd. Nr.

Artikel Regelungsentwurf; Norm (§§); Bezeichnung der Vorgabe

Bund/ Land

Jährliche Fallzahl und Einheit

Jährlicher Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Jährlicher Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)“

Einmalige Fallzahl und Einheit

Einmaliger Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Einmaliger Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)

3.1

§ 3 KI-MIG;

Befugniserteilung und Notifizierung (Neu)

Bund 1 BNetzA

108.160 Euro = (96.000 / 60 * 67,60 Euro/h (100% hD))

3.2

§ 3 KI-MIG;

Befugniserteilung und Notifizierung (Neu)

Bund

1 BSI

86.803 Euro = (82.788 / 60 * 62,91 Euro/h (8% mD; 8% gD; 85% hD))

§ 5 KI-MIG;

Aufwände im Kontext der Algorithmenbewertungsstelle für Behörden und Organisationen mit Sicherheitsaufgaben (ABOS) (Neu)

Bund 1 ZITIs

1.008.720 Euro = (768.000 / 60 * 57,40 Euro/h (38% gD; 63% hD) +274.000 Euro)

1.009 1 ZITIs

850.000 Euro = (0 +850.000 Euro)

§ 5 BNetzA; Einrichtung eines Koordinierungsund Kompetenzzentrums (Ko- KIVO) (Neu)

Bund 1 BNetzA

432.640 Euro = (384.000 / 60 * 67,60 Euro/h (100% hD))

§ 6 KI-MIG;

Zentrale Anlaufstelle (Neu)

Bund 1 BNetzA

156.632 Euro = (168.000 / 60 * 55,94 Euro/h (43% gD; 57% hD))

§ 7 KI-MIG;

Unterrichtungen der Marktüberwachungsbehörden (Neu)

Land 1 Länder

693.443 Euro = (217.748 / 60 * 50,25 Euro/h (73% gD; 27% hD) +511.079 Euro)

lfd. Nr.

Artikel Regelungsentwurf; Norm (§§); Bezeichnung der Vorgabe

Bund/ Land

Jährliche Fallzahl und Einheit

Jährlicher Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Jährlicher Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)“

Einmalige Fallzahl und Einheit

Einmaliger Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Einmaliger Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)

7.1 § 7 Abs. 1 und 2 KI- MIG; Unterrichtungen der Marktüberwachungsbehörden

Bund 1 BAuA 366.720 Euro = (480.000 / * 45,84 Euro/h (80% gD; 20% hD))

§ 8 KI-MIG;

Beschwerdenmanagement (Neu)

Bund 1 BNetzA

433.152 Euro = (552.960 / 60 * 47,00 Euro/h (14% mD; 58% gD; 28% hD))

9.1

§ 9 KI-MIG;

Zusammenarbeit der zuständigen Behörden (Neu)

Bund

1 BSI

900.401 Euro = (858.752 / 60 * 62,91 Euro/h (8% mD; 8% gD; 85% hD))

9.2

§ 9 KI-MIG;

Zusammenarbeit der zuständigen Behörden (Neu)

Bund 10 BaFin

3.324 Euro = (2.950 / 60 * 67,60 Euro/h (100% hD))

9.3

§ 9 KI-MIG;

Zusammenarbeit der zuständigen Behörden (Neu)

Bund

1 ADS

248.640 Euro = (240.000 / 60 * 62,16 Euro/h (20% gD; 80% hD))

9.4

§ 9 KI-MIG;

Zusammenarbeit der zuständigen Behörden (Neu)

Bund 1 BfDI

497.536 Euro = (441.600 / 60 * 67,60 Euro/h (100% hD))

1 BfDI

37.180 Euro = (33.000 / 60 * 67,60 Euro/h (100% hD))

9.5

§ 9 KI-MIG;

Zusammenarbeit der zuständigen

Land 1 Länder

5.222.742 Euro = (5.261.236 / 60 * 47,29 Euro/h (84%

5.222 1 Länder 13.725 Euro = (0 +13.725 Euro)

lfd. Nr.

Artikel Regelungsentwurf; Norm (§§); Bezeichnung der Vorgabe

Bund/ Land

Jährliche Fallzahl und Einheit

Jährlicher Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Jährlicher Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)“

Einmalige Fallzahl und Einheit

Einmaliger Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Einmaliger Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)

Behörden (Neu)

gD; 16% hD) +1.076.011 Euro)

§ 10 KI-MIG;

Zusammenarbeit der Marktüberwachungsbehörden mit dem BSI (Neu)

Bund

1 BSI

321.323 Euro = (306.460 / 60 * 62,91 Euro/h (8% mD; 8% gD; 85% hD))

§ 12 KI-MIG;

Innovationsfördernde Maßnahmen (Neu)

Bund 1 BNetzA

178.514 Euro = (184.320 / 60 * 58,11 Euro/h (35% gD; 65% hD))

§ 13 KI-MIG;

Wahrnehmung von Aufsichtsaufgaben im KI-Reallabor (Neu)

Bund 1 BNetzA

2.541.898 Euro = (319.680 / 60 * 64,17 Euro/h (13% gD; 87% hD) +2.200.000 Euro)

2.542

13.

§ 14 KI-MIG;

Test von Hochrisiko- KI-Systemen (Neu)

Bund 1 BNetzA

535.164 Euro = (552.000 / 60 * 58,17 Euro/h (17% mD; 13% gD; 70% hD))

13.

§ 14 KI-MIG;

Test von Hochrisiko- KI-Systemen (Neu)

Land 1 Länder

293.624 Euro = (153.833 / 60 * 68,74 Euro/h (2% gD; 98% hD) +117.383 Euro)

1 Länder

7.079,6 Euro = (3.137 / 60 * 43,20 Euro/h (100% gD) +4.821 Euro)

14.

§ 17 KI-MIG;

Für das Bußgeldverfahren zuständigen

Bund 1 BNetzA

143.424 Euro = (159.360 / 60 * 54,00 Euro/h (50% gD; 50% hD))

lfd. Nr.

Artikel Regelungsentwurf; Norm (§§); Bezeichnung der Vorgabe

Bund/ Land

Jährliche Fallzahl und Einheit

Jährlicher Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Jährlicher Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)“

Einmalige Fallzahl und Einheit

Einmaliger Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Einmaliger Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)

Verwaltungsbehörden (Neu)

14.

§ 17 KI-MIG;

Für das Bußgeldverfahren zuständigen Verwaltungsbehörden (Neu)

Land 1 Länder 10.333 Euro = (0 +10.333 Euro)

1 Länder 4.653 Euro = (0 +4.653 Euro)

Summe (in Tsd. Euro)

48.997 4.076 davon auf Bundesebene

15.898 4.048 davon auf Landesebene (inklusive Kommunen)

33.099

*Spiegelvorgaben werden in der Spalte 'Artikel Regelungsentwurf; Norm (§§); Bezeichnung der Vorgabe' einheitlich gekennzeichnet.

f. Erläuterung der Erfüllungsaufwandsänderungen ausgewählter Vorgaben nach Normadressat

Vorgabe 1: Marktüberwachung nach § 2 KI-MIG

Veränderung des jährlichen Erfüllungsaufwands des Bundes:

Erfüllungsaufwand der Verwaltung lfd. Nr.

Artikel Regelungsentwurf; Norm (§§); Bezeichnung der Vorgabe

Bund/ Land

Jährliche Fallzahl und Einheit

Jährlicher Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Jährlicher Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)“

Einmalige Fallzahl und Einheit

Einmaliger Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Einmaliger Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)

1.1

§ 2 i.V. m §§

4, 9 KIMIG;

Marktüberwachung für KI-Systeme (Neu)

Bund

1.0 BNetzA

5.799.971 Euro = (1.708.800 / 60 * 59,69 Euro/h (9% mD; 18% gD; 73% hD) +4.100.000 Euro)

5.800 1.0 BNetzA

3.000.000 Euro = (0 +3.000.000 Euro)

3.000

1.2

§ 2 i.V. m §§

4, 9 KI-MIG;

Marktüberwachung für KI-Systeme (Neu)

Bund

1.0 BaFin

2.105.264 Euro = (1.879.980 / 60 * 67,19 Euro/h (1% mD; 99% hD))

2.105 1.0 BaFin

160.767 Euro = (142.693 / 60 * 67,60 Euro/h (100% hD))

1.3

§ 2 i.V. m §§

4, 9 KI-MIG;

Marktüberwachung für KI-Systeme (Neu)

Land

1.0 Länder

26.136.587

Euro = (16.521.605 / 60 * 46,81 Euro/h (86% gD; 14% hD) +13.246.981 ,78 Euro)

26.136 1.0 Länder

2.614 Euro = (0 +2.614 Euro)

Summe (in Tsd. Euro)

34.042 3.163 davon auf Bundesebene

7.905 3.161 davon auf Landesebene (inklusive Kommunen)

26.136

Aus § 2 ergeben sich Aufwände für die Marktüberwachungsbehörden. Hiervon ist auf Bundesebene zum großen Teil die Bundesnetzagentur betroffen, welche in § 2 Absatz 1 KI-MIG explizit als Marktüberwachungsbehörde gemäß Artikel 70 Absatz 1 Satz 1 der Verordnung (EU) 2024/1689 benannt wird. Deren einmalige Sachkosten ergeben sich aus der Einrichtung eines geeigneten IT-Systems. Die Personalaufwände entstehen aus der Wahrnehmung der Fachaufgaben der Marktüberwachung Die jährlichen Sachkosten ergeben sich aus dem Betrieb des IT-Systems, KI-spezifischen Schulungen und Netzwerkarbeit.

Darüber hinaus entstehen auch für die Bundesanstalt für Finanzdienstleistungsaufsicht Aufwände. Im Detail resultieren die jährlichen Aufwände aus der Analyse und Auswertung von Unterlagen, Inspektionen oder der Einforderung von Informationen. Des Weiteren kann es zu Ermittlungen kommen, um Verstöße festzustellen, was darüber hinaus die Einforderung und Überprüfung von Korrekturmaßnahmen zur Folge haben kann. Die einmaligen Kosten entstehen durch die Schaffung interner Strukturen und organisatorischer Rahmenbedingungen sowie durch den Aufbau von KI-Kompetenz.

Den Ländern entstehen Aufwände durch die Einbeziehung ihrer Marktüberwachungsbehörden, die in § 2 Absatz 2 explizit benannt werden und zur Ausführung von Aufgaben nach der in Anhang I Abschnitt A der Verordnung (EU) genannten Harmonisierungsrechtsvorschriften bestimmt wurden. So übernehmen die Landesbehörden, die bereits für die Marktüberwachung in bestimmten Produktbereichen zuständig sind, zusätzlich die Aufgaben als Marktüberwachungsbehörde auch für KI-Systeme, die in diesen Bereichen eingesetzt werden. Dementsprechend müssen die Geschäftsbereiche, die beispielsweise technische Geräte oder Agrarprodukte überwachen, künftig auch KI-bezogene Sicherheits-, Risikound Transparenzanforderungen prüfen. Hierfür müssen für die Marktüberwachung in den jeweiligen Produktsektoren Personal für Produktkontrollen und Sachmittel für die benötigte technische Ausstattung bereitgestellt werden.

Vorgabe 2: § 2 Absatz 7 KI-MIG; Marktüberwachung für KI-Systeme

Erfüllungsaufwand der Verwaltung lfd. Nr.

Artikel Regelungsentwurf; Norm (§§); Bezeichnung der Vorgabe

Bund/ Land

Jährliche Fallzahl und Einheit

Jährlicher Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Jährlicher Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)“

Einmalige Fallzahl und Einheit

Einmaliger Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Einmaliger Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)

§ 2 Abs. 7 KI- MIG; Marktüberwachung für KI- Systeme (Neu)

Land 1 LMAs

621.000 Euro = (0 +621.000 Euro)

Summe (in Tsd. Euro)

davon auf Bundesebene davon auf Landesebene (inklusive Kommunen)

Die Landesmedienanstalten sind staatsferne Aufsichtsbehörden der Bundesländer. Zu den Aufgaben der Landesmedienanstalten zählt unter anderem die Überwachung privater Rundfunk- und Fernsehanbieter sowie von Telemedien. Sie überwachen vor allem die Einhaltung der Vorschriften aus dem Medienstaatsvertrag, dem Jugendmedienschutz- Staatsvertrag sowie den Landesmediengesetzen bzw. Medienstaatsverträgen der Länder. Um diese schon bestehenden Aufsichtsstrukturen zu nutzen, sollen die Landesmedienanstalten die Marktüberwachung übernehmen, wenn zu journalistischen Zwecken oder zu Werbezwecken KI-Systeme eingesetzt werden.

Vorgabe 3: Befugniserteilung und Notifizierung nach § 3 KI-MIG

Erfüllungsaufwand der Verwaltung lfd. Nr.

Artikel Regelungsentwurf; Norm (§§); Bezeichnung der Vorgabe

Bund/ Land

Jährliche Fallzahl und Einheit

Jährlicher Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Jährlicher Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)“

Einmalige Fallzahl und Einheit

Einmaliger Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Einmaliger Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)

3.1

§ 3 KI-MIG;

Befugniserteilung und Notifizierung (Neu)

Bund 1 BNetzA

108.160 Euro = (96.000 / 60 * 67,60 Euro/h (100% hD))

3.2

§ 3 KI-MIG;

Befugniserteilung und Notifizierung (Neu)

Bund

1 BSI

86.803 Euro = (82.788 / 60 * 62,91 Euro/h (8% mD; 8% gD; 85% hD))

Summe (in Tsd. Euro)

davon auf Bundesebene davon auf Landesebene (inklusive Kommunen)

Dieses Gesetz benennt die Bundesnetzagentur in Absatz 1 als notifizierende Behörde gemäß Artikel 70 Absatz 1 Satz 1 der Verordnung (EU) 2024/1689. Ihr entstehen Personalaufwände durch Einrichtung und Durchführung der erforderlichen Verfahren zur Bewertung, Benennung und Notifizierung von Konformitätsbewertungsstellen und deren Überwachung.

Zugleich ist das Bundesamt für Sicherheit in der Informationstechnik als zentrale Stelle für Informationssicherheit auf nationaler Ebene gemäß § 1 Satz 2 BSIG die auf Bundesebene zuständige Behörde. Die Personalaufwände des Bundesamts für Sicherheit in der Informationstechnik entstehen durch Begutachtung, Überwachung oder der Pflege von Programmen im Rahmen von Verwaltungsverfahren der Befugniserteilung und Notifizierung.

Vorgabe 4: Aufwände im Kontext Koordinierungs- und Kompetenzzentrum für die Durchführung der Verordnung (EU) 2024/1689nach § 5 KI-MIG

Erfüllungsaufwand der Verwaltung lfd. Nr.

Artikel Regelungsentwurf; Norm (§§); Bezeichnung der Vorgabe

Bund/ Land

Jährliche Fallzahl und Einheit

Jährlicher Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Jährlicher Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)“

Einmalige Fallzahl und Einheit

Einmaliger Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Einmaliger Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)

§ 5 KI-MIG;

Aufwände im Kontext der Algorithmenbewertungsstelle für Behörden und Organisationen mit Sicherheitsaufgaben (ABOS) (Neu)

Bund 1 ZITIs

1.008.720 Euro = (768.000 / 60 * 57,40 Euro/h (38% gD; 63% hD) +274.000 Euro)

1.009 1 ZITIs

850.000 Euro = (0 +850.000 Euro)

Summe (in Tsd. Euro)

1.009 davon auf Landesebene (inklusive Kommunen)

Im Rahmen der Vorgabe 5 kann die Bundesnetzagentur auch externen Sachverstand hinzuziehen. Zu den externen Experten, die die Bundesnetzagentur hinzuziehen kann, zählt zentralen Stelle für Informationstechnik im Sicherheitsbereich und die dort angesiedelte Algorithmenbewertungsstelle für Behörden und Organisationen mit Sicherheitsaufgaben (ABOS) Durch den nach der Begründung zu dieser Vorschrift vorgesehenen Rückgriff auf die dort bestehende Expertise entsteht bei der zentralen Stelle für Informationstechnik im Sicherheitsbereich Aufwand.

Vorgabe 5: Einrichtung eines Koordinierungs- und Kompetenzzentrums (KoKIVO) nach § 5 KI-MIG

Erfüllungsaufwand der Verwaltung lfd. Nr.

Artikel Regelungsentwurf; Norm (§§); Bezeichnung der Vorgabe

Bund/ Land

Jährliche Fallzahl und Einheit

Jährlicher Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Jährlicher Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)“

Einmalige Fallzahl und Einheit

Einmaliger Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Einmaliger Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)

§ 5 BNetzA; Einrichtung eines Koordinierungsund Kompetenzzentrums (Ko- KIVO) (Neu)

Bund 1 BNetzA

432.640 Euro = (384.000 / 60 * 67,60 Euro/h (100% hD))

Summe (in Tsd. Euro)

davon auf Bundesebene davon auf Landesebene (inklusive Kommunen)

Die Bundesnetzagentur hat ein Koordinierungs- und Kompetenzzentrum einzurichten, um die Abstimmung mit den zuständigen Behörden zu erleichtern. Der Bundesnetzagentur entsteht infolgedessen Personalaufwand. Das Zentrum wird permanenter Ansprechpartner für die nach § 2 und § 3 zuständigen Behörden, Koordinierungsstelle für diese und sonstige Behörden und wichtiger Akteur bei der Aufstellung von Verhaltenskodizes.

Vorgabe 6: Zentrale Anlaufstelle nach § 6 KI-MIG

Erfüllungsaufwand der Verwaltung lfd. Nr.

Artikel Regelungsentwurf; Norm (§§); Bezeichnung der Vorgabe

Bund/ Land

Jährliche Fallzahl und Einheit

Jährlicher Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Jährlicher Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)“

Einmalige Fallzahl und Einheit

Einmaliger Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Einmaliger Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)

§ 6 KI-MIG;

Zentrale Anlaufstelle (Neu)

Bund 1 BNetzA

156.632 Euro = (168.000 / 60 * 55,94 Euro/h (43% gD; 57% hD))

Summe (in Tsd. Euro)

davon auf Bundesebene davon auf Landesebene (inklusive Kommunen)

§ 6 Absatz 1 des KI-MIG benennt die Bundesnetzagentur als zentrale Anlaufstelle im Sinne von Artikel 70 Absatz 2 Satz 3 der Verordnung (EU) 2024/1689. Die Aufwände in diesem Zusammenhang resultieren für die Bundesnetzagentur dadurch, dass sie Ansprechpartnerin der Europäischen Union ist und die nach dieser Vorschrift vorgesehenen Meldungen (über notifizierende Behörden und Marktüberwachungsbehörden) macht. Die zentrale Anlaufstelle fungiert als Schnittstelle zum Büro für Künstliche Intelligenz auf EU- Ebene und ist Ansprechpartnerin gegenüber der Öffentlichkeit und anderen Akteure auf EU-Ebene.

Vorgabe 7: Unterrichtung durch Marktüberwachungsbehörden nach § 7 KI-MIG

Erfüllungsaufwand der Verwaltung lfd. Nr.

Artikel Regelungsentwurf; Norm (§§); Bezeichnung der Vorgabe

Bund/ Land

Jährliche Fallzahl und Einheit

Jährlicher Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Jährlicher Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)“

Einmalige Fallzahl und Einheit

Einmaliger Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Einmaliger Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)

7.1

§ 7 KI-MIG;

Unterrichtungen der Land 1 Länder

693.443 Euro = (217.748 / 60 * 50,25 lfd. Nr.

Artikel Regelungsentwurf; Norm (§§); Bezeichnung der Vorgabe

Bund/ Land

Jährliche Fallzahl und Einheit

Jährlicher Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Jährlicher Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)“

Einmalige Fallzahl und Einheit

Einmaliger Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Einmaliger Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)

Marktüberwachungsbehörden (Neu)

Euro/h (73% gD; 27% hD) +511.079 Euro)

7.2

§ 7 Abs. 1 und 2 KI- MIG; Unterrichtungen der Marktüberwachungsbehörden (Neu)

Bund 1 BAuA 366.720 Euro

= (480.000 / * 45,84 Euro/h (80% gD; 20% hD))

Summe (in Tsd. Euro)

1.060 davon auf Bundesebene davon auf Landesebene (inklusive Kommunen)

1.060

§ 7 bestimmt, dass die zuständige Marktüberwachungsbehörde die Unterrichtungen nach

Artikel 79, 81, und 82 der Verordnung (EU) 2024/1689 über die Bundesanstalt für Arbeitsschutz und Arbeitsmedizin vorzunehmen hat.

Die Bundesanstalt für Arbeitsschutz und Arbeitsmedizin wird als nationaler Knotenpunkt für Mitteilungen der Marktüberwachungsbehörden in Richtung Europäische Kommission und übrige Mitgliedstaaten etabliert.

Somit übernimmt die Bundesanstalt für Arbeitsschutz und Arbeitsmedizin hier die Aufgaben der zuständigen Behörde im Kontext von Sicherheit und Gesundheit in der Arbeitswelt. Diese bestehen bspw. aus dem Beobachten nach Inverkehrbringen (Artikel 72 ff. Verordnung (EU) 2024/1689). Darüber hinaus agiert sie als Schnittstelle zwischen EU- Ebene und den Bundes- sowie Länderbehörden der Marktüberwachung im Kontext unsicherer KI-Produkte.

Auf Länderebene entstehen den Marktüberwachungsbehörden durch die Konzeption und Durchführung der bereits genannten Unterrichtungen ebenfalls Personalaufwände. Die durchgeführten Marktüberwachungsmaßnahmen dienen der Sicherstellung der Konformität. Deshalb gibt es notwendigerweise Meldungen bei Nichtkonformität oder Risiken. Hierdurch entstehen Berichtspflichten an die Bundesanstalt für Arbeitsschutz und Arbeitsmedizin. Die Ansprechpersonen erwarten hier auch Fälle, die in Zusammenarbeit zwischen den Ländern und der Bundesanstalt für Arbeitsschutz und Arbeitsmedizin erfolgen. Sachkosten können für die Einschaltung externer Expertise (Inanspruchnahme von Dienstleistern) für den Bereich Produktsicherheit entstehen.

Vorgabe 8: Beschwerdemanagement nach § 8 KI-MIG

Erfüllungsaufwand der Verwaltung lfd. Nr.

Artikel Regelungsentwurf; Norm (§§); Bezeichnung der Vorgabe

Bund/ Land

Jährliche Fallzahl und Einheit

Jährlicher Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Jährlicher Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)“

Einmalige Fallzahl und Einheit

Einmaliger Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Einmaliger Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)

§ 8 KI-MIG;

Beschwerdenmanagement (Neu)

Bund 1 BNetzA

433.152,0 Euro = (552.960 / 60 * 47,00 Euro/h (14% mD; 58% gD; 28% hD))

Summe (in Tsd. Euro)

davon auf Bundesebene davon auf Landesebene (inklusive Kommunen)

Die Bundesnetzagentur wird in § 8 KI-MIG als zentrale Beschwerdestelle benannt. Sie befasst sich in diesem Kontext mit Beschwerden über Verstöße gegen Bestimmungen der Verordnung (EU) 2024/1689. Nach Eingang der Beschwerde wird eine Prüfung der Zuständigkeit durchgeführt und daraufhin wird die Beschwerde an die für sie zuständige Marktüberwachungsbehörde weitergeleitet. Die Bundesnetzagentur informiert den Beschwerdeführer über die Weiterleitung an die andere nach § 2 KI-MIG zuständige Marktüberwachungsbehörde.

Vorgabe 9: Zusammenarbeit der zuständigen Behörden nach § 9 Absatz 1 u. 2 KI-MIG

Erfüllungsaufwand der Verwaltung lfd. Nr.

Artikel Regelungsentwurf; Norm (§§); Bezeichnung der Vorgabe

Bund/ Land

Jährliche Fallzahl und Einheit

Jährlicher Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Jährlicher Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)“

Einmalige Fallzahl und Einheit

Einmaliger Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Einmaliger Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)

9.1

§ 9 KI-MIG;

Zusammenarbeit der zuständigen Behörden (Neu)

Bund

1 BSI

900.401 Euro = (858.752 / 60 * 62,91 Euro/h (8% mD; 8% gD; 85% hD))

9.2

§ 9 KI-MIG;

Zusammenarbeit der zuständigen Behörden (Neu)

Bund 10 BaFin

3.324 Euro = (2.950 / 60 * 67,60 Euro/h (100% hD))

9.3

§ 9 KI-MIG;

Zusammenarbeit der zuständigen Behörden (Neu)

Bund

1 ADS

248.640 Euro = (240.000 / 60 * 62,16 Euro/h (20% gD; 80% hD))

9.4

§ 9 KI-MIG;

Zusammenarbeit der zuständigen Behörden (Neu)

Bund 1 BfDI

497.536 Euro = (441.600 / 60 * 67,60 Euro/h (100% hD))

1 BfDI

37.180 Euro = (33.000 / 60 * 67,60 Euro/h (100% hD))

9.5

§ 9 KI-MIG;

Zusammenarbeit der zuständigen Behörden (Neu)

Land 1 Länder

5.222.742 Euro = (5.261.236 / 60 * 47,29 Euro/h (84% gD; 16% hD) +1.076.011 Euro)

5.222 1 Länder 13.725 Euro = (0 +13.725 Euro)

Summe (in Tsd. Euro)

1.680 davon auf Landesebene (inklusive Kommunen)

5.222

Die Vorschrift sieht verschiedene Formen der Zusammenarbeit vor, die zu Aufwänden bei den betroffenen Behörden führen. So hat ein allgemeiner Austausch stattzufinden, bei dem die gegenseitige Information über konkrete Marktüberwachungstätigkeiten oder -prüfungen und Maßnahmen im Vordergrund steht. Aufgrund regelmäßiger Ermittlungen, die Erkenntnisse zu technischen, rechtlichen und normativen Entwicklungen des KI-Marktes hervorbringen, gibt es zudem Bedarf diese datenschutzrechtlich zu analysieren, zu bewerten und zu dokumentieren. Dies wird ebenfalls Bestandteil regelmäßiger Abstimmungen der Behörden sein.

Darüber hinaus erfüllen die Behörden weitere Aufgaben. So entsteht für das Bundesamt für Sicherheit in der Informationstechnik zusätzlicher Aufwand aufgrund von ihr zu erstellender Fachgutachten. Die Bundesanstalt für Finanzdienstleistungsaufsicht stellt die Aufsichtskonvergenz sicher (KI-Gremium).

Die Antidiskriminierungsstelle des Bundes informiert die zuständigen Marktüberwachungsbehörden über beabsichtigte Maßnahmen. Darüber hinaus teilt sie Beobachtungen und Feststellungen an die zuständigen Marktüberwachungsbehörden mit, die diese zur Erfüllung beidseitiger Aufgaben nach der Verordnung benötigen.

Nach § KI-MIG sollen die Landesbehörden eng mit Bundesbehörden zusammenzuarbeiten, Beobachtungen und Prüfberichte zu KI-Systemen austauschen und ggf. auch personenbezogene oder betriebsinterne Daten teilen, soweit dies erforderlich ist. Für die Länder entstehen somit Prüf-, Dokumentations- und ggf. Meldepflichten für behördliche Stellungnahmen gegenüber der von der KI-Marktüberwachung zur Stellungnahme aufgeforderten Rechts- oder Fachaufsichtsbehörde. Hier werden Verdachtsmeldungen der KI-Marktüberwachungsbehörden an die zuständige Rechts- und Fachaufsichtsbehörde erfolgen, die einen Prüfungs- und Stellungnahmeaufwand für die jeweilige Landesbehörde verursacht.

Diese Aufgaben erfordern den Aufbau neuer Koordinationsund Kommunikationsstrukturen, was zu den ausgewiesenen Sachkosten führt.

Vorgabe 10: Zusammenarbeit der Marktüberwachungsbehörden mit dem Bundesamt für Sicherheit in der Informationstechnik nach § 10 KI-MIG

Erfüllungsaufwand der Verwaltung lfd. Nr.

Artikel Regelungsentwurf; Norm (§§); Bezeichnung der Vorgabe

Bund/ Land

Jährliche Fallzahl und Einheit

Jährlicher Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Jährlicher Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)“

Einmalige Fallzahl und Einheit

Einmaliger Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Einmaliger Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)

§ 10 KI-MIG;

Zusammenarbeit der Marktüberwachungsbehörden mit dem BSI (Neu)

Bund

1 BSI

321.323 Euro = (306.460 / 60 * 62,91 Euro/h (8% mD; 8% gD; 85% hD))

Summe (in Tsd. Euro)

davon auf Bundesebene lfd. Nr.

Artikel Regelungsentwurf; Norm (§§); Bezeichnung der Vorgabe

Bund/ Land

Jährliche Fallzahl und Einheit

Jährlicher Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Jährlicher Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)“

Einmalige Fallzahl und Einheit

Einmaliger Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Einmaliger Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)

davon auf Landesebene (inklusive Kommunen)

Das Bundesamt für Sicherheit in der Informationstechnik nimmt die Aufgaben nach § 10 wahr. Sie teilt den zuständigen Marktüberwachungsbehörden Informationen über Verdachtsfälle hinsichtlich der Nichtkonformität der Hochrisiko-KI-Systeme mit den Anforderungen der Cybersicherheit mit, arbeitet an der Erstellung von Normen und Leitlinien der Europäischen Kommission, Gremienkoordination und gemeinsamen Spezifikationen mit.

Vorgabe 11: Innovationsfördernde Maßnahmen nach § 12 KI-MIG

Erfüllungsaufwand der Verwaltung lfd. Nr.

Artikel Regelungsentwurf; Norm (§§); Bezeichnung der Vorgabe

Bund/ Land

Jährliche Fallzahl und Einheit

Jährlicher Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Jährlicher Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)“

Einmalige Fallzahl und Einheit

Einmaliger Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Einmaliger Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)

§ 12 KI-MIG;

Innovationsfördernde Maßnahmen (Neu)

Bund 1 BNetzA

178.514 Euro = (184.320 / 60 * 58,11 Euro/h (35% gD; 65% hD))

Summe (in Tsd. Euro)

davon auf Bundesebene davon auf Landesebene (inklusive Kommunen)

Die Vorschrift sieht vor, dass die Bundesnetzagentur innovationsfördernde Maßnahmen gemäß der Verordnung (EU) 2024/1689 durchführen soll. Die Bundesnetzagentur stellt Informationen zur Verfügung, führt Sensibilisierungs- und Schulungsmaßnahmen sowie Studien, Analysen und Fachveranstaltungen durch und fördert Wissensaufbau und Vernetzung.

Vorgabe 12: Wahrnehmung von Aufsichtsaufgaben im KI-Reallabor nach § 13 KI-MIG

Erfüllungsaufwand der Verwaltung lfd. Nr.

Artikel Regelungsentwurf; Norm (§§); Bezeichnung der Vorgabe

Bund/ Land

Jährliche Fallzahl und Einheit

Jährlicher Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Jährlicher Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)“

Einmalige Fallzahl und Einheit

Einmaliger Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Einmaliger Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)

§ 13 KI-MIG;

Wahrnehmung von Aufsichtsaufgaben im KI-Reallabor (Neu)

Bund 1 BNetzA

2.541.897,8 Euro = (319.680 / 60 * 64,17 Euro/h (13% gD; 87% hD) +2.200.000 Euro)

2.542

Summe (in Tsd. Euro)

2.542 davon auf Landesebene (inklusive Kommunen)

Die Bundesnetzagentur betreibt nach §13 Absatz 1 mindestens ein KI-Reallabor nach den Artikeln 57 u. 58 der Verordnung (EU) 2024/1689. Das KI-Reallabor soll insbesondere für kleinen und mittleren Unternehmen sowie Start-up-Unternehmens nützlich sein. Für die Einrichtung und den Betrieb des Labors fallen jährliche Sachkosten an. Neben den Aufwänden für den Betrieb entstehen für die Bundesnetzagentur auch Personalaufwände für die Kooperation mit beteiligten Akteuren. Die Pflicht zur Kooperation umfasst insbesondere die enge Zusammenarbeit mit der zuständigen Datenschutzaufsichtsbehörde, die auch die Prüfung der datenschutzrechtlichen Vorgaben nach Artikel 59 der Verordnung (EU) 2024/1689 übernimmt.

Vorgabe 13: Test von Hochrisiko-KI-Systemen unter Realbedingungen außerhalb von KI-Reallaboren nach § 14 KI-MIG

Erfüllungsaufwand der Verwaltung lfd. Nr.

Artikel Regelungsentwurf; Norm (§§); Bezeichnung der Vorgabe

Bund/ Land

Jährliche Fallzahl und Einheit

Jährlicher Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Jährlicher Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)“

Einmalige Fallzahl und Einheit

Einmaliger Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Einmaliger Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)

13.

§ 14 KI-MIG;

Test von Hochrisiko- KI-Systemen (Neu)

Bund 1.0 BNetzA

535.164,0 Euro = (552.000 / 60 * 58,17 Euro/h (17% mD; 13% gD; 70% hD))

13.

§ 14 KI-MIG;

Test von Hochrisiko- KI-Systemen (Neu)

Land 1.0 Länder

293.625,4 Euro = (153.833,50 / 60 * 68,74 Euro/h (2% gD; 98% hD) +117.383,50 Euro)

1.0 Länder

7.079,3 Euro = (3.137,06 / 60 * 43,20 Euro/h (100% gD) +4.820,61 Euro)

Summe (in Tsd. Euro)

davon auf Bundesebene davon auf Landesebene (inklusive Kommunen)

Um Hochrisiko-KI-Systeme unter Realbedingungen testen zu können, müssen Anbieter oder künftige Anbieter Pläne für die entsprechenden Tests den jeweils zuständigen Marktüberwachungsbehörden vorlegen. Hieraus entstehen der BNetzA Aufwände, da sie den Plan für den Test prüfen und sowohl den Plan als auch den Test unter Realbedingungen selbst genehmigen muss..

Für die Überwachung der Durchführung von Tests unter Realbedingungen außerhalb von KI-Reallaboren für Hochrisiko-KI-Systeme entstehen auch für die Länder Aufwände. So muss die Durchführung der Tests unter Realbedingungen sowie der Plan für den Test unter Realbedingungen, wenn die Vorgaben des Artikels 60 Absatz 4 der Verordnung (EU) 2024/1689 eingehalten sind, genehmigt werden.

Vorgabe 14: Für das Bußgeldverfahren zuständigen Verwaltungsbehörden nach § 17

KI-MIG

Erfüllungsaufwand der Verwaltung lfd. Nr.

Artikel Regelungsentwurf; Norm (§§); Bezeichnung der Vorgabe

Bund/ Land

Jährliche Fallzahl und Einheit

Jährlicher Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Jährlicher Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)“

Einmalige Fallzahl und Einheit

Einmaliger Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Einmaliger Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)

14.

§ 17 KI-MIG;

Für das Bußgeldverfahren zuständigen Verwaltungsbehörden (Neu)

Bund 1.0 BNetzA

143.424 Euro = (159.360 / 60 * 54,00 Euro/h (50% gD; 50% hD))

14.

§ 17 KI-MIG;

Für das Bußgeldverfahren zuständigen Verwaltungsbehörden (Neu)

Land 1.0 Länder

10.332 Euro = (0 +10.332,69 Euro)

1.0 Länder

4.653 Euro = (0 +4.653,30 Euro)

Summe (in Tsd. Euro)

davon auf Bundesebene davon auf Landesebene (inklusive Kommunen)

§ 17 Absatz 1 legt die zuständigen Verwaltungsbehörden für das Bußgeldverfahren fest. Für diese Verwaltungsbehörden entsteht Erfüllungsaufwand, da sie bei Verstößen gegen die Verordnung (EU) Ordnungswidrigkeiten sanktionieren. Bei der Überwachung der Transparenzstellen entsteht auf Bundesebene nur bei der Bundesnetzagentur Erfüllungsaufwand.

Auf Länderebene entstehen den Marktüberwachungsbehörden ebenfalls Aufwände durch die Sanktionierung von Ordnungswidrigkeiten.

5.

Weitere Kosten

Für die Wirtschaft entstehen durch dieses Gesetz keine über die Verordnung (EU) 2024/1689 hinausgehenden weiteren Kosten. Preisauswirkungen sind nicht zu erwarten.

6.

Weitere Gesetzesfolgen

Dieses Gesetz dient der Durchführung der Verordnung (EU) 2024/1689. Aus ihm ergeben sich keine über die Verordnung (EU) 2024/1689 hinausgehenden Gesetzesfolgen. Mit der Einrichtung einer zentralen Beschwerdestelle wird dem nach Artikel 85 der Verordnung (EU) vorgesehenen Recht der Beschwerde bei der zuständigen Marktüberwachungsbehörde Geltung verschafft. Dadurch werden die Rechte der Verbraucherinnen und Verbraucher gestärkt.

VIII.

Befristung; Evaluierung

Eine Befristung des Gesetzes zur Durchführung der Verordnung über künstliche Intelligenz kommt nicht in Betracht, da die Regelungen zur Durchführung der Verordnung (EU) 2024/1689 auf Dauer angelegt sind.

Eine Evaluierung ist auf Ebene der Europäischen Union in Artikel 112 der Verordnung (EU) 2024/1689 vorgesehen. Artikel 112 der Verordnung (EU) 2024/1689 enthält verschiedene Evaluierungsaufträge an die Europäische Kommission. Gemäß Absatz 2 Buchstabe c) zählt dazu unter anderem, dass die Europäische Kommission bis zum 2. August 2028 und danach alle vier Jahre Änderungen zur Verbesserung der Wirksamkeit des Überwachungsund Governance-Systems bewertet und dem Europäischen Parlament und dem Rat dazu Bericht erstattet. In den Berichten soll insbesondere auch auf folgende Aspekte eingegangen werden: den Sachstand bezüglich der finanziellen, technischen und personellen Ressourcen der zuständigen nationalen Behörden im Hinblick auf deren Fähigkeit, die ihnen auf der Grundlage der Verordnung (EU) 2024/1689 übertragenen Aufgaben wirksam zu erfüllen, und den Stand der Sanktionen, insbesondere der Bußgelder nach Artikel 99 Absatz 1 der Verordnung (EU) 2024/1689, die Mitgliedstaaten bei Verstößen gegen die Verordnung (EU) 2024/1689 verhängt haben (vgl. Artikel 112 Absatz 4 Buchstabe a) und b) der Verordnung (EU) 2024/1689). Gemäß Artikel 112 Absatz 13 der Verordnung (EU) 2024/1689 nimmt die Europäische Kommission zudem bis zum 2. August 2031 unter Berücksichtigung der ersten Jahre der Anwendung der Verordnung (EU) 2024/1689 eine Bewertung der Durchsetzung der Verordnung vor und erstattet dem Europäischen Parlament, dem Rat und dem Europäischen Wirtschaftsund Sozialausschuss darüber Bericht. Auf Grundlage der Ergebnisse wird dem Bericht gegebenenfalls ein Vorschlag zur Änderung der Verordnung (EU) 2024/1689 beigefügt, der die Struktur der Durchsetzung und die Notwendigkeit einer Agentur der Union für die Lösung festgestellter Mängel betrifft. Soweit sich aus den Evaluierungen auf Ebene der Europäischen Union Änderungsbedarf ergeben sollte, ist das Durchführungsgesetz entsprechend anzupassen.

Eine umfassende Evaluierung der mit diesem Gesetz festgelegten nationalen Aufsichtsund Behördenstruktur soll spätestens nach drei Jahren erfolgen. Dabei soll evaluiert werden, ob mit der Aufsichtsund Behördenstruktur, einschließlich der Kooperationsvorschriften, eine innovationsfreundliche und bürokratiearme Durchführung der Verordnung (EU) 2024/1689 erreicht wurde. Kriterien könnten dabei Einschätzungen zur Innovationsfreundlichkeit aus Unternehmensperspektive sowie Einschätzungen der zuständigen Behörden zu deren finanziellen, technischen und personellen Ressourcen und deren Zusammenarbeit mit dem Koordinierungs- und Kompetenzzentrum sowie der bürokratiearmen Durchführung der Verordnung (EU) 2024/1689 sein. Für die Zwecke der Evaluierung sollen insbesondere die Bundesnetzagentur sowie weitere repräsentativ aus den verschiedenen von der Verordnung (EU) 2024/1689 betroffenen Bereichen ausgewählte zuständige Behörden befragt werden und die an die Europäische Kommission zur Ausarbeitung des Berichts nach Artikel 112 Absatz 2 Buchstabe c) und Absatz 13 der Verordnung (EU) 2024/1689 übermittelten Informationen ausgewertet werden.

B. Besonderer Teil

Zu Artikel 1 (Gesetz zur Marktüberwachung und zur Sicherstellung der Konformität von Systemen künstlicher

Intelligenz

– KI-Marktüberwachungs-und-

Innovationsförderungs-Gesetz)

Zu Teil 1 (Allgemeine Vorschriften)

Zu § 1 (Anwendungsbereich)

§ 1 regelt den sachlichen Anwendungsbereich des Gesetzes. Dieser ergibt sich aus jenen

Regelungen der Verordnung (EU) 2024/1689, die einer Durchführung durch nationale Vorschriften bedürfen. Nach Artikel 2 Absatz 1 der Verordnung (EU) 2024/1689 gilt diese unter den dort genannten Voraussetzungen u.a. für Anbieter, Betreiber, Einführer und Händler von KI-Systemen gemäß Artikel 3 Nummer 1 der Verordnung (EU) 2024/1689 sowie für Bevollmächtigte von Anbietern, die sich nicht in der Europäischen Union befinden, und für Produkthersteller, die solche KI-Systeme zusammen mit ihrem Produkt unter ihrem eigenen Namen oder ihrer Handelsmarke in Verkehr bringen oder in Betrieb nehmen. Ergänzend zu der insoweit anwendbaren Verordnung (EU) 2024/1689 legt das vorliegende Gesetz die zuständigen nationalen Behörden fest, trifft verfahrensrechtliche Festlegungen zu den von diesen Behörden zu ergreifenden Maßnahmen, regelt die durchführungsbedürftigen Einzelheiten zur Innovationsförderung und trifft notwendige Festlegungen zu den Sanktionen bei Verstößen gegen die Vorschriften der Verordnung (EU) 2024/1689.

Die Beaufsichtigung und Durchsetzung der in Kapitel V der Verordnung (EU) 2024/1689 geregelten Anforderungen an KI-Modelle mit allgemeinem Verwendungszweck liegt dabei ausschließlich bei der Europäischen Kommission, die die Durchführung dieser Aufgaben mit Artikel 88 Absatz 1 Satz 2 der Verordnung (EU) 2024/1689 dem Büro für Künstliche Intelligenz übertragen hat.

Zu Teil 2 (Zuständige Behörden und Zusammenarbeit)

Zu Abschnitt 1 (Zuständige Behörden)

§§ 2 und 3 dienen der Durchführung von Artikel 70 Absatz 1 Satz 1 und Artikel 28 Absatz 1 und 2 der Verordnung (EU) 2024/1689. Danach muss jeder Mitgliedstaat für die Zwecke dieser Verordnung mindestens eine notifizierende Behörde und mindestens eine Marktüberwachungsbehörde als zuständige nationale Behörden einrichten oder benennen. Diese Behörden üben ihre Befugnisse gemäß Artikel 70 Absatz 1 Satz 2 der Verordnung (EU) 2024/1689 unabhängig, unparteiisch und unvoreingenommen aus, um die Objektivität ihrer Tätigkeiten und Aufgaben zu gewährleisten und die Anwendung und Durchführung der Verordnung sicherzustellen.

Die Verordnung (EU) 2024/1689 ist im Kern eine Produktregulierung und greift mit dem System der nachträglichen Marktüberwachung und der Konformitätsbewertung und Notifizierung auf bekannte Regulierungskonzepte aus Marktüberwachungsbehörden, notifizierenden Behörden und notifizierten Stellen zurück.

Das System der Marktüberwachung wird durch die Verordnung (EU) 2024/1689 zudem auf neue Bereiche erstreckt, die von ihm bisher nicht erfasst waren. Dies gilt vor allem für Bereiche, in denen systematisch anders gelagerte Aufsichtsstrukturen bestehen (u.a. der Finanzdienstleistungsbereich und der Bereich der Medienaufsicht) und Bereiche wie den in Anhang III genannten (Hochrisiko-KI-Systeme in den Bereichen Biometrie, Kritische Infrastruktur, KI am Arbeitsplatz und in Bildungseinrichtungen, Gewährung grundlegender öffentlicher Leistungen, Strafverfolgung, Migration, Asyl, Grenzkontrolle und Justiz), in denen nicht auf bestehende Aufsichtsstrukturen zurückgegriffen werden kann.

Vor diesem Hintergrund werden in §§ 2 und 3 einerseits die bereits bestehenden Behörden als Marktüberwachungsbehörden und notifizierende Behörden gemäß der Verordnung (EU) 2024/1689 benannt oder den nach Landesrecht zuständigen Behörden die Marktüberwachung über KI-Systeme von öffentlichen Stellen der Länder übertragen. Andererseits wird mit der Bundesnetzagentur ergänzend eine zentrale Behörde benannt, der über ihre Aufgaben als Marktüberwachungsbehörde (§ 2 Absatz 1) und notifizierende Behörde (§ 3 Absatz 1) hinaus auch eine Koordinierungs- und Kompetenzfunktion zukommen soll (§ 5), wodurch die Gefahr einer uneinheitlichen Auslegung und Anwendung der Verordnung (EU) 2024/1689 deutlich reduziert sowie der begrenzten Verfügbarkeit von KI-Fachkräften begegnet werden soll.

Für die Überwachung bestimmter Hochrisiko-KI-Systeme wird gemäß Artikel 74 Absatz 8 der Verordnung (EU) 2024/1689 bei der Bundesnetzagentur zudem eine Unabhängige KI- Marktüberwachungskammer eingerichtet (§ 4).

Die Bundesnetzagentur wird auch Zentrale Anlaufstelle (§ 6) und Zentrale Beschwerdestelle (§ 8).

Zu § 2 (Marktüberwachungsbehörden)

§ 2 legt die jeweils zuständige Marktüberwachungsbehörde fest.

Inhaltlich umfassen die Aufgaben der Marktüberwachung die Aufsicht über die Einhaltung der Vorschriften zu verbotenen Praktiken im KI-Bereich (Kapitel II der Verordnung (EU) 2024/1689), zu Hochrisiko-KI-Systemen (Kapitel III der Verordnung (EU) 2024/1689) und zu Transparenzpflichten für Anbieter und Betreiber bestimmter KI-Systeme (Kapitel IV der Verordnung (EU) 2024/1689).

Die Zuständigkeit der Marktüberwachungsbehörden nach dieser Vorschrift erstreckt sich auch auf die Prüfung eines KI-Systems im Hinblick auf seine Einstufung als Hochrisiko-KI- System auf der Grundlage der in Artikel 6 der Verordnung (EU) 2024/1689 festgelegten Bedingungen und der Leitlinien der Kommission.

Zu Absatz 1

§ 2 Absatz 1 benennt die Bundesnetzagentur als Marktüberwachungsbehörde gemäß

Artikel 70 Absatz 1 Satz 1 der Verordnung (EU) 2024/1689, soweit diese Aufgabe keiner anderen Behörde zugewiesen wird. Das betrifft die Bereiche, in denen nicht bereits bestehende Behörden benannt werden (vgl. hierzu die Absätze 2 bis 7) und damit vor allem die in Anhang III der Verordnung (EU) 2024/1689 genannten Bereiche.

Die Benennung der Bundesnetzagentur als Marktüberwachungsbehörde für die in

Artikel 74 Absatz 8 Satz 1 der Verordnung (EU) 2024/1689 genannten Bereiche hat gemäß

Artikel 43 Absatz 1 Unterabsatz 2 Satz 2 der Verordnung (EU) 2024/1689 auch zur Folge, dass die Bundesnetzagentur die Funktion der notifizierten Stelle übernimmt, wenn ein Hochrisiko-KI-System im Sinne der Verordnung (EU) 2024/1689 von Strafverfolgungs-, Einwanderungsoder Asylbehörden in Betrieb genommen werden soll. Die Bundesnetzagentur bedarf insoweit jedoch nicht der Anerkennung als notifizierte Stelle.

Bei KI-Systemen, die in den Anwendungsbereich der Verordnung (EU) 2024/2847 (Cyberresilienz-Verordnung) fallen und nach Artikel 6 der Verordnung (EU) 2024/1689 als Hochrisiko-KI-Systeme eingestuft sind, sind die für die Zwecke der Verordnung (EU) 2024/1689 benannten Marktüberwachungsbehörden auch für die nach der Verordnung (EU) 2024/2847 erforderlichen Marktüberwachungstätigkeiten zuständig. Das ergibt sich aus Artikel 52 Absatz 14 der Verordnung (EU) 2024/2847. Diese Vorschrift regelt den Fall, dass es unterschiedliche Marktüberwachungsbehörden nach der Verordnung (EU) 2024/1689 einerseits und nach der Verordnung (EU) 2024/2847 andererseits gibt. Fällt ein Produkt unter beide Verordnungen, ist die Bundesnetzagentur nach § 2 Absatz 1 oder jede andere nach diesem Gesetz zuständige Marktüberwachungsbehörde in solchen Fällen wegen der Regelung in Artikel 52 Absatz 14 Satz 1 Verordnung (EU) 2024/2847 auch für die Überwachung der Pflichten aus der Verordnung (EU) 2024/2847 zuständig. Sie arbeitet in diesem Fall gemäß Artikel 52 Absatz 14 Satz 2 der Verordnung (EU) 2024/2847 mit der unter der Verordnung (EU) 2024/2847 zu benennenden Marktüberwachungsbehörde zusammen. Die nach diesem Gesetz zuständige Marktüberwachungsbehörde unterrichtet insbesondere die nach der Verordnung (EU) zu benennende Marktüberwachungsbehörde über alle Erkenntnisse, die für die Wahrnehmung ihrer Aufgaben im Zusammenhang mit der Durchführung der Verordnung (EU) 2024/2847 von Bedeutung sind. Einer gesetzgeberischen Entscheidung im Zusammenhang mit der Benennung einer Marktüberwachungsbehörde nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 wird nicht vorgriffen.

Zu Absatz 2

§ 2 Absatz 2 benennt die zuständigen Marktüberwachungsbehörden für den Anwendungsbereich des Anhang I Abschnitt A der Verordnung (EU) 2024/1689.

Dazu orientiert sich § 2 Absatz 2 an Artikel 74 Absatz 3 Unterabsatz 1 der Verordnung (EU) 2024/1689. Danach gilt bei Hochrisiko-KI-Systemen und damit in Zusammenhang stehenden Produkten, auf die die in Anhang I Abschnitt A der Verordnung (EU) 2024/1689 aufgeführten Harmonisierungsrechtsvorschriften der Europäischen Union Anwendung finden, als Marktüberwachungsbehörde für die Zwecke der Verordnung (EU) 2024/1689 die in jenen Rechtsakten für die Marktüberwachung benannte Behörde. Von der in Artikel 74 Absatz 3 Unterabsatz 2 der Verordnung (EU) 2024/1689 genannten Abweichungsoption wird kein Gebrauch gemacht.

Damit werden die Behörden, die in den in Anhang I Abschnitt A der Verordnung (EU) 2024/1689 genannten Harmonisierungsvorschriften der Europäischen Union als Marktüberwachungsbehörden benannt sind, auch nach der Verordnung (EU) 2024/1689 als solche Behörden benannt. Dies berücksichtigt, dass die Verordnung (EU) 2024/1689 im Kern eine Produktregulierung ist, mit der auf bekannte Regulierungskonzepte zurückgegriffen wird. Bestehende Behördenstrukturen werden genutzt. Der begrenzten Verfügbarkeit von KI-Fachkräften wird durch das in § 5 eingerichtete Koordinierungs- und Kompetenzzentrum für die KI-Verordnung begegnet.

Die Marktüberwachung durch eine gemäß § 2 Absatz 2 benannte Behörde bezieht sich auf alle KI-Systeme, die als Produkt unter eine in Anhang aufgeführte Harmonisierungsrechtsvorschrift fallen, für die diese Behörde bereits Marktüberwachungsbehörde ist, und alle KI-Systeme, die als Sicherheitsbauteil eines unter diese Harmonisierungsrechtsvorschrift der Union fallenden Produktes verwendet wird (vgl. Artikel 6 Absatz 1 der Verordnung (EU) 2024/1689).

Zu Absatz 3

Um eine kohärente Anwendung und Durchsetzung der Pflichten aus der Verordnung (EU) 2024/1689 betreffend KI-Systeme sowie der einschlägigen Anforderungen aller sektoralen Aufsichtsgesetze im Finanzmarktbereich zu gewährleisten, soll die Bundesanstalt für Finanzdienstleistungsaufsicht für die in § Absatz genannten Institute Marktüberwachungsbehörde im Sinne des Artikels 70 Absatz 1 Satz 1 der Verordnung (EU) 2024/1689 werden, sofern das Inverkehrbringen, die Inbetriebnahme oder die Verwendung des KI-Systems mit der Erbringung der regulierten Finanztätigkeit in direktem Zusammenhang steht. KI-Systeme, die in direktem Zusammenhang mit der Erbringung einer regulierten Finanztätigkeit in Verkehr gebracht, in Betrieb genommen oder verwendet werden, sind insbesondere solche gemäß Anhang III Nummer 5 Buchstabe b) und c) der Verordnung (EU) 2024/1689, d.h. KI-Systeme, die bestimmungsgemäß für die Kreditwürdigkeitsprüfung und Bonitätsbewertung oder die Risikobewertung und Preisbildung im Fall von Lebens- und Krankenversicherungen verwendet werden sollen. Darüber hinaus kann es weitere KI-Systeme geben, die einen direkten Zusammenhang zur Erbringung einer regulierten Finanztätigkeit haben.

Die Zuständigkeit der Bundesanstalt für Finanzdienstleistungsaufsicht soll über Artikel 74 Absatz 6 der Verordnung (EU) 2024/1689 hinaus auch auf Unternehmen erweitert werden, die auf rein nationaler Ebene und somit nicht auf Grundlage des Unionsrechts im Finanzmarktbereich von der Bundesanstalt für Finanzdienstleistungsaufsicht beaufsichtigt werden.

Ferner soll die Bundesanstalt für Finanzdienstleistungsaufsicht zuständige Marktüberwachungsbehörde werden, soweit die Europäische Zentralbank zuständige Aufsichtsbehörde gemäß Artikel 4 Absatz 1 Buchstabe a bis i und Artikel 4 Absatz 2 der Verordnung (EU) Nr. 1024/2013 des Rates vom 15. Oktober 2013 zur Übertragung besonderer Aufgaben im Zusammenhang mit der Aufsicht über Kreditinstitute auf die Europäische Zentralbank (ABl. L 287 vom 29.10.2013, S. 63) für ein in der Bundesrepublik Deutschland niedergelassenes Kreditinstitut oder gemäß Artikel 4 Absatz 2 der Verordnung (EU) Nr. 1024/2013 für eine in der Bundesrepublik errichtete Zweigstelle ist. Die

Verordnung (EU) sieht für die Europäische Zentralbank keine Marktüberwachungsaufgaben vor. Diese Aufgabe soll grundsätzlich von nationalen Behörden übernommen werden, vgl. Artikel 70 Absatz 1 Satz 1 der Verordnung (EU) 2024/1689.

Ferner soll die Bundesanstalt für Finanzdienstleistungsaufsicht zuständig sein für die im Inland geschäftsansässigen Emittenten signifikanter vermögenswertereferenzierter Token nach Artikel 3 Absatz 1 Nummer 6 der Verordnung (EU) 2023/1114, soweit die Zuständigkeit für die Beaufsichtigung in Bezug auf den Emittenten auf die Europäische Bankenaufsichtsbehörde nach Artikel 43 Absatz 10 oder Artikel 44 Absatz 4 der Verordnung (EU) übertragen ist. Denn eine Zuständigkeit der Europäischen Bankenaufsichtsbehörde als Marktüberwachungsbehörde ist nach der Verordnung (EU) 2024/1689 und der Verordnung (EU) Nr. 1093/2010 nicht vorgesehen.

Zu Absatz 4

Steht das Inverkehrbringen, die Inbetriebnahme oder die Verwendung eines Hochrisiko-KI- Systems in direktem Zusammenhang mit der Erbringung von Finanzdienstleistungen, welche von Finanzinstituten erbracht werden, die nicht von der Bundesanstalt für Finanzdienstleistungsaufsicht nach Absatz 3 überwacht werden, so obliegt die Marktüberwachung betreffend die Verordnung (EU) 2024/1689 einschließlich der auf Grundlage dieser Verordnung erlassenen Regelungen derjenigen Aufsichtsbehörde, die gemäß Gesetz oder durch entsprechende Vereinbarung zwischen ihr und der Bundesanstalt für Finanzdienstleistungsaufsicht zuständige Finanzaufsichtsbehörde ist.

Die Regelung orientiert sich an Artikel 74 Absatz 6 der Verordnung (EU) 2024/1689. Von der in

Artikel 74

Absatz der Verordnung (EU) geregelten Abweichungsmöglichkeit wird kein Gebrauch gemacht.

Zu Absatz 5

Für bestimmte Hochrisiko-KI Systeme gemäß Artikel 74 Absatz 8 der Verordnung (EU) 2024/1689 wird eine unabhängige Stelle innerhalb der Bundesnetzagentur als zuständige Marktüberwachungsbehörde benannt, da besondere Anforderungen nach den Artikeln 41 bis 44 der Richtlinie (EU) 2016/680 an deren Unabhängigkeit bestehen.

Eine Übertragung dieser Teilaufgabe auf die Datenschutzbehörden, wie es die Verordnung (EU) 2024/1689 als Alternative vorsieht, erscheint wenig sachgerecht. Bei der Aufteilung der Zuständigkeiten auf verschiedene Behörden ergeben sich Abgrenzungsschwierigkeiten, die zu unklaren Zuständigkeiten und auseinanderfallenden Ansprechpartnern für Unternehmen und Verwaltungen führen können.

Unterschiedliche Auslegungen der Verordnung (EU) 2024/1689 durch verschiedene Behörden sollen vermieden werden. Die Gefahr einer unterschiedlichen Auslegung bestünde jedoch bei Benennung einer anderen Behörde als der Bundesnetzagentur, da sich die Datenschutzbehörden primär auf den Grundrechtsschutz fokussieren und keine Erfahrung mit Produktregulierung haben. Die Verordnung (EU) 2024/1689 hat neben dem Grundrechtsschutz vor allem das Ziel, einheitliche Marktregeln und Rechtssicherheit zu schaffen, um Innovationen zu fördern.

Schließlich gibt es absehbar einen Mangel an KI-Fachkräften. Bei einer Aufteilung der Marktüberwachung auf verschiedene Behörden würden diese um knappe Ressourcen konkurrieren und müssten jeweils getrennt Kompetenzen aufbauen. Dies wäre ineffizient und unwirtschaftlich.

Es ist daher sachgerecht, eine unabhängige Stelle innerhalb der Bundesnetzagentur zu schaffen, die zuständige Marktüberwachungsbehörde für diesen Teilbereich wird. Der Begriff der „Behörde“ ist dabei weit auszulegen, die englische Sprachfassung spricht insoweit von „authority“. Eine rein organisatorische Eingliederung der unabhängigen Stelle in eine bereits bestehende staatliche Einrichtung ist unschädlich, sofern sichergestellt ist, dass keine Weisungen und Aufsicht möglich sind.

Um es dieser unabhängigen Einheit zu ermöglichen, auf Erfahrungen, Personal und Kompetenzen aus den bestehenden Marktüberwachungstätigkeiten der Bundesnetzagentur zuzugreifen und so eine effektive Aufsicht zu gewährleisten, soll diese Stelle nach dem Vorbild der bereits bei der Bundesnetzagentur aufgrund anderer Gesetze bestehenden Spruchkammern gestaltet werden.

§ 2 Absatz 5 regelt die Einrichtung der unabhängigen Stelle. Diese soll für das gesamte Verfahren, nicht nur finale Entscheidungen zur Marktüberwachung, zuständig sein, um auch initiativ zur Einleitung von Verfahren tätig werden zu können.

Absatz 5 bestimmt, dass die KI-Marktüberwachungskammer vorbehaltlich des Absatzes 6 eingerichtet wird. Das bedeutet, dass die Regelungen in § 2 Absatz 6 Vorrang haben und die Länder in den dort genannten Anwendungsbereichen die zuständigen Behörden benennen und die nach dieser Vorschrift einzurichtende Kammer insoweit nicht zuständig ist. Dabei haben sie die Vorgaben gemäß Artikel 74 Absatz 8 der Verordnung (EU) 2024/1689 zu beachten.

Zu Absatz 6

Zu Satz 1

Gemäß § 2 Absatz 6 Satz 1 wird die Marktüberwachung über KI-Systeme, die von öffentlichen Stellen der Länder in Verkehr gebracht, in Betrieb genommen oder verwendet werden, von der Zuständigkeit der Bundesnetzagentur nach § 2 Absatz 1 dieses Gesetzes ausgenommen. Die Marktüberwachung obliegt insoweit den nach Landesrecht zu benennenden zuständigen Behörden. Grund hierfür ist, dass öffentliche Stellen der Länder wegen der Eigenstaatlichkeit der Länder nicht durch eine Bundesbehörde beaufsichtigt werden dürfen. Dies gilt auch für Behörden der Länder und Kommunen, die Abgabenangelegenheiten verwalten.

Soweit einschlägig, haben die Länder in diesem Bereich die besonderen Voraussetzungen an die Unabhängigkeit ihrer Marktüberwachungsbehörden nach Artikel 74 Absatz 8 der Verordnung (EU) 2024/1689 zu beachten.

Zu Satz 2

Im Interesse einer einheitlichen Anwendung und Durchsetzung der Verordnung (EU) 2024/1689 sollen die Länder gemäß § 2 Absatz 6 Satz 2 einheitliche Ansprechpartner für die jeweils durch sie beaufsichtigten Bereiche benennen und dadurch die Koordinierung der Zusammenarbeit durch das Koordinierungs- und Kompetenzzentrum nach § 5 Satz 2 Nummer 2 zu erleichtern.

Zu Absatz 7

Zu Satz 1

Um den verfassungsrechtlichen Besonderheiten der Bundesfinanzverwaltung nach Artikel 108 des Grundgesetzes Rechnung zu tragen, regelt diese Vorschrift, dass Maßnahmen der Bundesnetzagentur zur Durchsetzung der Verordnung (EU) 2024/1689 gemäß § 11 dieses Gesetzes gegenüber den Bundesfinanzbehörden nach § 1 Finanzverwaltungsgesetz bei der Verwaltung von Abgabenangelegenheiten Einvernehmen mit dem Bundesministerium der Finanzen als zuständiger Rechts- und Fachaufsichtsbehörde erfolgen müssen. Hierdurch wird die nach Artikel 108 Absatz 1 und Absatz 4 Satz 1 2. Alternative des Grundgesetzes geschützte Verwaltungshoheit der Bundesfinanzverwaltung, welche sich in § 1 des Finanzverwaltungsgesetzes manifestiert, gewahrt. Die Regelung betrifft nicht Maßnahmen der Bundesnetzagentur im Vorfeld der Durchsetzung, die der Ermittlung möglicher unionsrechtlicher Verstöße dienen. Solche Ermittlungsmaßnahmen erfassen etwa Maßnahmen, soweit sie zur Feststellung eines Sachverhalts nach Artikel 16 Absatz 1 in Verbindung mit Artikel 14 Absatz 4 der Verordnung (EU) 2019/1020 erfolgen.

Zu Satz 2

Die Bundesnetzagentur kann dem Bundesministerium der Finanzen eine angemessene Frist zur Mitteilung des Einvernehmens setzen. Diese Regelung stellt sicher, dass die Bundesnetzagentur ihre Aufgaben gemäß Artikel 70 Absatz 3 der Verordnung (EU) 2024/1689 wirksam erfüllen kann.

Zu Satz 3

Wird binnen der von der Bundesnetzagentur gesetzten Frist kein Einvernehmen erzielt, geht die Zuständigkeit für die Marktüberwachung bezüglich dieses Sachverhalts auf das Bundesministerium der Finanzen über. Hiermit wird sichergestellt, dass bei Meinungsverschiedenheiten über die rechtlich notwendigen oder zweckmäßigen Durchsetzungsmaßnahmen ein potentiell unionsrechtswidriger Zustand ausgeschlossen wird. Das Bundesministerium der Finanzen hat seine Befugnisse als Marktüberwachungsbehörde gemäß Artikel 70 Absatz 1 der Verordnung (EU) 2024/1689 und Artikel 11 Absatz 2 der Verordnung (EU) 2019/1020 unabhängig, unparteiisch und unvoreingenommen auszuüben.

Zu Absatz 8

Zu Satz 1

Zum Schutz der Medienfreiheiten nach Artikel 5 Absatz 1 GG obliegt die Marktüberwachung zur Einhaltung der Verordnung (EU) 2024/1689 den nach Landesrecht zuständigen staatsfernen Behörden, die im bestehenden Zuständigkeitsbereich der Medienaufsicht für die Verordnung (EU) (Europäisches Medienfreiheitsgesetz) Mediendiensteanbieter im Sinne des Artikels 2 Nummer 2 der Verordnung (EU) 2024/1083 beaufsichtigen. Dies gilt nach dieser Vorschrift, soweit Mediendiensteanbieter KI-Systeme zu journalistischen Zwecken oder zu Werbezwecken bei der Veranstaltung, dem Angebot, der Verbreitung und der Zugänglichmachung von Mediendiensten einsetzen. Damit wird der bereits bestehende Zuständigkeitsbereich dieser Behörden auf den Bereich der Verordnung (EU) 2024/1689 ausgedehnt. So sollen die bestehenden Aufsichtsstrukturen im Medienbereich genutzt werden, um zu vermeiden, dass für Mediendiensteanbieter eine zusätzliche Aufsichtsbehörde zuständig ist. Um der Bundesnetzagentur ihre Aufgabe, gemäß § 5 eine einheitliche Durchsetzung der Vorgaben der Verordnung (EU) 2024/1689 sicherzustellen, zu erleichtern und eine effektive und effiziente Koordinierung zu ermöglichen, sollten die Länder möglichst auch in diesem Bereich eine einheitliche Ansprechstelle für die Bundesnetzagentur benennen.

Die Anknüpfung an die Verordnung (EU) 2024/1083 und die dort in Artikel 2 Nummer 2 definierten Mediendiensteanbieter stellt klar, dass die Zuständigkeit in diesem spezifischen Tätigkeitsbereich von den Ländern festzulegen ist - in Abgrenzung zur Aufsicht der Bundesnetzagentur über Online-Plattformen nach dem Digitale-Dienste-Gesetz.

Zur Abgrenzung journalistischer von nicht-journalistischen Zwecken kann die jeweilige Auslegungspraxis im Bereich des Artikels 85 der Verordnung (EU) 2016/679 herangezogen werden. Danach sind Handlungen umfasst, die mit der Zielsetzung der Veröffentlichung von Informationen, Meinungen oder Ideen, mit welchem Übertragungsmittel auch immer, für einen unbestimmten Personenkreis erfolgen (EuGH, Urteil vom 14.2.2019, C-345/17, Sergejs Buivids/Datu valsts inspekcija, Rn. 53, NJW 2019, 2451; EuGH, Urteil vom 16.12.2008, C-73/07, Tietosuojavaltuutettu/Satakunnan Markkinapörssi Oy u.a., Rn. 61, EuZW 2009, 108). Erfasst sind sämtliche Phasen journalistischen Handelns: journalistische Recherche, Redaktion, Veröffentlichung, Dokumentation und Archivierung in der Absicht der Berichterstattung. Allerdings ist ein Mindestmaß an eigener inhaltlicher Bearbeitung der bereitgestellten Informationen erforderlich (vgl. BGH, Urteil von 2025, VI ZR 426/24, Rn. 51, NJW 2025, S. 3219, 3225). Von journalistischen Zwecken abzugrenzen sind private oder kommerzielle Verwendungen, bei denen die Gewinnerzielungsabsicht im Vordergrund steht und die Information der Öffentlichkeit als ein Nebeneffekt einzustufen ist, wie z.B. Veröffentlichungen durch Unternehmen oder Vereine zwecks Öffentlichkeitsarbeit und Werbung (OLG Koblenz, Beschluss vom 12.4.2021 – 4 W 108/21) oder privaten Zwecken dienende Individualkommunikation.

Ein KI-System wird dann zu journalistischen Zwecken verwendet, wenn sein Einsatz im konkreten Fall der Erstellung, Verbreitung oder Unterstützung journalistischer Inhalte dient. Unerheblich ist, dass das betreffende System auch für andere Zwecke einsetzbar ist; entscheidend ist allein der jeweilige tatsächliche Verwendungszweck. In diesen Fällen beschränkt sich die Aufsicht der nach Landesrecht zuständigen staatsfernen Marktüberwachungsbehörden auf den Betrieb des KI-Systems, soweit dieser zu journalistischen Zwecken erfolgt. Damit wird sichergestellt, dass der Schutz der journalistischen Freiheit gewahrt bleibt und zugleich eine klare Abgrenzung zu anderen Nutzungsbereichen erfolgt. Wird ein KI-System hingegen für mehrere Zwecke eingesetzt, die nicht ausschließlich journalistischer Natur sind, richtet sich die Zuständigkeit gegenüber dem Anbieter nach den übrigen Absätzen des § 2. Dies gilt jedoch nicht, wenn der Anbieter selbst zu journalistischen Zwecken handelt; in diesem Fall verbleibt es bei der Aufsicht nach Absatz 1.

Zu Satz 2

Das Deutsche-Welle-Gesetz ist ebenfalls genannt, da es als einzige Bundesvorschrift die Grundlage für eine Rundfunkanstalt schafft. Der Verweis auf das Deutsche-Welle-Gesetz stellt klar, dass sich die Aufsicht über die Deutsche Welle als Rundfunkanstalt nach den für sie geltenden Bestimmungen und Aufsichtsstrukturen richtet.

Zu Absatz 9

Das Recht aus Artikel 69 der Verordnung (EU) 2024/1689, Sachverständige des wissenschaftlichen Gremiums gemäß Artikel 68 der Verordnung (EU) 2024/1689 zur Erfüllung ihrer Aufgaben gemäß der Verordnung (EU) 2024/1689 hinzuzuziehen, steht nach dem Text der Verordnung den Mitgliedsstaaten zu. Aus sachlichen Gründen wird hiermit gesetzlich klargestellt, dass dieses Recht auch von der Bundesnetzagentur sowie den übrigen Marktüberwachungsbehörden in Anspruch genommen werden kann.

Zu § 3 (Notifizierende Behörden und Akkreditierung)

§ 3 benennt die jeweils zuständige notifizierende Behörde und definiert die Rolle der Deutschen Akkreditierungsstelle. Die notifizierenden Behörden sind gemäß Artikel 28 Absatz 1 der Verordnung (EU) 2024/1689 grundsätzlich für die Bewertung, Benennung, Notifizierung und Überwachung von Konformitätsbewertungsstellen gemäß Artikel 3 Nummer 21 der Verordnung (EU) 2024/1689 zuständig. § 3 Absatz 4 macht jedoch von der in Artikel 28 Absatz 2 der Verordnung (EU) 2024/1689 geregelten Option Gebrauch und benennt für die dort genannten Bereiche die Deutsche Akkreditierungsstelle als für die Bewertung und Überwachung von Konformitätsbewertungsstellen gemäß der Verordnung (EU) 2024/1689 zuständige Stelle.

Zu Absatz 1

§ 3 Absatz 1 benennt die notifizierenden Behörden, die im Anwendungsbereich des Anhang

I Abschnitt A der Verordnung (EU) 2024/1689 zuständig sind.

Hierfür orientiert sich § 3 Absatz 1 Satz 1 an Artikel 74 Absatz 3 Unterabsatz 1 der Verordnung (EU) 2024/1689 und benennt die Behörden, die in den in Anhang I Abschnitt A der Verordnung (EU) 2024/1689 genannten Harmonisierungsvorschriften der Europäischen Union als notifizierende Behörden benannt sind, auch nach der Verordnung (EU) 2024/1689 als notifizierende Behörden. Zum Beispiel ist für die Notifizierung von Konformitätsbewertungsstellen für Produkte nach Anhang I Abschnitt A Nummer 11 und 12 der Verordnung (EU) 2024/1689 die Zentralstelle der Länder für Gesundheitsschutz bei Arzneimitteln und Medizinprodukten zuständig. Das berücksichtigt, dass die Verordnung (EU) 2024/1689 im Kern eine Produktregulierung ist, mit der auf bekannte Regulierungskonzepte zurückgegriffen wird. Bestehende Behördenstrukturen werden genutzt. Der begrenzten Verfügbarkeit von KI-Fachkräften wird durch das in § 5 eingerichtete Koordinierungsund Kompetenzzentrum für die KI-Verordnung weitestgehend begegnet.

Für die in Nummer 8 des Anhangs I Abschnitt A der Verordnung (EU) 2024/1689 genannte Verordnung (EU) 2016/424 stellt § 3 Absatz 1 Satz 2 ausdrücklich klar, dass die Länder die zuständigen notifizierenden Behörden nach der Verordnung (EU) 2024/1689 bestimmen. Das ergibt sich bereits aus Artikel 84 Absatz 1 Satz 1 des Grundgesetzes und ist daher deklaratorisch. Die Klarstellung ist erforderlich, da § 3 Absatz 1 Satz 1 hier nicht zur Anwendung kommt. Als notifizierende Behörde im Anwendungsbereich der Verordnung (EU) 2016/424 wird (für alle Länder) das Bayerische Staatsministerium für Wohnen, Bau und Verkehr tätig. Diesem wurde die Aufgabe als notifizierende Behörde gemäß § 1 Absatz 1 Sätze 1 bis 4 des Gesetzes zur Durchführung der Verordnung (EU) 2016/424 (Seilbahndurchführungsgesetz) in Verbindung mit Artikel Absatz des Verwaltungsabkommens über die Wahrnehmung bestimmter Aufgaben nach dem Seilbahndurchführungsgesetz vom Bund, vertreten durch das (damalige) Bundesministerium für Verkehr und digitale Infrastruktur im Wege der Organleihe übertragen. Da das Bayerische Staatsministerium für Wohnen, Bau und Verkehr daher nicht notifizierende Behörde im Anwendungsbereich der Verordnung (EU) 2016/424 ist, sondern nur im Wege der Organleihe als solche tätig wird, kann ihm die Aufgabe als notifizierende Behörde nicht nach § 3 Absatz 1 Satz 1 übertragen werden.

Zu Absatz 2

Für die in Anhang III Nummer 1 der Verordnung (EU) 2024/1689 genannten Hochrisiko-KI- Systeme benennt Absatz 2 Satz 1 die nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 benannte Marktüberwachungsbehörde als zuständige notifizierende Behörde.

Da dieses Gesetz zeitlich vor einer Benennung der Marktüberwachungsbehörde nach

Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 in Kraft tritt, die Bundesnetzagentur also zunächst die Aufgabe als notifizierende Behörde auch für Anhang III Nummer 1 der Verordnung (EU) 2024/1689 wahrnimmt, wird in Satz 2 eine Regelung für die Übergangszeit geschaffen. Da diese Regelung der Entscheidung nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 nicht vorgreifen soll, ist sie zeitlich begrenzt auf den Zeitraum bis zur Anwendung des Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 durch Benennung. Zugleich ist das Bundesamt für Sicherheit in der Informationstechnik als zentrale Stelle für Informationssicherheit auf nationaler Ebene gemäß § 1 Satz 2 BSIG die auf Bundesebene zuständige Behörde.

Zu Absatz 3

§ 3 Absatz 3 schafft die erforderliche Rechtsgrundlage, damit die nach Absatz 1 und 2 zuständigen Behörden neben der Notifizierung den Konformitätsbewertungsstellen eine entsprechende Befugnis unter Beachtung der Anforderungen aus Artikel 30 Absatz 4 der Verordnung (EU) erteilen können, Konformitätsbewertungstätigkeiten vornehmen zu können. Die Vorschrift sieht zudem Ermessen der zuständigen Behörden vor, die Befugnis unter Bedingungen oder Auflagen zu erteilen sowie diese zu befristen und unter den Vorbehalt des Widerrufs und/oder nachträglicher Auflagen zu stellen. Dies dient der Effektivität des Verwaltungsvollzuges.

Zu Absatz 4

§ 3 Absatz 4 regelt, welche Rolle der Deutschen Akkreditierungsstelle im Rahmen der Durchführung der Verordnung (EU) 2024/1689 zukommt.

Gemäß Artikel 28 Absatz 1 der Verordnung (EU) 2024/1689 sind die notifizierenden Behörden grundsätzlich für die Einrichtung und Durchführung der erforderlichen Verfahren zur Bewertung, Benennung und Notifizierung von Konformitätsbewertungsstellen und für deren Überwachung zuständig. Diese Verfahren werden von den notifizierenden Behörden in Zusammenarbeit mit den notifizierenden Behörden anderer Mitgliedstaaten entwickelt.

Absatz 4 macht von der in Artikel 28 Absatz 2 der Verordnung (EU) 2024/1689 geregelten Option Gebrauch und benennt in Satz 1 die Deutsche Akkreditierungsstelle als für die Bewertung und Überwachung von Konformitätsbewertungsstellen gemäß der Verordnung (EU) 2024/1689 zuständige Stelle, sofern sie diese Aufgabe auch im Rahmen der in Anhang Abschnitt A der Verordnung (EU) genannten Harmonisierungsrechtsvorschriften der Europäischen Union wahrnimmt und die Konformitätsbewertungsstellen ihren Sitz in Deutschland haben.

In Satz 2 wird die Deutsche Akkreditierungsstelle als für die Bewertung und Überwachung von Konformitätsbewertungsstellen gemäß der Verordnung (EU) 2024/1689 zuständige Stelle im Bereich von Anhang III Nummer 1 der Verordnung (EU) 2024/1689 bestimmt.

Zu Absatz 5

Das Recht aus Artikel 69 der Verordnung (EU) 2024/1689 steht nach dem Wortlaut der Vorschrift den Mitgliedsstaaten zu. Aus sachlichen Gründen wird hiermit gesetzlich klargestellt, dass dieses Recht auch von der Bundesnetzagentur sowie den übrigen notifizierenden Behörden in Anspruch genommen werden kann.

Zu § 4 (KI-Marktüberwachungskammer)

Zu Absatz 1 und Absatz 2

Artikel 74 Absatz 8 der Verordnung (EU) 2024/1689 sieht vor, dass für bestimmte

Hochrisiko-KI-Systeme Marktüberwachungsbehörden benannt werden, die entweder die für den Datenschutz zuständigen Aufsichtsbehörden sind oder die in den Artikeln 41 bis 44 der Richtlinie (EU) 2016/680 festgelegten Bedingungen erfüllen. Hierbei geht es um Hochrisiko-KI-Systeme in den Bereichen Biometrie (Anhang III Nummer 1 der Verordnung (EU) 2024/1689), sofern diese Systeme für Strafverfolgungszwecke, Grenzmanagement und Justiz und Demokratie eingesetzt werden, und um Hochrisiko-KI-Systeme in den Bereichen Strafverfolgung, Migration, Asyl und Grenzkontrolle sowie Rechtspflege und demokratische Prozesse (Anhang III Nummern 6, 7 und 8 der Verordnung (EU) 2024/1689).

Aufgrund der hohen Schutzgüter, die in diesen Bereichen betroffen sein können, sollte die Stelle möglichst hochrangig besetzt sein. Das wird durch § 4 Absatz 1 dieses Gesetzes sichergestellt.

Gleichzeitig wird durch § 4 Absatz 1 und 2 dieses Gesetzes sichergestellt, dass die Anforderungen der Artikel 41 bis 44 der Richtlinie (EU) 2016/680 erfüllt sind. Der Präsident oder die Präsidentin der BNetzA und die Vizepräsidentinnen und Vizepräsidenten werden durch den Bundespräsidenten und damit vom Staatsoberhaupt nach Artikel 43 der Richtlinie (EU) 2016/680 ernannt (§ 3 Absatz 4 BEGTPG). Das Verfahren zur Ernennung, Amtszeiten, Wiederernennung Personalauswahl und Unvereinbarkeitsregeln sind ebenfalls im BEGTPG gesetzlich geregelt.

Die Vorschriften regeln weiter den Zugriff auf Personal- und Sachressourcen.

Zu Absatz 3

Diese Vorschrift stellt die völlige Unabhängigkeit nach Artikel 41 Absatz 2 der Richtlinie (EU) 2016/680 sicher, auf die in Artikel 74 Absatz 8 der Verordnung (EU) 2024/1689 verwiesen wird.

Zu Absatz 4

Die völlige Unabhängigkeit der KI-Marktüberwachungskammer nach Artikel 41 Absatz 2 der Richtlinie (EU) 2016/680 bewegt sich im Spannungsfeld mit dem Grundsatz demokratischer Rechenschaftspflichten und Legitimation. Durch eine Berichtspflicht gegenüber dem Bundestag wird eine demokratische Kontrolle sichergestellt.

Zu Absatz 5

Zur Vermeidung von Doppelstrukturen und sich widersprechenden Entscheidungen im konkreten Einzelfall ist es erforderlich, die Aufgaben der Marktüberwachungsbehörden betreffend Artikel 26 Absatz 10 und Artikel 5 Absatz 2 und 3 der Verordnung (EU) 2024/1689 einzuschränken, soweit dort für Betreiber eines Hochrisiko-KI-Systems zur biometrischen Fernfernidentifizierung Anforderungen für den Einsatz eines solchen Systems im Einzelfall aufgestellt werden, die bereits einer justiziellen Überprüfbarkeit der Entscheidung im Einzelfall unterliegen. Bezüglich der Dokumentation nach Artikel 26 Absatz bedeutet dies zum Beispiel, dass die unabhängige KI- Marktüberwachungskammer nur das Vorliegen einer Dokumentation prüft, nicht die Rechtmäßigkeit der dokumentierten Ermittlungsmaßnahme.

Zu § 5 Koordinierungs- und Kompetenzzentrum für die Durchführung der Verordnung (EU) 2024/1689

Neben der Bundesnetzagentur werden in bestimmten Bereichen auch die bereits bestehenden Behörden als Marktüberwachungsbehörden und, soweit einschlägig, notifizierende Behörden gemäß der Verordnung (EU) 2024/1689 benannt (vgl. §§ 2 und 3 dieses Gesetzes). Das betrifft die Bereiche, in denen die in Anhang I Abschnitt A genannten Harmonisierungsrechtsvorschriften der Europäischen Union Anwendung finden sowie den Finanzdienstleistungsbereich und den Bereich der Medienaufsicht. Hierdurch entsteht aufgrund der Vielzahl unterschiedlicher Behörden ein sehr hoher Bedarf an KI-Fachkräften, die jede einzelne Behörde bereithalten müsste (vgl. Artikel 70 Absatz 3 der Verordnung (EU) 2024/1689).

Zu Satz 1

Um der begrenzten Verfügbarkeit von KI-Fachkräften zu begegnen und Ressourcen und KI-Expertise zu bündeln, wird in § 5 Satz 1 bei der Bundesnetzagentur ein zentrales Koordinierungs- und Kompetenzzentrum für die Verordnung (EU) 2024/1689 eingerichtet.

Zu Satz 2

Satz 2 regelt die Aufgaben des Zentrums. Das Zentrum wird permanenter Ansprechpartner für die nach § 2 und § 3 zuständigen Behörden (Nummer 1), Koordinierungsstelle für diese

Behörden und sonstige Behörden (Nummer 2) und wichtiger Akteur bei der Aufstellung von Verhaltenskodizes (Nummer 3) sowie der Einbeziehung der Zivilgesellschaft, der Gewerkschaften, der Wirtschaft und der Wissenschaft und Forschung sowie der Länder

(Nummer 4). Das dient der einheitlichen Wirksamkeit der Verordnung (EU) 2024/1689 in Deutschland.

Zu Nummer 1

Die Zuständigkeiten anderer Behörden und Stellen, wie die des im Aufbau befindlichen Beratungszentrums für Künstliche Intelligenz („BeKI“), als zentrale Anlauf- und Koordinierungsstelle für KI-Vorhaben in der Bundesverwaltung bleiben unberührt. Die Aufgaben des Zentrums beziehen sich nur auf die Verordnung (EU) 2024/1689.

Zu Nummer 2

Aufgrund der für die unterschiedlichen Produkte zuständigen nationalen Marktüberwachungsbehörden ist eine einheitliche Anwendung und Auslegung der Verordnung (EU) 2024/1689 von besonderer Bedeutung. Deshalb soll das Zentrum eine koordinierende Rolle (ohne Weisungsbefugnis) einnehmen. Zu diesem Zweck kann das Zentrum geeignete Ausschüsse einrichten, denen insbesondere die zuständigen Marktüberwachungsbehörden und notifizierenden Behörden angehören. Die Ausgestaltung kann sich dabei an bewährten Formaten, z. B. nach dem Vorbild von Bund-Länder- Ausschüssen, orientieren. Auch die jeweils zuständigen sonstigen Bundesbehörden (z.B. Bundesanstalt für Arbeitsschutz und Arbeitsmedizin, Sicherheitsbehörden) sind in Abhängigkeit ihrer jeweiligen Kompetenz entsprechend einzubinden.

Zu Nummer 3

Das Zentrum soll bei der Erleichterung der Erstellung von Verhaltenskodizes eine aktive Rolle einnehmen. Zu diesem Zweck fördert es den Austausch zwischen Zivilgesellschaft, Wirtschaft und Wissenschaft. Berücksichtigt werden insbesondere Vertreterinnen und Vertreter vulnerabler Gruppen, einschließlich Menschen mit Behinderungen, um die in Artikel 95 Absatz 2 der Verordnung (EU) 2024/1689 genannten Zielsetzungen zu erreichen.

Zu Nummer 4

Mit dieser Vorschrift wird sichergestellt, dass das Zentrum bei seiner Aufgabenerfüllung die Zivilgesellschaft, die Gewerkschaften, die Wirtschaft und die Wissenschaft und Forschung sowie die Länder angemessen beteiligt. Durch die Beteiligung soll gewährleistet werden, dass ein regelmäßiger Austausch mit den genannten Akteuren erfolgt und vorhandene Expertise aus Wissenschaft und Praxis genutzt wird, um die Bundesnetzagentur bei der Durchführung der Verordnung (EU) 2024/1689 zu unterstützen. Verfahren und Ausgestaltung der angemessenen, transparenten und regelmäßigen Einbeziehung sind von der Bundesnetzagentur mit dem Bundesministerium für Digitales und Staatsmodernisierung und den betroffenen Ressorts abzustimmen und öffentlich bekannt zu geben (zum Beispiel auf der Homepage der Bundesnetzagentur).

Zu Satz 3

Zu den externen Expertinnen und Experten, die die BNetzA hinzuziehen kann, zählen auch die Datenlabore der Bundesregierung und die Algorithmenbewertungsstelle für Behörden und Organisationen mit Sicherheitsaufgaben (ABOS), um die dort aufgebaute Expertise zu künstlicher Intelligenz einfließen zu lassen.

Zu Satz 4

Hierfür wird auf die Ausführungen zu Satz 2 Nummer 2 verwiesen.

Zu § 6 (Zentrale Anlaufstelle)

Eine der Marktüberwachungsbehörden ist gemäß Artikel 70 Absatz 2 Satz 3 der Verordnung (EU) 2024/1689 zudem als zentrale Anlaufstelle für die Verordnung (EU) 2024/1689 zu benennen.

Zu Absatz 1

Absatz 1 benennt die Bundesnetzagentur als zentrale Anlaufstelle im Sinne von Artikel 70 Absatz 2 Satz 3 der Verordnung (EU) 2024/1689. Das bedeutet, dass sie zentraler deutscher Ansprechpartner auf Ebene der Mitgliedstaaten und der Europäischen Union mit Blick auf die Anwendung der Verordnung (EU) 2024/1689 ist (vgl. Erwägungsgrund 153 der Verordnung (EU) 2024/1689).

Die Zuständigkeitsverteilung aus der Umsetzung des Artikel 70 Absatz 1 Satz 1 der Verordnung (EU) 2024/1689 in § 2 und § 3 bleibt von dieser Regelung unberührt.

Zu Absatz 2

Zur Erfüllung ihrer Aufgaben nach § 6 Absatz 3 wird die zentrale Anlaufstelle ermächtigt, die hierfür nötigen Informationen von den nach diesem Gesetz zuständigen Behörden zu erhalten. Dabei ist es mit Blick auf die Vermeidung bürokratischen Aufwands infolge organisatorischer oder personeller Änderungen und der Pflicht zur Veröffentlichung vorteilhaft, wenn diese Behörden der zentralen Anlaufstelle Funktionsadressen für die elektronische Kommunikation mitteilen.

Zu Absatz 3

Die Regelung setzt Artikel 70 Absatz 2 Satz 1 und Satz 2 der Verordnung (EU) 2024/1689 um. Es entspricht dem Gedanken aus dem Erwägungsgrund 153, dass die zentrale Anlaufstelle Interesse der Effizienz gegenüber der Europäischen Union Ansprechpartnerin ist und Meldung über die Namen, Aufgaben und elektronischen Kontaktmöglichkeiten der notifizierenden Behörden und der Marktüberwachungsbehörden macht. Die Fristen für die Mitteilung der Informationen an die zentrale Informationsstelle ergeben sich hinsichtlich der elektronischen Kontaktadressen mit einer Frist bis zum 2. August 2025 aus Artikel 70 Absatz 2 Satz 2 der Verordnung (EU) 2024/1689, hinsichtlich der Namen und der Aufgaben der Behörden mit einer Frist bis zum 2. August 2026 aus Artikel 113 Unterabsatz 2 der Verordnung (EU) 2024/1689 sowie hinsichtlich der Namen und der Aufgaben der in Umsetzung der in Artikel 6 Absatz 1 und der entsprechenden Pflichten aus der Verordnung (EU) 2024/1689 mit einer Frist bis zum 2. August 2027 aus Artikel 113 Unterabsatz 3 Buchstabe c der Verordnung (EU) 2024/1689.

Zu Absatz 4

Die zentrale Anlaufstelle ist gegenüber der Öffentlichkeit und anderen Ansprechpartnern auf Ebene der Mitgliedstaaten und der Europäischen Union tätig (Erwägungsgrund 153). In Artikel 64 Absatz 2 der Verordnung (EU) 2024/1689 sind die Mitgliedstaaten verpflichtet, dem Büro für Künstliche Intelligenz die ihm gemäß dieser Verordnung übertragenen Aufgaben zu erleichtern. In diesem Sinne fungiert die zentrale Anlaufstelle als Koordinatorin in der Schnittstelle zu dem bei der Europäischen Kommission eingerichteten Büro für Künstliche Intelligenz.

Zu Absatz 5

Satz 1

Für die Erfüllung von in der Verordnung (EU) 2024/1689 genannten Melde- und Berichtspflichten auf Ebene der Mitgliedstaaten und der Europäischen Union sind die nach diesem Gesetz zuständigen Behörden verantwortlich, die diese Pflichten über die zentrale Anlaufstelle erfüllen. Hierzu gehören zum Beispiel die Berichtspflichten nach Artikel 57 Absatz 16, Artikel 74 Absatz 2 (auch gegenüber den einschlägigen nationalen Wettbewerbsbehörden) und Artikel 99 Absatz 11 der Verordnung (EU) 2024/1689 sowie die Beantwortung von Anfragen der Europäischen Kommission nach Artikel 112 Absatz 8 der Verordnung (EU) 2024/1689. Die zum Bericht verpflichteten Behörden stellen der zentralen Anlaufstelle die hierfür erforderlichen Dokumente zur Verfügung.

Satz 2

Das gilt jedoch nicht für die Berichtspflichten gemäß Artikel 70 Absatz 6 der Verordnung (EU) 2024/1689, für deren Erfüllung das Bundesministerium für Digitales und Staatsmodernisierung zuständig ist.

Satz 3

Anderweitige Melde- und Berichtspflichten bleiben unberührt. Die Bundesanstalt für Finanzdienstleistungsaufsicht übermittelt die im Rahmen ihrer Marktüberwachungstätigkeit gewonnenen Erkenntnisse selbst an die Europäische Zentralbank bzw. an die Deutsche Bundesbank übermitteln, soweit sie für die Aufsichtsaufgaben der Europäischen Zentralbank nach der Verordnung (EU) Nr. 1024/2013 oder der Deutschen Bundesbank nach dem Kreditwesengesetz, dem Zahlungsdiensteaufsichtsgesetz, dem Wertpapierinstitutsgesetz, dem Kreditzweitmarktgesetz oder dem Kryptomärkteaufsichtsgesetz von Bedeutung sind. Außerdem erfüllt die Bundesanstalt für Finanzdienstleistungsaufsicht ihre in der Verordnung (EU) 2024/1689 genannten Meldeund Berichtspflichten auf Ebene der Mitgliedstaaten und der Europäischen Union selbst, soweit rechtliche Gründe einer Erfüllung über die zentrale Anlaufstelle entgegenstehen. Dies kann z.B. der Fall sein, wenn Unionsrecht den direkten Austausch zwischen Finanzaufsichtsbehörden vorsieht.

Zu § 7 Unterrichtung bei Nichtkonformität oder Risiken eines KI-Systems

Zu Absatz 1 und 2

Artikel 79 und 81 der Verordnung (EU) 2024/1689 enthalten Regelungen zum Umgang mit KI-Systemen, die ein Risiko im Sinne des Artikels 3 Nummer 19 der Verordnung (EU) 2019/1020 (d.h. für die Gesundheit oder Sicherheit oder Grundrechte von Personen) bergen und für die die zuständige Marktüberwachungsbehörde festgestellt hat, dass sie die in der Verordnung (EU) 2024/1689 festgelegten Anforderungen und Pflichten nicht erfüllen.

Artikel 82 der Verordnung (EU) 2024/1689 regelt den Umgang mit KI-Systemen, die zwar der Verordnung (EU) 2024/1689 entsprechen, aber dennoch ein Risiko für die Gesundheit oder Sicherheit von Personen, für die Grundrechte oder für andere Aspekte des Schutzes öffentlicher Interessen darstellen. Diese Vorschriften enthalten Regelungen dafür, dass die Marktüberwachungsbehörde zu der Auffassung gelangt, dass das Risiko oder die Nichtkonformität nicht auf ihr nationales Hoheitsgebiet beschränkt ist. Artikel 79 Absatz 3, 5 Satz 2 und Absatz 7 sowie Artikel 81 Absatz 2 Satz 1 und 2 der Verordnung (EU)

2024/1689 verpflichten in diesem Fall die zuständige Marktüberwachungsbehörde, die Kommission und die anderen Mitgliedstaaten der Europäischen Union über die Nichtkonformität von KI-Systemen, getroffene Maßnahmen oder andere Informationen zu unterrichten.

§ 7 Absatz 1 und 2 bestimmen, dass die zuständige Marktüberwachungsbehörde die nach

Artikel 79 Absatz 3, 5 Satz 2 und Absatz 7 sowie Artikel 81 Absatz 2 Satz 1 und 2 der Verordnung (EU) 2024/1689 vorgesehenen Unterrichtungen über die Bundesanstalt für Arbeitsschutz und Arbeitsmedizin vorzunehmen hat. Für viele Rechtsvorschriften der Europäischen Union erfolgen derartige Meldungen bereits heute durch die Bundesanstalt für Arbeitsschutz und Arbeitsmedizin, sodass diese die Aufgabe aus Gründen der Effizienz zukünftig auch im Rahmen der Verordnung (EU) 2024/1689 übernehmen soll.

Zu Absatz 3

Die Bundesanstalt für Arbeitsschutz und Arbeitsmedizin unterstützt die Marktüberwachungsbehörden der Länder.

In dem dynamischen Feld der KI ist es erforderlich, dass die Bundesanstalt für Arbeitsschutz und Arbeitsmedizin ihre evidenzbasierte Expertise von KI im Bereich des Arbeitsschutzes, der Produktsicherheit sowie der Marktüberwachung stetig anpasst und erweitert. Dafür wird bei der Bundesanstalt für Arbeitsschutz und Arbeitsmedizin ein Transformationsprozess notwendig sein. Dieser beinhaltet die Etablierung einer evidenzbasierten Wissensgenerierung, die sich kontinuierlich an den Erkenntnissen aus der Praxis sowie den Bedürfnissen der Marktüberwachungsbehörden orientiert.

Das in diesem Kontext generierte Wissen kommt zudem der deutschen Wirtschaft unmittelbar über entsprechende Beratungsangebote zugute, in noch stärkerem Maße jedoch indirekt durch die Unterstützung der Marktüberwachung. Marktüberwachung ist im europäischen Binnenmarkt ein Schlüsselinstrument zu Sicherstellung eines fairen Wettbewerbs und damit zum Schutz der europäischen Wirtschaft vor unsicheren Produkten aus Drittstaaten.

Zu § 8 (Zentrale Beschwerdestelle)

§ 8 dient der Konkretisierung von Artikel 85 der Verordnung (EU) 2024/1689 und schafft eine zentrale Anlaufstelle für Beschwerden über Verstöße gegen Bestimmungen der Verordnung (EU) 2024/1689.

Artikel 85 der Verordnung (EU) 2024/1689 normiert bereits das Recht jeder natürlichen oder juristischen Person, die Grund zu der Annahme hat, dass gegen die Bestimmungen der Verordnung (EU) verstoßen wurde, bei der betreffenden Marktüberwachungsbehörde Beschwerde einzureichen. Dabei ist vorgesehen, dass die Beschwerden für die Zwecke der Marktüberwachungstätigkeiten berücksichtigt und nach dem einschlägigen von den Marktüberwachungsbehörden dafür eingerichteten Verfahren behandelt werden.

Zu Absatz 1

Absatz 1 gestaltet das Beschwerderecht des Artikels 85 der Verordnung (EU) 2024/1689 nutzerfreundlich aus. Beschwerdeführer können ihre Beschwerde unabhängig von der Bestimmung der Verordnung (EU) 2024/1689, deren Missachtung sie rügen, bei der Bundesnetzagentur einreichen.

Dem Beschwerdeführer wird somit die Prüfung der Zuständigkeit abgenommen und seine Beschwerde wird nach Absatz 2 an die zuständige Behörde weitergeleitet. Angesichts der unterschiedlichen nach § 2 zuständigen Marktüberwachungsbehörden wird dadurch die praktische Ausübung des Beschwerderechts erheblich erleichtert und die Beschwerdeführer können effektiv von ihrem Recht Gebrauch machen, Beschwerden wegen Verstößen gegen die Verordnung (EU) 2024/1689 anzubringen.

Zu Absatz 2

Absatz 2 legt fest, dass die Bundesnetzagentur diese Beschwerde an die nach diesem

Gesetz zuständige Marktüberwachungsbehörde (Nummer 1), aber auch an jede andere in ihrer Zuständigkeit betroffene Behörde oder öffentliche Stelle nach Artikel 77 Absatz 1 der Verordnung (EU) 2024/1689 (Nummer 2) weiterleitet.

Sollte die Bundesnetzagentur die Beschwerde an eine andere nach § 2 zuständige Marktüberwachungsbehörde abgeben, informiert sie den Beschwerdeführer über die Abgabe und die zuständige Marktüberwachungsbehörde.

Zu Absatz 3

Zur Schaffung eines bürgerfreundlichen Beschwerdemanagements soll die Bundesnetzagentur die Weiterleitung von Beschwerden, für die eine Behörde oder öffentliche Stelle nach § 2 zuständig ist, zugänglich und barrierefrei sowie nutzerfreundlich und effizient ausgestalten und moderne technische Systeme schon bei Eingabe der Beschwerde durch die Beschwerdeführer nutzen. Hierzu wird auf die Anforderungen der Barrierefreie-Informationstechnik-Verordnung verwiesen.

Zu Absatz 4

Absatz 4 regelt ergänzend die Weiterleitung einer Beschwerde an die Bundesnetzagentur, wenn die Beschwerde bei einer anderen Marktüberwachungsbehörde eingereicht wurde und diese Behörde nicht für die Bearbeitung der Beschwerde zuständig ist. Für den Fall, dass diese Behörde zuständig ist, hat sie der Bundesnetzagentur zumindest eine Kopie der Beschwerde zur Verfügung zu stellen, damit die Bundesnetzagentur einen Überblick über alle Beschwerden erhält.

Zu Abschnitt 2 (Zusammenarbeit)

Zu § 9 (Zusammenarbeit der zuständigen Behörden)

Da in § 2 und § 3 verschiedene Behörden als zuständige Behörden benannt werden und darüber hinaus auch noch weitere Behörden in ihren jeweiligen Zuständigkeitsbereichen durch die Verordnung (EU) 2024/1689 betroffen sind, bedarf es einer Regelung zur Zusammenarbeit, um eine effektive und wirksame Durchführung der Verordnung (EU) 2024/1689 in Deutschland zu gewährleisten.

Zu Absatz 1

Absatz 1 regelt das Verhältnis der nach § 2 und § 3 zuständigen Behörden untereinander. Sie werden zur kooperativen und vertrauensvollen Zusammenarbeit verpflichtet. Zudem greift Absatz 1 den in Artikel 70 Absatz 7 der Verordnung (EU) 2024/1689 enthaltenen Gedanken eines Erfahrungsaustauschs zwischen den zuständigen nationalen Behörden auf.

Zu Absatz 2

Durch Marktüberwachungsmaßnahmen der zuständigen Marktüberwachungsbehörden können die Zuständigkeiten von Behörden und öffentlichen Stellen nach Artikel 77 Absatz 1 der Verordnung (EU) 2024/1689 sowie sonstigen Behörden betroffen sein (z.B. im Bereich des Arbeitsschutzes). Zur besseren Koordination etwaiger Maßnahmen, ist es erforderlich, dass die Marktüberwachungsbehörden mit den betroffenen Behörden oder öffentlichen Stellen Informationen austauschen und bei der Durchführung von Marktüberwachungsmaßnahmen zusammenarbeiten.

Zu Absatz 3

Zu Satz 1

Die zuständige Rechts- oder Fachaufsicht einer öffentlichen Stelle des Bundes erhält von der Marktüberwachungsbehörde die Gelegenheit zur Stellungnahme, bevor diese gegenüber einer ihr nachgeordneten Behörde eine Maßnahme wegen Verstoßes gegen die Verordnung (EU) 2024/1689 erlässt. Damit sollen sich widersprechende Entscheidungen von Marktüberwachungsbehörde und Rechts- oder Fachaufsicht vermieden werden. Um nicht in das Verfahrensrecht der Länder einzugreifen, gilt das nicht für die zuständige Rechts- oder Fachaufsicht einer öffentlichen Stelle der Länder.

Zu Satz 2

Der Gelegenheit zu einer Stellungnahme bedarf es nicht, wenn Gefahr im Verzug ist, die sofortige Maßnahme im öffentlichen Interesse notwendig erscheint oder ihr ein zwingendes öffentliches Interesse entgegensteht.

Zu Satz 3

Die Stellungnahme der Rechts- oder Fachaufsichtsbehörde soll auch eine Darstellung der aufsichtsrechtlichen Maßnahmen enthalten, die aufgrund der Mitteilung der Behörde oder öffentlichen Stelle nach Absatz 2 Satz 1 getroffen worden sind.

Zu Satz 4

Satz 2 gilt nicht, soweit es sich bei der öffentlichen Stelle um Strafverfolgungsbehörden im Sinne des Artikels 3 Nummer 45 handelt.

Zu Absatz 4

Absatz 4 regelt das Verhältnis der nach § 2 und § 3 zuständigen Behörden mit sonstigen Behörden, denen nach der Verordnung (EU) 2024/1689 eine eigenständige Rolle zukommt.

Dabei handelt es sich – in einer beispielhaften, nicht abschließenden Aufzählung insbesondere um die Datenschutzaufsichtsbehörden des Bundes und der Länder, die Antidiskriminierungsstelle des Bundes und, sofern nach Artikel 77 Absatz 1 der Verordnung (EU) 2024/1689 benannt, die Antidiskriminierungsstellen der Länder, das Bundesamt für Sicherheit in der Informationstechnik, das Bundeskartellamt, das Bundesministerium für Forschung, Technologie und Raumfahrt sowie die Bundeszentrale für Kinder- und Jugendmedienschutz. Die nach § 2 und § 3 zuständigen Behörden haben die genannten Behörden bei der Wahrnehmung ihrer Aufgaben nach der Verordnung (EU) 2024/1689 einzubeziehen.

Die Zusammenarbeit der nach diesem Gesetz zuständigen Marktüberwachungsbehörden mit der nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 benannten Behörde (und bis zu deren Benennung des Bundesamtes für Sicherheit in der Informationstechnik) wird in § 10 konkretisiert.

Betreffend die Einbeziehung des Bundeskartellamts sind insbesondere laut Artikel 74 Absatz 2 der Verordnung (EU) 2024/1689 die Marktüberwachungsbehörden verpflichtet, dem Bundeskartellamt jährlich alle Informationen, die sie Verlauf ihrer Marktüberwachungstätigkeiten erlangt haben und die für die Anwendung von Unionsrecht im Bereich der Wettbewerbsregeln von Interesse sein könnten, zu melden (was gemäß § 6 Absatz 5 dieses Gesetzes über die Bundesnetzagentur als Zentrale Anlaufstelle erfolgt). Aber auch über diese Vorgabe einer jährlich erfolgenden Meldung hinaus sollen die Marktüberwachungsbehörden und das Bundeskartellamt Informationen austauschen können, soweit dies zur Erfüllung ihrer Aufgaben erforderlich ist. Ein solcher Austausch erfolgt zwischen dem Bundeskartellamt und der Bundesnetzagentur im Rahmen des insoweit einschlägigen § 50f Absatz 1 des Gesetzes gegen Wettbewerbsbeschränkungen (GWB). Nach § 50f GWB können unabhängig von der jeweils gewählten Verfahrensart Informationen einschließlich personenbezogener Daten und Betriebsund Geschäftsgeheimnisse ausgetauscht und in den jeweiligen Verfahren verwertet werden. Die Vorschriften des Gesetzes gegen Wettbewerbsbeschränkungen sowie der Regelungen zu den Aufgaben, Befugnissen und Zuständigkeiten der Kartellbehörden bleiben unberührt.

In Fällen, in denen die Marktüberwachungsbehörden den Kinder- und Jugendmedienschutz betroffen sehen, sollen sie die Bundeszentrale für Kinder- und Jugendmedienschutz einbeziehen. Durch Bezugnahme auf den Artikel 24 der Charta und im Übereinkommen der Vereinten Nationen über die Rechte des Kindes (UNCRC) und der Allgemeinen Bemerkung Nr. 25 des UNCRC in dem Erwägungsgrund 48 der Verordnung (EU) 2024/1689, wird die Bedeutung des Jugendmedienschutzes im Rahmen von KI-Systemen hervorgehoben. Es wird betont, dass Kinder Rechte innehaben, die über die in der Charta geschützten Rechte hinausgehen. Die Bundeszentrale für Kinder- und Jugendmedienschutz ist die für die Einhaltung dieser Rechte zuständige Behörde. Aus diesem Grund und obwohl die Bundeszentrale für Kinder- und Jugendmedienschutz keine eigenständige Rolle im Rahmen der Verordnung (EU) 2024/1689 zukommt, gehört sie zu den Behörden, die von den Marktüberwachungsbehörden einzubeziehen sind.

Als ein mögliches Forum für eine behördenübergreifende Koordination kommt eine noch zu formalisierende Zusammenarbeit und weitere Ausgestaltung im Rahmen des bestehenden Digital Cluster Bonn in Betracht.

Zu Absatz 5

Bei der Zusammenarbeit ist die Vertraulichkeit gemäß Artikel 78 der Verordnung (EU) 2024/1689 zu beachten. Daher regelt Absatz 5, dass die in Absatz 1, 2 und 4 genannten Behörden Informationen austauschen können, soweit dies zur Aufgabenerfüllung unbedingt erforderlich ist. Die in den Sätzen 3 und 4 aufgenommenen Regelungen dienen der Klarstellung und sind Ausdruck der in Artikel 78 Absatz 2 der Verordnung (EU) 2024/1689 getroffenen Regelung, dass ausschließlich „unbedingt erforderliche“ Daten ausgetauscht werden. Die Formulierung ist an die Formulierung aus § 47i GWB angelehnt.

Zu Absatz 6

Die Vorschrift erlaubt Zuständigkeitsbereich der Bundesanstalt für Finanzdienstleistungsaufsicht den Austausch von Informationen mit den relevanten Stellen, sofern sie zur Erfüllung von Aufgaben nach diesem Gesetz oder der Verordnung (EU) 2024/1689 benötigt werden. Diese Stellen werden als weitere Regelbeispiele für Ausnahmen zu den Verschwiegenheitspflichten in § 9 Absatz 1 Satz 1 KWG, § 12 Absatz 1 Satz 1 WpIG, § 8 Absatz 1 Satz 1 KMAG, § 309 Absatz 5 VAG sowie § 5 Satz 3 Kreditzweitmarktgesetz, § 6 Satz 3 ZAG § 8 Satz 2 KAGB, jeweils in Verbindung mit § 9 Absatz 1 Satz 1 KWG ergänzt.

Für inländische Empfänger wird nach Satz 2 wiederum einer Verschwiegenheitspflicht angeordnet. Die Regelung ist § 9 Absatz 1 Satz 5 KWG nachgebildet.

Zu Absatz 7

Die Vorschrift orientiert sich an den Vorgaben des § 9 Absatz 1 Satz 6 KWG, wonach die Empfänger „weitgehend entsprechenden Verschwiegenheitspflichten“ unterliegen müssen. Dies wird im Europäischen Wirtschaftsraum im Anwendungsbereich der Verordnung (EU) 2024/1689 durch deren Artikel 78 gewährleistet.

Zu § 10 (Zusammenarbeit der Marktüberwachungsbehörden mit der nach Artikel 52

Absatz 2 der Verordnung (EU) 2024/2847 benannten Behörde)

Zu Absatz 1

Bei KI-Systemen, die in den Anwendungsbereich der Verordnung (EU) 2024/2847 fallen und nach Artikel 6 der Verordnung (EU) 2024/1689 als Hochrisiko-KI-Systeme eingestuft sind, sind gemäß Artikel 52 Absatz 14 Satz 1 der Verordnung (EU) 2024/2847 die für die Zwecke der Verordnung (EU) 2024/1689 benannten Marktüberwachungsbehörden auch für die nach der Verordnung (EU) 2024/2847 erforderlichen Marktüberwachungstätigkeiten zuständig. Artikel 52 Absatz 14 Satz 2 und Satz 3 Verordnung (EU) 2024/2847 regelt die Zusammenarbeit zwischen den nach der Verordnung (EU) 2024/1689 zuständigen Marktüberwachungsbehörden und der nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 zuständigen Marktüberwachungsbehörde, soweit sich die Aufgabenbereiche berühren. § 10 Absatz 1 dieses Gesetzes konkretisiert diese Zusammenarbeit. Ziel dabei ist es insbesondere, eine wirksame und effiziente Durchsetzung der Vorgaben der Verordnung (EU) 2024/1689 sicherzustellen, die auch ein angemessenes Maß an Cybersicherheit in Produkten mit digitalen Elementen gewährleistet und zugleich die unterschiedliche Anwendung von Cybersicherheitsanforderungen nach Anhang I der Verordnung (EU) 2024/2847 vermeidet. Entscheidend dafür ist eine kooperative und vertrauensvolle Zusammenarbeit der Behörden untereinander, welche die Expertise und Zuständigkeiten in den verschiedenen Themenfeldern berücksichtigt. Die Regelung des § 10 Absatz 1 Satz 2 bezieht sich daher über die Zuständigkeiten der jeweils zuständigen Marktüberwachungsbehörde gemäß der Verordnung (EU) 2024/1689 hinaus auch auf die Mitteilung von Beobachtungen, die für die Arbeit der anderen Behörde von Bedeutung sein könnte. Da Produkte nach Verordnung (EU) 2017/745 und Verordnung (EU) 2017/746 nicht den Anwendungsbereich der Verordnung (EU) 2024/2847 fallen, gilt § 10 nicht für diese Produkte.

Die von den Betroffenen zu erfüllenden und nachzuweisenden Anforderungen werden gesetzlich durch die Verordnung (EU) 2024/1689 festgelegt, und zwar europaweit einheitlich. Die Anforderungen an Hochrisiko-KI-Systeme ergeben sich aus den Artikeln 9 bis 15 der Verordnung (EU) 2024/1689, einschließlich der Cybersicherheitsanforderungen in Artikel 15 der genannten Verordnung. Zugleich gelten Hochrisiko-KI-Systeme nach Artikel Absatz der Verordnung (EU) als mit den Cybersicherheitsanforderungen gemäß Artikel 15 der Verordnung (EU) 2024/1689 konform, wenn sie die im Anhang I der Verordnung (EU) 2024/2847 genannten Cybersicherheitsanforderungen erfüllen. Mehr noch wird die Konformität mit der Verordnung (EU) 2024/1689 nach Artikel 42 Absatz 2 Verordnung (EU) 2024/1689 vermutet, soweit die Anforderungen der Verordnung (EU) 2024/2847 eingehalten werden und sich decken. Dieser Umstand unterstreicht die Bedeutung der Zusammenarbeit der in § 10 Absatz 1 genannten Marktüberwachungsbehörden.

Zu Absatz 2

Im Rahmen der Zusammenarbeit informiert die nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 zu benennende Marktüberwachungsbehörde die jeweils nach diesem Gesetz zuständige Marktüberwachungsbehörde über Verdachtsfälle hinsichtlich der fehlenden Einhaltung von Anforderungen an die Cybersicherheit bei Hochrisiko-KI- Systemen. Eine mit Gründen versehene Einschätzung stellt die nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 zu benennende Marktüberwachungsbehörde der nach diesem Gesetz zuständigen Marktüberwachungsbehörde in der Regel möglichst zeitgleich mit der Information eines Verdachtsfalls zur Verfügung. Die jeweils nach diesem Gesetz zuständige Marktüberwachungsbehörde prüft daraufhin die Möglichkeit von Maßnahmen im Bereich der Cybersicherheit von Hochrisiko-KI-Systemen im Lichte der von der Marktüberwachungsbehörde nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 erhaltenen Anhaltspunkte. Die Prüfung erfolgt anhand der von der Bundesnetzagentur und der nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 zuständigen Marktüberwachungsbehörde gemeinsam erarbeiteter Prüfkriterien (Vorgaben). Hierdurch soll sichergestellt werden, dass die in Anhang I der Verordnung (EU) 2024/2847 beschriebenen Anforderungen national einheitlich angewendet werden.

Allerdings müssen dabei die bereits bestehenden Zuständigkeiten sektoraler Behörden für Fragen der Cybersicherheit beachtet werden. Eine Ausnahme besteht daher für die Marktüberwachung gegenüber Finanzunternehmen. Denn die Verordnung (EU) 2022/2554 (DORA-Verordnung) enthält umfassende eigenständige Cybersicherheitsregelungen speziell für den Finanzsektor. Die Bundesnetzagentur und die nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 zu benennende Marktüberwachungsbehörde erstellen daher im Rahmen der Verordnung (EU) 2024/1689 gemeinsame Prüfkriterien (Vorgaben) für Finanzunternehmen im Sinne der Verordnung (EU) 2022/2554 im Einvernehmen mit der Bundesanstalt für Finanzdienstleistungsaufsicht. Die Bundesanstalt für Finanzdienstleistungsaufsicht bleibt zudem im Rahmen ihrer Aufgaben und Befugnisse nach der DORA-Verordnung frei darin, als lex specialis eigenständige Cybersicherheits- Anforderungen aus der Verordnung (EU) 2022/2554 abzuleiten, insbesondere auch ohne das Einvernehmen der Bundesnetzagentur oder der nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 zu benennenden Marktüberwachungsbehörde. Dadurch kommt die bestehende Aufgabenteilung im Bereich der Cybersicherheit zum Ausdruck, wonach für den Finanzsektor allein die Bundesanstalt für Finanzdienstleistungsaufsicht, für die übrigen Wirtschaftsbereiche und die öffentliche Verwaltung hingegen das Bundesamt für Sicherheit in der Informationstechnik zuständig ist.

Die Details der Zusammenarbeit können in einer Verwaltungsvereinbarung geregelt werden.

Zu Absatz 3

Artikel 96 Absatz 1 Buchstabe a in Verbindung mit Artikel 15 Absatz 5 der Verordnung (EU) 2024/1689 sehen das Erstellen von europäischen Leitlinien durch die Europäische Kommission vor. Mit diesen europäischen Leitlinien wird dem Harmonisierungsgedanken Rechnung getragen.

Um eine konsistente und reibungslose Durchsetzung der Verordnung (EU) 2024/1689 sicherzustellen und Synergieeffekte durch Nutzung der spezifischen Expertise der nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 benannten Behörde zu erzielen, ist deren Mitwirkung an der Erstellung der Leitlinien der Europäischen Kommission sicherzustellen. Um diesen Prozess frühzeitig zu begleiten, sollte das Bundesamt für Sicherheit in der Informationstechnik diese Aufgabe bereits vor der Benennung einer Marktüberwachungsbehörde nach Artikel 52 Absatz 2 der Verordnung 2024/2847 wahrnehmen.

Auch die Mitarbeit an der Entwicklung der europäischen harmonisierten Normen im Sinne des Artikels 40 der Verordnung (EU) 2024/1689 und an der Festlegung gemeinsamer Spezifikationen im Sinne des Artikels 41 der Verordnung (EU) 2024/1689 zu den Anforderungen an die Cybersicherheit nach Artikel 15 Absatz 5 der Verordnung (EU) 2024/1689 sollte durch die nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 zu benennende Behörde wahrgenommen werden. Auch hier sollte sich das Bundesamt für Sicherheit in der Informationstechnik im Sinne einer frühen Beteiligung bereits vor der Benennung einer Marktüberwachungsbehörde nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 einbringen.

Die in § 2 Abs. 3 genannte Behörde arbeitet in selbem Umfang mit, sofern der Anwendungsbereich der Verordnung (EU) 2022/2554 betroffen ist.

Zu Absatz 4

Da dieses Gesetz zeitlich vor einer Benennung der Marktüberwachungsbehörde nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 in Kraft tritt, die nach diesem Gesetz zuständigen Marktüberwachungsbehörden also mit der Durchsetzung der Verordnung (EU) 2024/1689 beginnen, bevor eine solche Marktüberwachungsbehörde die Aufgaben in den Absätzen 1 bis 3 wahrnehmen kann, wird in Absatz 4 eine Regelung für die Übergangszeit geschaffen. Da diese Regelung der Entscheidung nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 nicht vorgreifen soll, ist sie zeitlich begrenzt auf den Zeitraum bis zur Anwendung des Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 durch Benennung. Zugleich ist das Bundesamt für Sicherheit in der Informationstechnik als zentrale Stelle für Informationssicherheit auf nationaler Ebene gemäß § 1 Satz 2 des Gesetzes über das Bundesamt für Sicherheit in der Informationstechnik die auf Bundesebene zuständige Behörde.

Zu Teil 3 (Befugnisse)

Zu § 11 (Befugnisse der zuständigen Behörden)

Zu Absatz 1

Zu Satz 1 und 2

Mit § 11 Absatz 1 Satz 1 werden allen nach diesem Gesetz benannten Marktüberwachungsbehörden und die von ihnen beauftragten Personen die Befugnisse gemäß Artikel 14 Absatz 4 und 5 und Artikel 16 der Verordnung (EU) 2019/1020 sowie die Befugnisse nach der Verordnung (EU) 2024/1689 übertragen (vgl. Artikel 74 Absatz 1 Satz 1 der Verordnung (EU) 2024/1689).

Das beinhaltet die Befugnis, die Vorlage relevanter Dokumente, technischer Spezifikationen, Daten oder Informationen über die Konformität zu verlangen. Die Marktüberwachungsbehörden sind zudem befugt, für den Anwendungsbereich des Gesetzes, die Wirtschaftsakteure aufzufordern, Maßnahmen zu ergreifen, um die Nichtkonformität oder das von einem KI-System ausgehende Risiko zu beenden sowie die Bereitstellung eines nicht konformen KI-Systems oder eines KI-Systems, von dem ein Risiko ausgeht, zu verbieten oder einzuschränken. Liegt ein Fall der verbotenen Praktiken nach Artikel 5 der Verordnung (EU) 2024/1689 vor, muss das betroffene KI-System unverzüglich vom Markt genommen werden. Ergreift der Wirtschaftsakteur keine geeigneten Maßnahmen oder bleiben die Nichtkonformität oder das Risiko bestehen, so können die Marktüberwachungsbehörden für den Anwendungsbereich des Gesetzes alle erforderlichen Maßnahmen ergreifen, um die Nichtkonformität oder das Risiko zu beenden.

Das beinhaltet jedoch nicht die Befugnis der Marktüberwachungsbehörden, in das behördliche/hoheitliche Handeln der von ihnen beaufsichtigten Akteure einzugreifen. Die Befugnisse der Marktüberwachungsbehörden beschränken sich auf die Überprüfung der sich aus der Verordnung (EU) 2024/1689 ergebenden Anforderungen.

Die sonstigen Aufsichtsbefugnisse in den sektoralen Aufsichtsgesetzen, wie unter anderen diejenigen der Bundesanstalt für Finanzdienstleistungsaufsicht im Kreditwesengesetz, Versicherungsaufsichtsgesetz, Wertpapierinstitutsgesetz, Zahlungsdiensteaufsichtsgesetz oder Kapitalanlagegesetzbuch, bleiben ebenfalls unberührt.

Zu Absatz 2

Zu Satz 1

Satz 1 stellt klar, dass die Marktüberwachungsbehörden bei der Wahrnehmung ihrer Befugnisse dritte Personen als Verwaltungshelfer heranziehen können.

Zu Satz 2

Satz 2 dient der Klarstellung, dass die Marktüberwachungsbehörden die in Artikel 14 Absatz 4 Buchstaben d und j der Verordnung (EU) 2019/1020 genannten Befugnisse aus der Ferne ausüben können. Eine Klarstellung ist erforderlich, da Artikel 74 Absatz 5 der Verordnung (EU) 2024/1689 lediglich regelt, dass diese Befugnisse „gegebenenfalls“ ausgeübt werden können.

Zu Absatz 3

Gemäß Artikel 14 Absatz 4 Buchstabe e der Verordnung (EU) 2019/1020 wird den Marktüberwachungsbehörden u.a. auch die Befugnis erteilt, unangekündigte Inspektionen vor Ort durchzuführen, Räumlichkeiten und Grundstücke sowie Beförderungsmittel, die der Wirtschaftsakteur für Zwecke im Zusammenhang mit seiner geschäftlichen Tätigkeit nutzt. § 11 Absatz 3 Satz 1 bestimmt, dass dies nur zu den üblichen Betriebs- und Geschäftszeiten erfolgen darf. Satz 2 trägt dem Zitiergebot nach Artikel 19 Absatz 1 Satz 2 des Grundgesetzes Rechnung.

Zu Absatz 4

Für die in Anhang der Verordnung (EU) aufgeführten Harmonisierungsrechtsvorschriften der Europäischen Union gilt bisher bereits § 7 Marktüberwachungsgesetz (MüG) (vgl. § 1 Absatz 1 MüG i.V.m. Artikel 2 Absatz 1 der Verordnung (EU) 2019/1020). In diesen Fällen stehen die Hochrisiko-KI-Systeme im Zusammenhang mit Produkten im Sinne der in Anhang I der Verordnung (EU) 2024/1689 genannten Harmonisierungsrechtsvorschriften. Um die bisher bestehenden Befugnisse im Rahmen der Marktüberwachung um die Aspekte der Verordnung (EU) 2024/1689 zu erweitern, ist eine entsprechende Geltung der Regelungen in § 7 Absatz 2 bis 4 MüG notwendig.

Zu Absatz 5

Soweit öffentliche Stellen, insbesondere Sicherheitsbehörden, nach geltendem Recht besonders schutzwürdige Geheimhaltungsinteressen haben, stellt Absatz 5 zum Schutz der Funktionsfähigkeit dieser Stellen klar, dass die davon erfassten Daten grundsätzlich nicht im Sinne des Artikels 4 Nummer 2 der Verordnung (EU) 2016/679 erhoben oder weiterverarbeitet werden dürfen.

Es gibt jedoch Fälle, in denen das Interesse der Marktüberwachungsbehörde im Rahmen ihrer nach diesem Gesetz geregelten Zuständigkeit an der Verarbeitung der Daten überwiegt und daher das Geheimhaltungsinteresse ausnahmsweise zurücktreten muss. Dies ist etwa dann der Fall, wenn es konkrete Hinweise auf einen besonders schwerwiegenden Verstoß gegen die Anforderungen aus der Verordnung (EU) 2024/1689 gibt.

Zu Absatz 6

Absatz 6 regelt die Offenbarung von Daten, die dem Steuergeheimnis unterliegen, durch die Finanzbehörde an die Marktüberwachungsbehörde. Nach § 30 Absatz 4 Nummer 2 der Abgabenordnung ist eine Offenbarung zulässig, wenn sie durch ein Bundesgesetz ausdrücklich zugelassen ist. Absatz 6 enthält eine solche Offenbarungsbefugnis. Die Offenbarung der Daten erfolgt nur auf Ersuchen der Marktüberwachungsbehörde und muss sich auf das notwendige Maß beschränken. Sie ist nur zulässig, wenn die Herausgabe der Daten erforderlich ist, damit die Marktüberwachungsbehörde ihre Befugnisse nach der Verordnung (EU) 2024/1689 erfüllen kann und die Marktüberwachungsbehörde die Erforderlichkeit gegenüber der Finanzbehörde begründet darlegt.

Zu Absatz 7

Absatz 7 regelt die Verfahrensvorschriften für das Widerspruchs- und Klageverfahren.

Satz 1

Bei Medizinprodukten (§ 45 Absatz 5 Medizinprodukterecht-Durchführungsgesetz) und Funkanlagen (§ 36 Absatz 1 Funkanlagengesetz) ist in den sektorspezifischen Rechtsakten, auf die die Verordnung (EU) 2024/1689 in Artikel 6 Absatz 1 in Verbindung mit Anhang I Bezug nimmt, vorgesehen, dass Widerspruch und Klage gegen Entscheidungen der Marktüberwachung keine aufschiebende Wirkung haben, in anderen branchenspezifischen Rechtsakten dagegen nicht. Ein Auseinanderfallen zwischen den Verfahrensvorschriften für Maßnahmen nach diesen branchenspezifischen Rechtakten und Maßnahmen nach dem vorliegenden Durchführungsgesetz sollte jedoch vermieden werden.

Satz 2

Auch Maßnahmen der Bundesanstalt für Finanzdienstleistungsaufsicht nach diesem Gesetz sind sofort vollziehbar. Im Bereich der Finanzaufsicht besteht eine hohe Vertrauensempfindlichkeit der Öffentlichkeit in die Integrität und Stabilität des Finanzmarktes und des Schutzes der Gläubiger, Anleger, Versicherungsnehmer, Verbraucher und weiterer Marktteilnehmer. Maßnahmen der Bundesanstalt auf Grundlage von deren sektoralen Fachgesetzen sind daher meist sofort vollziehbar (vgl. etwa § 49 KWG, § 310 Abs. 2 VAG, § 7 KAGB, § 6 WpIG, § 9 ZAG, § 51 Abs. 2 GwG). Spiegelbildlich erfordert dies, dass die BaFin schnell und rechtssicher Maßnahmen auch zur Prüfung der Einhaltung der Anforderungen der Verordnung (EU) 2024/1689 und zu deren Durchsetzung ergreifen können muss.

Darüber hinaus ist es erforderlich, abweichend vom Regelfall nach § 80 Absatz 1 VwGO, die sofortige Vollziehbarkeit ausdrücklich auch auf die Androhung und Festsetzung von Zwangsmitteln zu erstrecken. Dies entspricht auch den üblichen Normierungen in der Finanzmarktregulierung. Denn die sofortige Vollziehbarkeit der Zwangsmittel dient der schnellen und effektiven Durchsetzung von aufsichtsrechtlichen Maßnahmen. Damit soll insbesondere eine einheitliche Vollziehbarkeit von Entscheidungen der Bundesanstalt für Finanzdienstleistungsaufsicht als Marktüberwachungsbehörde und Aufsichtsentscheidungen der Bundesanstalt sichergestellt werden.

Übrigen bleibt es bei der gesetzgeberischen Entscheidung des § Verwaltungsgerichtsordnung im Anwendungsbereich der Verordnung (EU) 2024/1689. Den Marktüberwachungsbehörden bleibt die Möglichkeit zur Anordnung der sofortigen Vollziehung gemäß § 80 Absatz 2 Nummer 4 der Verwaltungsgerichtsordnung unbenommen.

Zu Teil 4 (Maßnahmen der Innovationsförderung)

Teil 4 des Gesetzes dient der Durchführung der innovationsfördernden Maßnahmen der Verordnung (EU) 2024/1689.

Zu § 12 Innovationsfördernde Maßnahmen

§ 12 regelt die Durchführung der nach der Verordnung (EU) 2024/1689 vorgesehenen innovationsfördernden Maßnahmen, die über die Einrichtung von KI-Reallaboren (dazu § 13) oder Tests unter Realbedingungen außerhalb von KI-Reallaboren (dazu § 14) hinausgehen. Dazu zählen eine KI-Servicestelle (KI-Service Desk) für die Anbieter und Betreiber von KI-Systemen sowie die sonstigen Adressaten der Verordnung (EU)

2024/1689 (Nummer 1), die Erfüllung bestimmter Beratungsleistungen (Nummer 2), die Durchführung von Sensibilisierungs- und Schulungsmaßnahmen (Nummer 3), die Förderung des Wissensaufbaus und -austauschs zu KI (Nummer 4), die Vernetzung relevanter Akteure des KI-Ökosystems um KI-Systeme (Nummer 5) sowie die Mitarbeit an der Standardisierung und Normung (Nummer 6).

Zu Nummer 1

Nummer 1 überträgt der Bundesnetzagentur die Aufgabe, eine zentrale KI-Servicestelle (KI-Service Desk) einzurichten. Die Aufgaben des im Aufbau befindlichen BeKI bleiben insoweit unberührt (Nr. 2).

Zu Nummer 2

Öffentliche Stellen wie Behörden und Körperschaften des öffentlichen Rechts können mit dem Einsatz von künstlicher Intelligenz ihre gesetzlichen Aufgaben effektiver und effizienter erfüllen. Mit dieser Vorschrift adressiert der Bundesgesetzgeber Rechtsunsicherheit bei der Einstufung von Grenzfällen als KI-System beziehungsweise Hochrisiko-KI-System. Die öffentliche Stelle soll innerhalb einer vorhersehbaren Frist eine rechtlich unverbindliche Einschätzung erhalten. Die wesentlichen Erwägungen sollen durch die Bundesnetzagentur veröffentlicht werden, um auch anderen Anbietern, zukünftigen Anbietern oder Betreibern von KI-Systemen, die mit vergleichbaren Grenzfällen beschäftigt sind, niedrigschwellig und praxisnahe Orientierung zu bieten. Die Bundesnetzagentur orientiert sich bei den Einschätzungen an den einschlägigen Leitlinien der Europäischen Kommission.

Voraussetzung für die Erfüllung der von dieser Vorschrift vorgesehenen Beratungsleistung ist der vorherige Abschluss einer Verwaltungsvereinbarung zwischen der Bundesnetzagentur und dem jeweils zuständigen Bundes- oder Landesministerium. Gegenstand dieser Verwaltungsvereinbarung muss unter anderem der stellenmäßige und finanzielle Ausgleich der durch die Beratung entstehenden Mehraufwände bei der Bundesnetzagentur durch Mittel des jeweils zuständigen Bundes- oder Landesministeriums aus deren jeweiligen Einzelplan sein.

Zu Nummer 3

Die in Artikel 62 Absatz 1 Buchstabe b der Verordnung (EU) 2024/1689 vorgesehene Durchführung von Sensibilisierungs- und Schulungsmaßnahmen für die Anwendung der Verordnung werden als Aufgabe der BNetzA zugewiesen. Zielgruppe dieser durch die Bundesnetzagentur durchzuführenden Maßnahmen sind in erster Linie die Akteure des KI- Ökosystems, insbesondere KMU und Start-Up-Unternehmen. Auch die Zusammenarbeit mit unternehmensnahen Netzwerken wird hier eine wichtige Rolle spielen.

Die Bundesakademie für öffentliche Verwaltung bleibt für die Durchführung von Sensibilisierungs- und Schulungsmaßnahmen für die Bundesverwaltung zuständig. Das im Aufbau befindliche BeKI soll im Bereich der Bundesverwaltung unter anderem die Aufgabe der Innovationsförderung übernehmen, indem es dort den Einsatz künstlicher Intelligenz unterstützt. Die Bundesnetzagentur arbeitet eng mit der Bundesakademie für öffentliche Verwaltung und dem im Aufbau befindlichen BeKI zusammen. Damit wird auch in diesem Aufgabenbereich auf bewährte Strukturen zurückgegriffen, was die Ziele dieses Gesetzesvorhabens unterstützt, Effizienzen maximiert und den Erfüllungsaufwand minimiert.

Zu Nummer 4

Der Bundesnetzagentur wird die Aufgabe übertragen, den Wissensaufbau und -austausch zu künstlicher Intelligenz zu fördern.

Zu Nummer 5

Der Bundesnetzagentur wird die Aufgabe übertragen, die Vernetzung und Kooperation der relevanten Akteure des KI-Ökosystems um KI-Systeme, soweit dies der Erfüllung ihrer Aufgaben nach diesem Gesetz dient, zu fördern. Bei der Wahrnehmung ihrer Aufgaben nach Nummer 5 ist § 9 zu beachten.

Zu Nummer 6

Die Bundesnetzagentur wird ihren Sachverstand auch für die Erfüllung der weiteren Aufgaben aus der Verordnung (EU) 2024/1689 zur Innovationsförderung bereitstellen, insbesondere durch die Mitarbeit im Bericht der technischen Normung von künstlicher Intelligenz in nationalen und internationalen Normungsgremien.

Zu § 13 KI-Reallabore, Verordnungsermächtigung

Nach Artikel 57 Absatz 1 Satz 1 der Verordnung (EU) 2024/1689 werden die Mitgliedstaaten verpflichtet, mindestens ein KI-Reallabor auf nationaler Ebene einzurichten, das bis zum 2. August 2026 einsatzbereit sein muss. Die Ziele werden in Artikel 57 Absatz 9 der Verordnung (EU) 2024/1689 genannt.

Zu Absatz 1

Zu Satz 1

Absatz 1 Satz 1 überträgt der Bundesnetzagentur die Aufgabe der Einrichtung und des Betriebs dieses KI-Reallabors.

Zu Satz 2

Satz 2 stellt klar, dass zusätzliche KI-Reallabore durch andere zuständige nationale Behörden nach Artikel 3 Nummer 48 der Verordnung (EU) 2024/1689 zulässig bleiben.

Zu Absatz 2

Absatz 2 verpflichtet die Bundesnetzagentur zur Kooperation gemäß Artikel 57 Absatz 4 Satz 2 1. Halbsatz und Artikel 57 Absatz 4 Satz 4, gemäß Artikel 57 Absatz 10 und gemäß Artikel 58 Absatz 4 der Verordnung (EU) 2024/1689. Im Interesse eines effektiven Betriebs des KI-Reallabors ist die Bundesnetzagentur auch auf die Mitarbeit anderer betroffener Behörden des Bundes und der Länder angewiesen. Die Regelung stellt deshalb klar, dass die Zusammenarbeit sämtlicher Behörde kooperativ und vertrauensvoll sein sollte.

Die Pflicht zur Kooperation umfasst insbesondere die enge Zusammenarbeit mit der zuständigen Datenschutzaufsichtsbehörde, die auch die Prüfung der datenschutzrechtlichen Vorgaben nach Artikel 59 der Verordnung (EU) 2024/1689 übernimmt. Die nach Artikel 57 Absatz 7 der Verordnung (EU) 2024/1689 zu erstellenden Leitfäden erstellen Bundesnetzagentur und die Datenschutzaufsichtsbehörden bezogen auf den Datenschutz gemeinsam, über die endgültige Fassung des Datenschutzleitfadens entscheiden die Datenschutzaufsichtsbehörden.

Die frühzeitige und umfassende Einbeziehung der zuständigen Datenschutzaufsichtsbehörde soll auch einen einheitlichen Nachweis nach Artikel 57 Absatz 7 der Verordnung (EU) 2024/1689 ermöglichen. Dabei müssen die nach Artikel 58 der Verordnung (EU) von der Kommission zu erlassende Durchführungsrechtsakte berücksichtigt werden.

Zudem wird klargestellt, dass Aufsichts- und Überwachungsbefugnisse weiterer Behörden aufgrund anderer Gesetze unberührt bleiben.

Zu Absatz 3

Gemäß Artikel 62 Absatz 1 Buchstabe a der Verordnung (EU) 2024/1689 ist die Bundesnetzagentur dazu verpflichtet, KMU, einschließlich Start-up-Unternehmen, die ihren Sitz oder eine Zweigniederlassung in der Europäischen Union haben und die Voraussetzungen und Auswahlkriterien erfüllen, vorrangigen Zugang zu dem KI-Reallabor nach Absatz 1 Satz 1 zu gewähren. Diese Voraussetzungen werden erst noch festgelegt in delegierten EU-Rechtsakten nach Artikel 58 Absatz 1 der Verordnung (EU) 2024/1689.

Absatz verpflichtet die Bundesnetzagentur darüber hinaus, auch Forschungseinrichtungen sowie Hochschulen und deren Ausgründungen, die ihren Sitz oder eine Zweigniederlassung in der Union haben, vorrangigen Zugang zu dem KI- Reallabor zu gewähren. Das setzt zum einen voraus, dass die Forschungseinrichtungen sowie Hochschulen und deren Ausgründungen die gemäß der Durchführungsrechtsakte im Sinne des Artikels 58 Absatz 1 der Verordnung (EU) 2024/1689 zu erlassenden Voraussetzungen und Auswahlkriterien erfüllen. Zum anderen muss der Zugang zum KI- Reallabor nach Absatz 1 Satz 1 den Zugang von KI-Systemen zum Unionsmarkt erleichtern oder beschleunigen, z.B. weil die KI-Systeme Gegenstand anwendungsnaher Forschungsund Entwicklungsvorhaben sind, wodurch der Transfer von Forschungsergebnissen in die Praxis erleichtert wird. Damit wird der prioritäre Zugang begrenzt und der Charakter von KI- Reallaboren als Wirtschaftsförderungsinstrument berücksichtigt.

Artikel 2 Absatz 6 und 8 der Verordnung (EU) 2024/1689 gelten uneingeschränkt. Danach sind KI-Systeme, die allein der wissenschaftlichen Forschung und Entwicklung dienen, vom prioritären Zugang zum KI-Reallabor ausgenommen.

Zu Absatz 4

Artikel 57 bis 59 der Verordnung (EU) 2024/1689 regeln die unionsrechtlichen

Anforderungen für die Errichtung von KI-Reallaboren durch die zuständigen Behörden der Mitgliedstaaten. Damit sollen verantwortungsvolle Innovation und die Integration geeigneter Schutzmaßnahmen und Maßnahmen zur Risikominderung gewährleistet und die Entwicklung und Erprobung innovativer KI-Systeme unter strenger Regulierungsaufsicht erleichtert werden, bevor diese Systeme auf den Markt gebracht oder anderweitig in Betrieb genommen werden.

Errichtet eine zuständige nationale Behörde ein KI-Reallabor nach § 13 Absätze 1 bis 3 dieses Gesetzes, hat sie die Anforderungen der Artikel 57 und 59 der Verordnung (EU) 2024/1689 als unmittelbar geltendes Recht zu beachten. Hinzu kommen die Anforderungen, die sich gegebenenfalls aus Durchführungsrechtsakten der Europäischen Kommission im Sinne von Artikel 58 der Verordnung (EU) 2024/1689 ergeben. Damit sind insbesondere Festlegungen zu Einrichtung, Entwicklung, Umsetzung, den Betrieb, die Beaufsichtigung von KI-Systemen im KI-Reallabor sowie die Zusammenarbeit mit anderen betroffenen Behörden gemeint.

Nach Artikel 58 Absatz 1 Satz 1 der Verordnung (EU) 2024/1689 werden in den Durchführungsrechtsakten gemeinsame Grundsätze festgelegt, die lediglich Mindestanforderungen darstellen, welche unionsweit einzuhalten sind. Diese lassen Möglichkeiten zu nationalen Detailregelung offen. Daher wird das Bundesministerium für Digitales und Staatsmodernisierung ermächtigt, nähere Einzelheiten der Einrichtung und des Betriebs der KI-Reallabore nach Absatz 1 Satz 1 festzulegen. Dazu zählen insbesondere Voraussetzungen und Auswahlkriterien zum allgemeinen sowie prioritären Zugang, Kostenfestsetzung, Umgebungsgestaltung und Einbeziehung und Zusammenarbeit mit anderen Akteuren innerhalb des KI-Ökosystems, Zugang zu Infrastruktur und Testumgebung, Aufbau eigener Testinfrastruktur, Anleitungs-, Aufsichtsund Unterstützungsmöglichkeit, Erstellung und Anpassung des Reallaborplans und Dauer und Beendigungen von Tests in KI-Reallaboren sowie zur Zusammenarbeit mit anderen betroffenen Bundesbehörden. Diese Befugnis trägt insbesondere dem Umstand Rechnung, dass sich das KI-Reallabor als Innovationsinstrument weiterentwickeln und den Marktgegebenheiten schnell anpassen können soll.

Zu § 14 (Tests von Hochrisiko-KI-Systemen unter Realbedingungen außerhalb von KI-Reallaboren)

Zu Absatz 1

Mit Absatz 1 wird den Marktüberwachungsbehörden auch die Befugnis gemäß Artikel 60 Absatz 6 der Verordnung (EU) 2024/1689 übertragen.

Davon ausgenommen sind Tests, die im Sinne von Artikel 2 Absatz 3 der Verordnung (EU) 2024/1689 erfolgen. Das betrifft KI-Systeme, wenn und soweit diese ausschließlich für militärische Zwecke, Verteidigungszwecke oder Zwecke der nationalen Sicherheit in Verkehr gebracht, in Betrieb genommen oder, mit oder ohne Änderungen, verwendet werden, unabhängig von der Art der Einrichtung, die diese Tätigkeiten ausübt.

Zu Absatz 2

Mit Absatz 2 wird die Genehmigungsfiktion gemäß Artikel 60 Absatz 4 Buchstabe b der Verordnung (EU) 2024/1689 geschaffen.

Zu Teil 5 (Ordnungswidrigkeiten)

Zu § 15 (Bußgeldvorschriften zur Verordnung (EU) 2025/1689)

§ 15 dient der Umsetzung des Artikels 99 Absatz 1 der Verordnung (EU) 2024/1689, wonach die Mitgliedstaaten Vorschriften für Sanktionen und andere Durchsetzungsmaßnahmen zu erlassen haben, die bei Verstößen gegen diese Verordnung durch Akteure Anwendung finden. Danach haben die Mitgliedstaaten sicherzustellen, dass neben den Verstößen, die nach Artikel 99 Absatz 3, 4 und 5 der Verordnung (EU) 2024/1689 enumerativ genannt sind, auch weitere Verstöße gegen die Verordnung sanktionsbewehrt sind. Der Absatz führt vor diesem Hintergrund sämtliche Verstöße gegen sämtliche bewehrbare Pflichten der Verordnung (EU) 2024/1689 auf, die nicht bereits nach Artikel 99 der Verordnung sanktionsbewehrt sind – vorausgesetzt, die Pflichtverstöße können bußgeldbewehrt werden.

Zu § 16 (Anwendung der Vorschriften über das Bußgeld- und Strafverfahren)

Zu Absatz 1

Gemäß § 2 des Gesetzes über Ordnungswidrigkeiten (OWiG) gilt das OWiG für Ordnungswidrigkeiten nach Bundes- und Landesrecht. § 15 Absatz 1 Satz 1 dieses Gesetzes erklärt, dass das OWiG grundsätzlich auch auf Verstöße nach Artikel 99 Absatz 3 bis 5 der Verordnung (EU) 2024/1689, welche unmittelbar anwendbares innerstaatliches Recht ist, entsprechend anwendbar ist. Bei der entsprechenden Anwendung von § 10 OWiG ist zu berücksichtigen, dass Artikel 99 Absatz 3 bis 5 der Verordnung (EU) 2024/1689 sowohl vorsätzliches als auch fahrlässiges Handeln erfasst. Das ergibt sich aus Artikel 99 Absatz 7 Buchstabe i) der Verordnung (EU) 2024/1689, wonach die Vorsätzlichkeit oder Fahrlässigkeit des Verstoßes ein bei der Festsetzung der Geldbuße zu berücksichtigender relevanter Umstand ist. Es ist somit nach der Verordnung erforderlich, dass fahrlässiges Handeln geahndet wird und eine nur fahrlässige Begehungsform lediglich im Rahmen der Zumessung der Geldbuße Berücksichtigung findet.

Gemäß Satz 2 finden § 17 OWiG, auch in Verbindung mit § 30 Absatz 3 OWiG, sowie § 30 Absatz 1 und 2 OWiG keine Anwendung, weil das in der Verordnung (EU) 2024/1689 geregelte europäische Sanktionenrecht insoweit abschließende und vorrangige Regelungen enthält.

Zu Absatz 2

Da die Verordnung selbst nicht das Verfahren für die Verhängung der Geldbuße regelt, bestimmt § 16 Absatz 2 Satz 1, dass die Vorschriften des OWiG grundsätzlich entsprechend gelten, und stellt dabei ausdrücklich klar, dass dies auch für die über § 46 Absatz 1 OWiG sinngemäß anwendbaren Vorschriften der allgemeinen Gesetze über das Strafverfahren gilt.

Absatz 2 Satz 2 bestimmt, dass die Staatsanwaltschaft im Zwischenverfahren das Verfahren nur mit Zustimmung der Marktüberwachungsbehörde einstellen kann, die den Bußgeldbescheid erlassen hat. Hierdurch wird der Bedeutung der Geldbußen in der Verordnung (EU) 2024/1689 und der primärrechtlich verankerten Unabhängigkeit der Marktüberwachung Rechnung getragen.

Zu § 17 (Behörden)

Zu Absatz 1

Absatz 1 legt fest, wer die für das Bußgeldverfahren zuständigen Verwaltungsbehörden sind.

Zu Absatz 2

Absatz 2 stellt mit Blick auf Artikel 99 Absatz 8 der Verordnung (EU) 2024/1689 klar, dass gegen öffentliche Stellen im Sinne von § 2 Absatz 1 und 2 des Bundesdatenschutzgesetzes keine Geldbußen verhängt werden.

Zu Teil 6 (Aufbewahrungspflichten)

Zu § 18 (Aufbewahrungspflicht nach Artikel 18 Absatz 2 der Verordnung (EU)

2024/1689)

Gemäß Artikel 18 Absatz 2 der Verordnung (EU) 2024/1689 ist eine Regelung zur Aufbewahrung der Dokumentation im Fall des Konkurses oder der Geschäftsaufgabe zu treffen. Im Fall einer Insolvenz geht diese Pflicht gesetzlich auf den Insolvenzverwalter gemäß § 80 Insolvenzordnung über, bei dessen Einstellung gemäß § 215 Absatz 2 Insolvenzordnung wieder auf den Unternehmensinhaber.

§ 5 Medizinprodukte-Durchführungsgesetz bleibt unberührt.

Zu Artikel 2 (Änderung des Hinweisgeberschutzgesetzes)

Durch Artikel 2 wird sichergestellt, dass für die Meldung und Offenlegung von Verstößen gegen die Verordnung (EU) 2024/1689 das Hinweisgeberschutzgesetz gilt. Dadurch wird der Vorgabe in Artikel 87 der Verordnung (EU) 2024/1689 Rechnung getragen, wonach für die Meldung von Verstößen gegen diese Verordnung und den Schutz von Personen, die solche Verstöße melden, die Richtlinie (EU) 2019/1937 des Europäischen Parlaments und des Rates vom 23. Oktober 2019 zum Schutz von Personen, die Verstöße gegen das Unionsrecht melden (ABl. L 305 vom 26.11.2019, S. 17), die zuletzt durch die Richtlinie (EU) 2024/1760 (ABl. L 2024/1760, 5.7.2024) geändert worden ist, gilt.

Zu Artikel 3 (Änderung des Ersten Buches Sozialgesetzbuch)

Die Änderung trägt dem abschließenden Charakter des Sozialdatenschutzes Rechnung und ergänzt die unmittelbar geltenden unionsrechtlichen Regelungen zur Verarbeitung von Sozialdaten um Anwendungsbereiche zum Schutz bei der Verarbeitung personenbezogener Daten der Verordnung (EU) 2024/1689. Die Zulässigkeit der Verarbeitung von Sozialdaten ist im Zehnten Buch Sozialgesetzbuch in Verbindung mit dem Ersten Buch Sozialgesetzbuch sowie in den übrigen Sozialgesetzbüchern geregelt, wobei der unmittelbare Anwendungsvorrang des Unionsrechts zu berücksichtigen ist. Unmittelbaren Vorrang haben neben den Regelungen der Verordnung (EU) 2016/679 nun die datenschutzrechtlichen Bestimmungen in Artikel 10 Absatz 5 und Artikel 59 der Verordnung (EU) 2024/1689. Nach Artikel 2 Absatz 7 der Verordnung (EU) 2024/1689 gelten die Rechtsvorschriften der Europäischen Union zum Schutz personenbezogener Daten, der Privatsphäre und der Vertraulichkeit der Kommunikation für die Verarbeitung personenbezogener Daten im Zusammenhang mit den in der Verordnung (EU) 2024/1689 festgelegten Rechten und Pflichte; die datenschutzrechtlichen Bestimmungen der Verordnung (EU) 2016/679 bzw. (EU) 2018/172 und die Richtlinie 2002/58/EG bzw. (EU) 2016/680, bleiben von der Verordnung (EU) 2024/1689, unbeschadet des Artikels 10 Absatz 5 und des Artikels 59, unberührt.

Zu Artikel 4 (Änderung des Finanzdienstleistungsaufsichtsgesetzes)

Zu Nummer 1

Die Änderung des § 15 Absatz 1 Satz 1 ergänzt den Katalog der Maßnahmen, welche der gesonderten Erstattung unterfallen, und zwar im Hinblick auf die Einführung des KI- Marktüberwachungs-und-Innovationsförderungs-Gesetzes.

Zu Nummer 2

Die Änderung des § 16b trägt der Begründung der Zuständigkeit der Bundesanstalt für Finanzdienstleistungsaufsicht als zuständige Marktüberwachungsbehörde im Sinne des Artikels 70 Absatz 1 Satz 1 der Verordnung (EU) 2024/1689 in § 2 Absatz 4 des KI- Marktüberwachungs-und-Innovationsförderungs-Gesetzes Hinblick auf die Kostenermittlung nach Aufgabenbereichen Rechnung, indem sie soweit es sich bei diesen Kosten um Kosten in Bezug auf Kredit-, Finanzdienstleistungs- Wertpapierinstituts- Zahlungsdienste-, Krypto- oder inländisches Investmentwesen handelt, diese dem Aufgabenbereich Banken und sonstige Finanzdienstleistungen und, soweit es sich um Kosten des Versicherungswesens handelt, dem Aufgabenbereich Versicherungen entsprechend zuordnet.

Zu Nummer 3

Es handelt sich um eine redaktionelle Anpassung. Die durch das Kreditzweitmarktförderungsgesetz eingefügte Ergänzung in Bezug auf die Kryptowertpapierregisterführung wurde durch ein Redaktionsversehen in der Anpassung durch das Finanzmarktdigitalisierungsgesetz nicht beibehalten, so dass es einer erneuten Einfügung bedarf.

Zu Nummer 4

Es handelt sich um eine redaktionelle Anpassung. Der eingefügte Zusatz dient der Klarstellung der in Bezug genommenen Fassung der Vorschriften.

Zu Artikel 5 (Inkrafttreten)

Zum Zwecke der Durchführung der Verordnung (EU) 2024/1689 muss jeder Mitgliedstaat bis zum 2. August 2025 die zuständigen nationalen Behörden einrichten oder benennen und entsprechend den Vorgaben der Verordnung (EU) 2024/1689 Vorschriften über das Bußgeldverfahren erlassen. Die Vorschriften in Kapitel I und II der Verordnung (EU) 2024/1689 gelten bereits ab dem 2. Februar 2025. Auch wenn bestimmte Anforderungen an Anbieter und Betreiber von KI-Systemen erst zu einem späteren Zeitpunkt in Kraft treten, sollte dieses Durchführungsgesetz daher umgehend in Kraft treten.

Stellungnahme des Nationalen Normenkontrollrates (NKR) gem. § 6 Abs. 1 NKRG

Entwurf eines Gesetzes zur Durchführung der Verordnung (EU) 2024/1689 des Europäischen

Parlaments und des Rates vom 13. Juni 2024 zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz und zur Änderung der Verordnungen (EG) Nr. 300/2008, (EU) Nr. 167/2013, (EU) Nr. 168/2013, (EU) 2018/858, (EU) 2018/1139 und (EU) 2019/2144 sowie der Richtlinien 2014/90/EU, (EU) 2016/797 und (EU) 2020/1828 (Gesetz zur Durchführung der Verordnung über künstliche Intelligenz; NKR-Nr. 7727, BMDS)

Der Nationale Normenkontrollrat hat den Regelungsentwurf vom 05. Februar 2026 mit folgendem Ergebnis geprüft:

I.

Zusammenfassung

Bürgerinnen und Bürger keine Auswirkungen

Wirtschaft keine Auswirkungen

Verwaltung

Bund

Jährlicher Erfüllungsaufwand: rund 15,9 Mio. Euro

Einmaliger Erfüllungsaufwand: rund 4 Mio. Euro

Länder

Jährlicher Erfüllungsaufwand: rund 33,1 Mio. Euro

Einmaliger Erfüllungsaufwand: rund 28 000 Euro

Erwägungen zu anderen Lösungsmöglichkeiten

Das Ressort hat insbesondere für die Ausgestaltung der Governance der Marktüberwachung verschiedene Alternativen sowie zur Unabhängigkeit der zuständigen Behörde geprüft und seine Entscheidung nachvollziehbar begründet.

Evaluierung

Die unmittelbar durch die EU-Verordnung geltenden Vorschriften werden durch die Europäische Kommission evaluiert. Die mit der Neuregelung auf nationaler Ebene geschaffene Aufsichts- und Behördenstruktur wird spätestens drei Jahre nach Inkrafttreten im Gesamtkontext der Digitalregulierung evaluiert.

Ziele:

Innovationsfreudige und bürokratiearme Durchführung der EU-Verordnung über künstliche Intelligenz

Kriterien/Indikatoren:

• Einschätzungen der betroffenen Unternehmen zur Innovationsfreundlichkeit • Einschätzung der zuständigen Behörden zu Ressourceneinsatz, Zusammenarbeit und bürokratiearmen Durchführung der EU-Verordnung

Datengrundlage:

• Befragung zuständiger Behörden • Auswertung der Berichte der zuständigen Behörde an die EU-Kommission

Umsetzung von EU-Recht

Das Vorhaben dient der Durchführung der Verordnung (EU) 2024/1689 (KI-Verordnung).1 Dem NKR liegen keine Anhaltspunkte dafür vor, dass mit dem Vorhaben über eine 1:1-Umsetzung von EU-Recht hinausgegangen wird.

Nutzen des Vorhabens

Das Ressort hat keinen Nutzen dargestellt.

Digitaltauglichkeit (Digitalcheck)

Das Ressort hat Möglichkeiten zum digitalen Vollzug der Neuregelung (Digitaltauglichkeit) geprüft und hierzu einen Digitalcheck mit nachvollziehbarem Ergebnis durchgeführt.

1 Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates vom 13. Juni 2024 zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz und zur Änderung der Verordnungen (EG) Nr. 300/2008, (EU) Nr. 167/2013, (EU) Nr. 168/2013, (EU) 2018/858, (EU) 2018/1139 und (EU) 2019/2144 sowie der Richtlinien 2014/90/EU, (EU) 2016/797 und (EU) 2020/1828 (KI-Verordnung) http://data.europa.eu/eli/reg/2024/1689/oj.

Regelungsfolgen

Die Darstellung der Regelungsfolgen ist nachvollziehbar und methodengerecht. Der Nationale Normenkontrollrat erhebt hiergegen im Rahmen seines gesetzlichen Auftrags keine Einwände. Naturgemäß ist der von den zuständigen Behörden ermittelte Mehrbedarf und in diesem Fall besonders - mit Unsicherheiten behaftet. Dies wird vom Ressort transparent dargestellt. Der NKR hebt deshalb die Wichtigkeit einer zeitnahen Nachmessung des geschätzten Erfüllungsaufwands durch das Statistische Bundesamt hervor.

Erwägungen zu anderen Lösungsmöglichkeiten

Das Ressort hat alternative Umsetzungsmöglichkeiten abgewogen und diese transparent dargestellt. Der NKR empfiehlt die Struktur der Marktaufsicht als auch des Datenschutzes unter dem Gesichtspunkt der Bündelung im föderalen Kontext grundsätzlich zu überprüfen, um der Gefahr der Zersplitterung von Aufsichtsstrukturen und ineffizienten Doppelstrukturen entgegenzuwirken. Insofern unterstützt der NKR die Absicht des Ressorts, den Gesamtkontext der Digitalregulierung im Rahmen der Evaluierung zu betrachten.

Digitaltauglichkeit

Das Ressort hat Möglichkeiten zum digitalen Vollzug der Neuregelung (Digitaltauglichkeit) geprüft und hierzu einen Digitalcheck mit nachvollziehbarem Ergebnis durchgeführt. Der NKR empfiehlt auf eine nutzerfreundliche Kommunikation gegenüber den betroffenen Unternehmen durch einen einheitlichen Ansprechpartner zu setzen. Für die dauerhafte Einbeziehung von Wissenschaft, Zivilgesellschaft und Wirtschaft auch mit Blick auf die Praxistauglichkeit der Regulierung empfiehlt der NKR die Einrichtung eines begleitenden KI-Beirates zu prüfen.

II.

Regelungsvorhaben

Das Vorhaben dient der Durchführung der EU-Verordnung über künstliche Intelligenz (KI). Die

EU-KI-Verordnung schafft einen einheitlichen Rechtsrahmen u. a. für

• das Inverkehrbringen,

• die Inbetriebnahme sowie

• die Verwendung von Systemen Künstlicher Intelligenz in der Europäischen Union.

Mit dem vorliegenden Vorhaben werden hierfür die zuständigen nationalen Behörden benannt sowie deren Aufgaben und die Zusammenarbeit festgelegt.

III.

Bewertung

III.1.

Erfüllungsaufwand

Bürgerinnen und Bürger

Es entsteht kein Erfüllungsaufwand für Bürgerinnen und Bürger.

Wirtschaft

Der Wirtschaft entsteht durch das Regelungsvorhaben kein Erfüllungsaufwand2.

Verwaltung

Der Bundesverwaltung entsteht einmaliger Erfüllungsaufwand in Höhe von rund 4 Mio. Euro sowie jährlicher Erfüllungsaufwand von rund 15,9 Mio. Euro. Bei den Ländern entsteht jährlicher Erfüllungsaufwand von rund 33,1 Mio. Euro sowie geringfügiger Umstellungsaufwand.

Bund

• Bundesnetzagentur (BNetzA) als zentrale Anlaufstelle

Das Regelungsvorhaben benennt die BNetzA als zentrale Anlaufstelle für alle Fragen im Zusammenhang mit der EU-KI-Verordnung. Darunter fallen u. a. die Aufgaben als Zentrale Anlaufstelle mit Kompetenz- und Koordinierungszentrum, die Marktüberwachung für KI-Systeme, Befugniserteilung und Notifizierung, Aufsichtsaufgaben im Reallabor sowie der Test von Hochrisiko- KI-Systemen unter Realbedingungen.

Das Ressort schätzt, dass der BNetzA durch die Wahrnehmung dieser Aufgaben zusätzliche jährliche Personalkosten in Höhe von rund 4 Mio. Euro (ca. 43 Stellen) und jährliche Sachkosten in

Höhe von rund 6,3 Mio. Euro entstehen. Des Weiteren veranschlagt das Ressort einen einmaligen

Erfüllungsaufwand in Höhe von rund 5,5 Mio. Euro für die Entwicklung erforderlicher IT-Lösungen. Das Ressort hat den Aufwand nachvollziehbar dargestellt und dabei transparent gemacht, dass die Aufwandskalkulationen aufgrund des sich ändernden Marktumfeldes mit Unsicherheiten behaftet sind.

2 Die Verpflichtungen für die Wirtschaft ergeben sich unmittelbar aus der europäischen KI-Verordnung.

• Weitere Wesentlichen Vorgaben

Vorgabe

Jährlicher Erfüllungsaufwand (in Tsd. Euro)

Einmaliger Erfüllungsaufwand (in Tsd. Euro)

Marktüberwachung für KI-Systeme (BaFin) 2 105

Befugniserteilung und Notifizierung (BSI)

Algorithmenbewertungsstelle für Behörden und Organisationen mit Sicherheitsaufgaben (ZITIs) 1 009

Zusammenarbeit der zuständigen Behörden (BSI, BaFin, ADS) 2 001

Unterrichtung der Marktüberwachungsbehörden (BAuA)

Summe 5 569

1 048

Länder

Jährlich

• Marktüberwachung KI-Systeme

Die bestehenden Marktüberwachungsbehörden sollen zusätzlich den Einsatz von KI in ihrem Bereich überwachen. Das Ressort schätzt, dass hierfür bei den Ländern jährlicher Erfüllungsaufwand von rund 26,8 Mio. Euro sowie geringfügiger einmaliger Erfüllungsaufwand anfällt. Die

Schätzung basiert nach Angaben des Ressorts auf einer Hochrechnung, nach Befragung von einem Großteil der Länder. Die befragten Länder stünden für rund 76 Prozent aller Marktüberwachungstätigkeiten aller Länder.

• Unterrichtung Marktüberwachungsbehörden (BAuA) und Zusammenarbeit zuständige

Behörden

Für die Unterrichtung der Bundesanstalt für Arbeitsschutz und Arbeitsmedizin bei Nichtkonformität oder Risiken sowie die Zusammenarbeit zuständiger Marktaufsichtsbehörden geht das Ressort von rund 5,9 Mio. Euro jährlichem Erfüllungsaufwand aus.

• Test von Hochrisiko KI-Systemen

Das Ressort schätzt, dass bei den Ländern für den Test von Hochrisiko-KI-Systemen jährlicher

Erfüllungsaufwand von rund 300 000 Euro entsteht.

III.2.

Erwägungen zu anderen Lösungsmöglichkeiten

Das Ressort hat transparent dargestellt, dass es für verschiedene Umsetzungsoptionen alternative

Umsetzungsmöglichkeiten geprüft hat. So ist für die Marktüberwachung zum einen die Gründung einer neuen Behörde Mittels Staatsvertrag und zum anderen die komplette Verlagerung auf Länderebene geprüft worden. Die erste Option hat das Ressort aus Zeitgründen verworfen. Gegen die zweite Option sprach laut Ressort eine möglichst einheitliche Anwendung der KI-Verordnung. Das Ressort kam zu dem Ergebnis, dass die Ziele am besten durch die Nutzung der bestehenden Strukturen sowie die Schaffung zentraler Zuständigkeiten bei der BNetzA erreicht werden könne. Nicht zuletzt durch die Bündelung der Zuständigkeiten aus weiteren EU-Digitalgesetzen bei der BNetzA (u. a. Datenverordnung, Daten-Governance-Rechtsakt) könnten sich Synergieeffekte ergeben.

Schließlich hat das Ressort ebenso für die durch die EU-Verordnung geforderte völlige Unabhängigkeit geprüft, ob die Aufgabe deshalb auf eine bestehende unabhängige Behörde wie z. B. der Bundesbeauftragten für den Datenschutz und die Informationsfreiheit (BfDI) übertragen werden sollte. Dies würde die Aufteilung der Zuständigkeiten bedeuten, woraus sich aus Sicht des Ressorts Abgrenzungsschwierigkeiten, unklare Zuständigkeiten und auseinanderfallende Ansprechpartner für Unternehmen und Verwaltungen ergeben hätten können, sodass sich das Ressort gegen diese Option entschieden hat. Weiterhin wurden für die Ausgestaltung der völligen Unabhängigkeit innerhalb der BNetzA verschiedene Modelle geprüft.

9. Februar 2026

Lutz Goebel Malte Spitz

Vorsitzender Berichterstatter für das Bundesministerium für Digitales und Staatsmodernisierung

[Gesetzentwurf · 21/4594]

Deutscher Bundestag

21. Wahlperiode

09.03.2026

Gesetzentwurf der Bundesregierung

Entwurf eines Gesetzes zur Durchführung der Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates vom 13. Juni 2024 zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz und zur Änderung der Verordnungen (EG) Nr. 300/2008, (EU) Nr. 167/2013, (EU) Nr. 168/2013,

(EU) 2018/858, (EU) 2018/1139 und (EU) 2019/2144 sowie der Richtlinien

2014/90/EU, (EU) 2016/797 und (EU) 2020/1828

(Gesetz zur Durchführung der Verordnung über künstliche Intelligenz)

A. Problem und Ziel

Am 1. August 2024 ist die Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates vom 13. Juni 2024 zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz und zur Änderung der Verordnungen (EG) Nr. 300/2008, (EU) Nr. 167/2013, (EU) Nr. 168/2013, (EU) 2018/858, (EU) 2018/1139 und (EU) 2019/2144 sowie der Richtlinien 2014/90/EU, (EU) 2016/797 und (EU) 2020/1828 (Verordnung über künstliche Intelligenz – KI-Verordnung) (ABl. L, 2024/1689, 12.7.2024) in Kraft getreten. Die Verordnung (EU) 2024/1689 legt einen einheitlichen Rechtsrahmen für die Entwicklung, das Inverkehrbringen, die Inbetriebnahme und die Verwendung von Systemen künstlicher Intelligenz (KI-Systeme) in der Europäischen Union fest. Dadurch soll ein einheitlicher Binnenmarkt für KI-gestützte Waren und Dienstleistungen geschaffen, Innovationen gefördert und gleichzeitig ein hohes Schutzniveau in Bezug auf Gesundheit, Sicherheit und die in der Charta der Grundrechte der Europäischen Union verankerten Grundrechte, einschließlich Demokratie, Rechtsstaatlichkeit und Umweltschutz, sichergestellt werden. Die Verordnung (EU) 2024/1689 verfolgt dabei einen risikobasierten Ansatz und enthält insbesondere Verbote bestimmter Praktiken im KI-Bereich, besondere Anforderungen an Hochrisiko-KI-Systeme und Pflichten für Akteure in Bezug auf solche Systeme, Transparenzvorschriften für bestimmte KI-Systeme sowie Maßnahmen zur Innovationsförderung mit besonderem Augenmerk auf kleine und mittlere Unternehmen sowie Start-ups. Die Regelungen der Verordnung (EU) 2024/1689 gelten grundsätzlich unmittelbar ab dem 2. August 2026. Zur Durchführung der Verordnung (EU) 2024/1689 muss jeder Mitgliedstaat der Europäischen Union bis zum 2. August 2025 mindestens eine notifizierende Behörde und mindestens eine Marktüberwachungsbehörde, darunter eine Marktüberwachungsbehörde, die als zentrale Anlaufstelle für die Verordnung (EU) 2024/1689 fungiert, als zuständige nationale Behörden einrichten oder benennen.

B. Lösung

Der vorliegende Gesetzentwurf dient der Durchführung der Verordnung (EU) 2024/1689. Die Durchführungsgesetzgebung muss von den Mitgliedstaaten der Europäischen Union bis zum 2. August 2025 abgeschlossen werden. Mit Artikel 1 werden die für die Durchführung der Verordnung (EU) 2024/1689 zuständigen Behörden benannt, deren Aufgaben geregelt sowie Kooperationsvorschriften und die erforderlichen Vorschriften für das Bußgeldverfahren erlassen. Mit den Artikeln 2 bis 4 werden einschlägige Gesetze geändert, um sie an die Verordnung (EU) 2024/1689 anzupassen.

C. Alternativen

Die Durchführung der Verordnung (EU) 2024/1689 ist zwingend. Insoweit gibt es keine Alternativen. Es wurden verschiedene Varianten der Durchführung geprüft, die jedoch nicht vorzugswürdig waren.

D. Haushaltsausgaben ohne Erfüllungsaufwand

1. Bundesnetzagentur Aufgrund der Neuregelungen dieses Gesetzes entstehen der Bundesnetzagentur jährliche Personaleinzelkosten für die Wahrnehmung der Fachaufgaben in Höhe von insgesamt 3 678 000 Euro, Sacheinzelkosten in Höhe von 1 137 000 Euro sowie Gemeinkosten in Höhe von 1 416 000 Euro; diese Kosten gelten ab dem Jahr 2026 und sind – vorbehaltlich einer anderweitigen Evaluierung – für die folgenden Jahre gleichbleibend. Nach den Ergebnissen zur Ermittlung und Darstellung des Erfüllungsaufwands sind für die Wahrnehmung der Fachaufgaben insgesamt 33,2 Planstellen erforderlich (23 im höheren Dienst – hD –, 7,7 im gehobenen Dienst – gD – und 2,5 im mittleren Dienst – mD –), für den Querschnittsbereich werden weitere 9,8 Planstellen benötigt (6,8 hD, 2,3 gD und 0,7 mD). Es entstehen einmalige Sachkosten in Höhe von 3 000 000 Euro und laufende Sachkosten in Höhe von 6 300 000 Euro, insbesondere für den Betrieb und die Weiterentwicklung erforderlicher IT-Verfahren, den Betrieb eines KI-Reallabors und die Schnittstellenbereitstellung zur EU-Datenbank. Die Personal- und Sacheinzelkosten für den Querschnittsbereich sind im Gemeinkostenzuschlag auf die jährlichen Personal- und Sacheinzelkosten für die Fachaufgaben enthalten. Die Berechnungen des personellen Mehrbedarfs sind vor dem Hintergrund der in Abschnitt A Ziffer VIII der Begründung vorgesehenen Evaluierungsklausel zu sehen, die gegebenenfalls eine bedarfsorientierte Nachsteuerung der Kapazitäten notwendig macht. Die Kosten wurden auf Grundlage des Rundschreibens für Wirtschaftlichkeitsuntersuchungen und Kostenberechnungen des Bundesministeriums der Finanzen vom 23. Juni 2025 (Gz.: II A 3 – H 1012/00236/007/015) ermittelt. 2. Bundesanstalt für Finanzdienstleistungsaufsicht Für Kosten, die der Bundesanstalt für Finanzdienstleistungsaufsicht aus ihrer Zuständigkeit nach diesem Gesetzentwurf entstehen, gelten die Regelungen des Gesetzes über die Bundesanstalt für Finanzdienstleistungsaufsicht (Finanzdienstleistungsaufsichtsgesetz – FinDAG, siehe Artikel 4 des Entwurfs). 3. Bundesamt für Sicherheit in der Informationstechnik Aufgrund der Neuregelungen dieses Gesetzes und der damit einhergehenden Übertragung neuer Aufgaben entstehen bei dem Bundesamt für Sicherheit in der Informationstechnik zusätzliche Personalkosten. Für die Wahrnehmung der neuen Fachaufgaben sind 13 Stellen/Planstellen (elf hD, eine gD, eine mD) erforderlich. Hieraus resultieren voraussichtliche jährliche Personalkosten in Höhe von 1 511 000 Euro, Sacheinzelkosten in Höhe von 445 000 Euro sowie Gemeinkosten in Höhe von 575 000 Euro. 4. Zentrale Stelle für Informationstechnik im Sicherheitsbereich Aufgrund der Neuregelungen dieses Gesetzes und der damit einhergehenden Übertragung neuer Aufgaben entstehen bei der Zentralen Stelle für Informationstechnik im Sicherheitsbereich zusätzliche Personalkosten. Für die Wahrnehmung der neuen Fachaufgaben sind insgesamt acht Planstellen (fünf hD, drei gD) erforderlich. Hieraus resultieren voraussichtliche jährliche Personalkosten in Höhe von 872 000 Euro, Sacheinzelkosten in Höhe von 274 000 Euro sowie Gemeinkosten in Höhe von 337 000 Euro. Hinzu kommen einmalige Sachkosten in Höhe von 850 000 Euro. Der einmalige Sachaufwand ist erforderlich für die Beschaffung von technischer Ausstattung (z. B. leistungsfähiger Workstations) einschließlich spezialisierter Analyse- und Dokumentationswerkzeuge. 5. Bundesbeauftragte für den Datenschutz und die Informationsfreiheit Aufgrund der Neuregelungen dieses Gesetzes und der damit einhergehenden Übertragung neuer Aufgaben entstehen der Bundesbeauftragten für den Datenschutz und die Informationsfreiheit zusätzliche Personalkosten in Höhe von 1 033 000 Euro. Diese setzen sich aus Personaleinzelkosten in Höhe von 596 000 Euro, Sacheinzelkosten in Höhe von 158 000 Euro sowie Gemeinkosten in Höhe von 279 000 Euro zusammen. Die Kosten gelten ab dem Jahr 2026 und sind vorbehaltlich einer anderweitigen Evaluierung – für die folgenden Jahre gleichbleibend. 6. Bundesanstalt für Arbeitsschutz und Arbeitsmedizin Aufgrund der Neuregelungen dieses Gesetzes und der damit einhergehenden Übertragung neuer Aufgaben nach § 7 Absatz 1 und 2 entstehen bei der Bundesanstalt für Arbeitsschutz und Arbeitsmedizin zusätzliche Personalkosten. Für die Wahrnehmung der neuen Fachaufgaben sind nach den Ergebnissen zur Ermittlung und Darstellung des Erfüllungsaufwands insgesamt fünf Planstellen (eine hD, vier gD) erforderlich. Hieraus resultieren voraussichtliche jährliche Personalgesamtkosten in Höhe von 773 052 Euro und Sachgesamtkosten in Höhe von 221 598 Euro. Daraus ergeben sich Gesamtkosten in Höhe von 994 649 Euro. Diese Kosten gelten ab dem Jahr 2027 und sind – vorbehaltlich einer anderweitigen Evaluierung – für die folgenden Jahre gleichbleibend. 7. Kostentragung Der stellenmäßige Mehrbedarf in dem unter der Fachaufsicht des Bundesministeriums für Digitales und Staatsmodernisierung (BMDS) stehenden Bereich der Bundesnetzagentur soll im Einzelplan des zuständigen Ressorts ausgeglichen werden. Der finanzielle Mehrbedarf soll im Einzelplan 24 des BMDS ausgeglichen werden. Im Übrigen soll der hier durch die Durchführung der Verordnung (EU) 2024/1689 entstehende Mehrbedarf an Sach- und Personalmitteln im Bereich des Bundes finanziell und stellenmäßig im jeweils betreffenden Einzelplan ausgeglichen werden. Über die Einzelheiten wird im Rahmen der jeweiligen Haushaltsaufstellungsverfahren der kommenden Jahre entschieden.

E. Erfüllungsaufwand

Verpflichtungen für die Wirtschaft sowie für die Bürgerinnen und Bürger ergeben sich aus der unmittelbar geltenden Verordnung (EU) 2024/1689. Mit diesem Durchführungsgesetz werden für sie daher keine neuen Verpflichtungen geschaffen. Erfüllungsaufwand aufgrund dieses Entwurfs entsteht daher weder für die Wirtschaft noch für die Bürgerinnen und Bürger.

E.1 Erfüllungsaufwand für Bürgerinnen und Bürger Keiner.

E.2 Erfüllungsaufwand für Wirtschaft Keiner.

E.3 Erfüllungsaufwand für Verwaltung Für die Verwaltung erhöht sich der jährliche Erfüllungsaufwand um rund 48 997 000 Euro. Der einmalige Erfüllungsaufwand beträgt rund 4 076 000 Euro. Davon entfallen 15 898 000 Euro an jährlichem Erfüllungsaufwand auf den Bund und 33 099 000 Euro auf die Länder (inklusive Kommunen). An einmaligem Erfüllungsaufwand entfallen 4 048 000 Euro auf den Bund und 28 000 Euro auf die Länder (inklusive Kommunen).

F. Weitere Kosten

Keine.

BUNDESREPUBLIK DEUTSCHLAND

DER BUNDESKANZLER

Berlin, 9. März 2026

An die Präsidentin des Deutschen Bundestages Frau Julia Klöckner Platz der Republik 1 11011 Berlin

Sehr geehrte Frau Bundestagspräsidentin, hiermit übersende ich den von der Bundesregierung beschlossenen

Entwurf eines Gesetzes zur Durchführung der Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates vom 13. Juni 2024 zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz und zur Änderung der Verordnungen (EG) Nr. 300/2008, (EU) Nr. 167/2013, (EU) Nr. 168/2013, (EU) 2018/858, (EU) 2018/1139 und (EU) 2019/2144 sowie der Richtlinien 2014/90/EU, (EU) 2016/797 und (EU) 2020/1828 (Gesetz zur Durchführung der Verordnung über künstliche Intelligenz)

mit Begründung und Vorblatt (Anlage 1).

Ich bitte, die Beschlussfassung des Deutschen Bundestages herbeizuführen.

Federführend ist das Bundesministerium für Digitales und Staatsmodernisierung.

Die Stellungnahme des Nationalen Normenkontrollrates gemäß § 6 Absatz 1 NKRG ist als Anlage 2 beigefügt.

Der Gesetzentwurf ist dem Bundesrat am 13. Februar 2026 als besonders eilbedürftig zugeleitet worden.

Die Stellungnahme des Bundesrates zu dem Gesetzentwurf sowie die Auffassung der Bundesregierung zu der Stellungnahme des Bundesrates werden unverzüglich nachgereicht.

Mit freundlichen Grüßen

Friedrich Merz

Entwurf eines Gesetzes zur Durchführung der Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates vom 13. Juni 2024 zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz und zur Änderung der Verordnungen (EG) Nr. 300/2008, (EU) Nr. 167/2013, (EU) Nr. 168/2013,

(EU) 2018/858, (EU) 2018/1139 und (EU) 2019/2144 sowie der Richtlinien

2014/90/EU, (EU) 2016/797 und (EU) 2020/1828

(Gesetz zur Durchführung der Verordnung über künstliche Intelligenz)

Vom ...

Der Bundestag hat das folgende Gesetz beschlossen:

Artikel 1

Gesetz zur Marktüberwachung und Innovationsförderung von künstlicher Intelligenz (KI-Marktüberwachungs-und-Innovationsförderungs-Gesetz – KI-MIG)

T e i l 1 A l l g e m e i n e V o r s c h r i f t e n

§ 1

Anwendungsbereich

Dieses Gesetz dient der Durchführung der Verordnung (EU) 2024/1689. Es gilt für KI-Systeme im Sinne des Artikels 3 Nummer 1 der Verordnung (EU) 2024/1689 und regelt ergänzend zu den in der Verordnung enthaltenen Bestimmungen die zuständigen Behörden gemäß Artikel 70 Absatz 1 Satz 1 der Verordnung (EU) 2024/1689, Maßnahmen zur Innovationsförderung sowie Bußgelder bei Verstößen gegen die Vorschriften der Verordnung gemäß Artikel 99 Absatz 1 Satz 1 der Verordnung (EU) 2024/1689.

T e i l 2 Z u s t ä n d i g e B e h ö r d e n u n d Z u s a m m e n a r b e i t

A b s c h n i t t 1 Z u s t ä n d i g e S t e l l e n

§ 2

Zuständige Marktüberwachungsbehörden

(1) Die Bundesnetzagentur ist die für die Einhaltung der Verordnung (EU) 2024/1689 zuständige Marktüberwachungsbehörde, soweit in diesem Gesetz nichts anderes bestimmt ist.

(2) Die Behörden, die durch Bundes- oder Landesrecht zu Marküberwachungsbehörden zur Ausführung der in Anhang I Abschnitt A der Verordnung (EU) 2024/1689 genannten Harmonisierungsrechtsvorschriften be- Anlage 1

Deutscher Bundestag – 21. Wahlperiode stimmt wurden, nehmen auch die Aufgaben als zuständige Marktüberwachungsbehörden gemäß der Verordnung (EU) 2024/1689 wahr, wenn KI-Systeme betroffen sind, die mit solchen Produkten in Zusammenhang stehen, auf die die im Anhang I Abschnitt A genannten Vorschriften anzuwenden sind.

(3) Die Bundesanstalt für Finanzdienstleistungsaufsicht ist die zuständige Marktüberwachungsbehörde für in direktem Zusammenhang mit einer regulierten Finanztätigkeit stehende KI-Systeme, die durch folgende, von der Bundesanstalt für Finanzdienstleistungsaufsicht beaufsichtigte Unternehmen in Verkehr gebracht, in Betrieb genommen oder verwendet werden: 1. Institute nach § 1 Absatz 1b des Kreditwesengesetzes in der Fassung der Bekanntmachung vom 9. September 1998 (BGBl. I S. 2776), das zuletzt durch Artikel 9 des Gesetzes vom 28. Februar 2025 (BGBl. 2025 I Nr. 69) geändert worden ist, 2. Emittenten vermögenswertereferenzierter Token nach Artikel 3 Absatz 1 Nummer 6 der Durchführungsverordnung (EU) 2023/1114, 3. Anbieter von Kryptowerte-Dienstleistungen nach Artikel 3 Absatz 1 Nummer 15 der Verordnung (EU) 2023/1114, 4. Investmentholdinggesellschaften nach § 2 Absatz 27 des Wertpapierinstitutsgesetzes vom 12. Mai 2021 (BGBl. I S. 990), das zuletzt durch Artikel 5 des Gesetzes vom 27. Dezember 2024 (BGBl. 2024 I Nr. 438) geändert worden ist, 5. Finanzholdinggesellschaften nach § 1 Absatz 35 des Kreditwesengesetzes in Verbindung mit Artikel 4 Absatz 1 Nummer 20 der Verordnung (EU) Nr. 575/2013, 6. gemischte Finanzholdinggesellschaften nach § 1 Absatz 35 des Kreditwesengesetzes in Verbindung mit Artikel 4 Absatz 1 Nummer 21 der Verordnung (EU) Nr. 575/2013, 7. Kreditdienstleistungsinstitute im Sinne des § 2 Absatz 2 des Kreditzweitmarktgesetzes vom 22. Dezember 2023 (BGBl. 2023 I Nr. 411, S. 2), 8. Zahlungsinstitute im Sinne des § 1 Absatz 1 Satz 1 Nummer 1 des Zahlungsdiensteaufsichtsgesetzes vom 17. Juli 2017 (BGBl. I S. 2446; 2019 I S. 1113), das zuletzt durch Artikel 11 des Gesetzes vom 28. Februar 2025 (BGBl. 2025 I Nr. 69) geändert worden ist, 9. E-Geld-Institute im Sinne des § 1 Absatz 2 Satz 1 Nummer 1 des Zahlungsdiensteaufsichtsgesetzes, 10. Wertpapierinstitute im Sinne des § 2 Absatz 1 des Wertpapierinstitutsgesetzes, 11. Datenbereitstellungsdienste im Sinne des § 1 Absatz 3a des Kreditwesengesetzes, 12. Schwarmfinanzierungsdienstleister im Sinne des Artikels 2 Absatz 1 Buchstabe e der Verordnung (EU) 2020/1503, 13. zentrale Gegenparteien im Sinne des § 1 Absatz 31 des Kreditwesengesetzes, 14. Zentralverwahrer im Sinne des § 1 Absatz 6 des Kreditwesengesetzes, 15. Verwaltungsgesellschaften im Sinne des § 1 Absatz 14 des Kapitalanlagegesetzbuchs vom 4. Juli 2013 (BGBl. I S. 1981), das zuletzt durch Artikel 6 des Gesetzes vom 27. Dezember 2024 (BGBl. 2024 I Nr. 438) geändert worden ist, 16. Versicherungsunternehmen im Sinne des § 7 Nummer 33 und 34 des Versicherungsaufsichtsgesetzes vom 1. April 2015 (BGBl. I S. 434), das zuletzt durch Artikel 11 des Gesetzes vom 27. Dezember 2024 (BGBl. 2024 I Nr. 438) geändert worden ist, 17. Pensionsfonds im Sinne des § 236 Absatz 1 Satz 1 des Versicherungsaufsichtsgesetzes, 18. separate Abrechnungsverbände der öffentlich-rechtlichen Versorgungseinrichtungen, die im Wege der freiwilligen Versicherung Leistungen der Altersvorsorge anbieten, gemäß § 2 Absatz 1 des Versicherungsaufsichtsgesetzes, 19. Versicherungs-Holdinggesellschaften im Sinne des § 7 Nummer 31 des Versicherungsaufsichtsgesetzes sowie Unternehmen im Sinne des § 293 Absatz 4 des Versicherungsaufsichtsgesetzes, 20. gemischte Versicherungs-Holdinggesellschaften im Sinne des § 7 Nummer 11 des Versicherungsaufsichtsgesetzes, 21. gemischte Finanzholding-Gesellschaften im Sinne des § 7 Nummer 10 des Versicherungsaufsichtsgesetzes,

22. Versicherungs-Zweckgesellschaften im Sinne des § 168 Absatz 1 Satz 1 des Versicherungsaufsichtsgesetzes, 23. Sicherungsfonds gemäß § 223 Absatz 1 Satz 1 des Versicherungsaufsichtsgesetzes sowie juristische Personen des Privatrechts, denen Aufgaben und Befugnisse eines oder beider Sicherungsfonds gemäß § 224 des Versicherungsaufsichtsgesetzes übertragen worden sind, 24. den Pensions-Sicherungs-Verein Versicherungsverein auf Gegenseitigkeit im Sinne des § 14 Absatz 1 des Betriebsrentengesetzes vom 19. Dezember 1974 (BGBl. I S. 3610), das zuletzt durch Artikel 14 des Gesetzes vom 20. Dezember 2022 (BGBl. I S. 2759) geändert worden ist, oder 25. Niederlassungen von Einrichtungen der betrieblichen Altersversorgung im Sinne des Artikels 6 Nummer 1 der Richtlinie (EU) 2016/2341, die ihren Sitz in einem Drittstaat haben. In den Fällen, in denen die Europäische Zentralbank zuständige Aufsichtsbehörde gemäß Artikel 4 Absatz 1 Buchstabe a bis i der Verordnung (EU) Nr. 1024/2013 für ein in der Bundesrepublik Deutschland niedergelassenes Kreditinstitut oder gemäß Artikel 4 Absatz 2 der Verordnung (EU) Nr. 1024/2013 für eine in der Bundesrepublik Deutschland errichtete Zweigstelle ist, ist die Bundesanstalt für Finanzdienstleistungsaufsicht zuständige Marktüberwachungsbehörde gemäß der Verordnung (EU) 2024/1689 für in direktem Zusammenhang mit einer regulierten Finanztätigkeit stehende KI-Systeme. Die Bundesanstalt für Finanzdienstleistungsaufsicht ist unter den Voraussetzungen des Satzes 1 auch zuständige Marktüberwachungsbehörde für in direktem Zusammenhang mit einer regulierten Finanztätigkeit stehende KI-Systeme, soweit die Zuständigkeit für die Beaufsichtigung gemäß Artikel 43 Absatz 7 oder Artikel 44 Absatz 4 der Verordnung (EU) 2023/1114 in Bezug auf den Emittenten eines signifikanten vermögenswertereferenzierten Tokens auf die Europäische Bankenaufsichtsbehörde übertragen ist und der Emittent weiterhin im Inland geschäftsansässig ist. Zudem ist die Bundesanstalt für Finanzdienstleistungsaufsicht zuständige Marktüberwachungsbehörde für in direktem Zusammenhang mit einer regulierten Finanztätigkeit stehende Hochrisiko-KI-Systeme der Versorgungsanstalt des Bundes und der Länder.

(4) Steht das Inverkehrbringen, die Inbetriebnahme oder die Verwendung eines KI-Systems in direktem Zusammenhang mit einer regulierten Finanztätigkeit, welche von einem Finanzinstitut erbracht wird, das nicht von der Bundesanstalt für Finanzdienstleistungsaufsicht nach Absatz 3 überwacht wird, so obliegt die Marktüberwachung derjenigen Aufsichtsbehörde, die gemäß Gesetz oder aufgrund entsprechender Vereinbarung zwischen ihr und der Bundesanstalt für Finanzdienstleistungsaufsicht zuständige Finanzaufsichtsbehörde ist.

(5) Vorbehaltlich des Absatzes 6 wird bei der Bundesnetzagentur gemäß § 4 eine unabhängige KI-Marktüberwachungskammer zur Marktüberwachung der folgenden KI-Systeme eingerichtet: 1. Hochrisiko-KI-Systeme nach Artikel 6 Absatz 2 in Verbindung mit Anhang III Nummer 1 der Verordnung (EU) 2024/1689, sofern sie für Strafverfolgungszwecke, Grenzmanagement und Justiz und Demokratie eingesetzt werden, sowie 2. Hochrisiko-KI-Systeme nach Artikel 6 Absatz 2 in Verbindung mit Anhang III Nummer 6, 7 und 8 der Verordnung (EU) 2024/1689. (6) Für die Fälle, in denen öffentliche Stellen der Länder im Sinne des § 2 Absatz 2 und 3 des Bundesdatenschutzgesetzes KI-Systeme in Verkehr bringen, in Betrieb nehmen oder verwenden, obliegt die Marktüberwachung den nach Landesrecht zuständigen Behörden. Für die Koordinierung der Zusammenarbeit durch das Koordinierungs- und Kompetenzzentrum nach § 5 Satz 2 Nummer 2 und die zentrale Beschwerdestelle nach § 8 können die Länder einheitliche Ansprechpartner benennen.

(7) Sieht die Bundesnetzagentur Grund zur Annahme, dass eine Bundesfinanzbehörde nach § 1 des Finanzverwaltungsgesetzes, die KI-Systeme bei der Verwaltung von Abgabenangelegenheiten in Verkehr bringt, in Betrieb nimmt oder verwendet, gegen die Verordnung (EU) 2024/1689 verstößt, darf sie ihre Durchsetzungsbefugnisse nur im Einvernehmen mit dem Bundesministerium der Finanzen ausüben. Für die Erteilung des Einvernehmens kann sie dem Bundesministerium der Finanzen eine angemessene Frist setzen. Wird bis zum Ablauf dieser Frist kein Einvernehmen erzielt, geht die Zuständigkeit für die Marktüberwachung bezüglich dieses Sachverhalts von der Bundesnetzagentur auf das Bundesministerium der Finanzen über.

(8) Für die Fälle, in denen Mediendienstanbieter im Sinne des Artikels 2 Nummer 2 der Verordnung (EU) 2024/1083 KI-Systeme bei der Veranstaltung, dem Angebot, der Verbreitung und der Zugänglichmachung von Mediendiensten zu journalistischen Zwecken oder zu Werbezwecken in Verkehr bringen, in Betrieb nehmen oder verwenden, obliegt die Marktüberwachung den nach Landesrecht zuständigen Behörden. Bei der Deutschen Welle richtet sich die Aufsicht über die Einhaltung der Verordnung (EU) 2024/1689 in dem in Satz 1 benannten

Drucksache 21/4594 Deutscher Bundestag – 21. Wahlperiode Bereich abweichend von Satz 1 nach dem Deutsche-Welle-Gesetz sowie den aufsichtsrechtlichen Bestimmungen der Deutschen Welle.

(9) Die nach den Absätzen 1 bis 7 zuständigen Behörden können Sachverständige des wissenschaftlichen Gremiums (Artikel 68 der Verordnung (EU) 2024/1689) gemäß Artikel 69 der Verordnung (EU) 2024/1689 hinzuziehen.

§ 3

Zuständige Behörden für die Notifizierung und Akkreditierung von Konformitätsbewertungsstellen

(1) Die Behörden, die durch Bundes- oder Landesrecht zu notifizierenden Behörden zur Ausführung der in Anhang I Abschnitt A der Verordnung (EU) 2024/1689 genannten Harmonisierungsrechtsvorschriften bestimmt wurden, nehmen auch die Aufgaben als zuständige notifizierende Behörden gemäß Artikel 28 Absatz 1 der Verordnung (EU) 2024/1689 wahr, wenn KI-Systeme betroffen sind, die mit solchen Produkten in Zusammenhang stehen, auf die die im Anhang I Abschnitt A genannten Vorschriften anzuwenden sind. Für KI-Systeme, die mit solchen Produkten in Zusammenhang stehen, auf die die Verordnung (EU) 2016/424 anzuwenden ist, bestimmen die Länder die zuständigen notifizierenden Behörden.

(2) Für die Hochrisiko-KI-Systeme nach Artikel 6 Absatz 2 in Verbindung mit Anhang III Nummer 1 der Verordnung (EU) 2024/1689 ist die Marktüberwachungsbehörde, die nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 zu benennen ist, die gemäß Artikel 28 Absatz 1 der Verordnung (EU) 2024/1689 zuständige notifizierende Behörde. Bis zur Benennung der Marktüberwachungsbehörde nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 nimmt das Bundesamt für Sicherheit in der Informationstechnik die in Satz 1 genannte Aufgabe wahr.

(3) Hat die notifizierende Behörde nach den Absätzen 1 oder 2 festgestellt, dass eine Konformitätsbewertungsstelle die Anforderungen nach Artikel 31 der Verordnung (EU) 2024/1689 erfüllt, so erteilt sie dieser die Befugnis, Konformitätsbewertungen nach Artikel 3 Nummer 20 der Verordnung (EU) 2024/1689 vorzunehmen und notifiziert diese nach Artikel 30 Absatz 2 der Verordnung (EU) 2024/1689 der Kommission und den übrigen Mitgliedstaaten. Die Befugnis kann unter Bedingungen oder Auflagen erteilt werden. Sie kann befristet und mit dem Vorbehalt des Widerrufs sowie dem Vorbehalt nachträglicher Auflagen erteilt werden. Sie ist unter der aufschiebenden Bedingung zu erteilen, dass weder die Europäische Kommission noch die anderen Mitgliedstaaten der Europäischen Union Einwände gegen die Notifizierung erheben.

(4) Die Bewertung und Überwachung von Konformitätsbewertungsstellen gemäß Artikel 3 Nummer 21 der Verordnung (EU) 2024/1689, die ihren Sitz in Deutschland haben, obliegt den jeweiligen Stellen, die diese Aufgabe bereits im Rahmen der in Anhang I Abschnitt A der Verordnung (EU) 2024/1689 genannten Harmonisierungsvorschriften der Europäischen Union wahrnehmen. Die Bewertung und Überwachung von Konformitätsbewertungsstellen gemäß Artikel 3 Nummer 21 der Verordnung (EU) 2024/1689, die ihren Sitz in Deutschland haben und Konformitätsbewertungen für die in Anhang III Nummer 1 der Verordnung (EU) 2024/1689 genannten Hochrisiko-KI-Systeme durchführen, obliegt abweichend von Satz 1 der Deutschen Akkreditierungsstelle.

(5) Die nach den Absätzen 1, 2 und 4 zuständigen Behörden und die Deutsche Akkreditierungsstelle können Sachverständige des wissenschaftlichen Gremiums (Artikel 68 der Verordnung (EU) 2024/1689) gemäß Artikel 69 der Verordnung (EU) 2024/1689 hinzuziehen.

§ 4

KI-Marktüberwachungskammer

(1) Die KI-Marktüberwachungskammer hat drei Mitglieder. Den Vorsitz der Kammer führt der Präsident beziehungsweise die Präsidentin der Bundesnetzagentur. Die Vizepräsidenten beziehungsweise -präsidentinnen der Bundesnetzagentur sind beisitzende Mitglieder. Die Entscheidungen der KI-Marktüberwachungskammer werden mit einfacher Mehrheit der Mitglieder getroffen. Bei Stimmengleichheit entscheidet die Stimme des Vorsitzenden beziehungsweise der Vorsitzenden.

(2) Die KI-Marktüberwachungskammer wird durch eine Geschäftsstelle unterstützt. Sie kann zur Erfüllung ihrer Aufgaben über Personal- und Sachmittel der Bundesnetzagentur verfügen. Die Mitarbeitenden der Bundesnetzagentur unterstehen während ihrer Tätigkeit für die KI-Marktüberwachungskammer ausschließlich den Mitgliedern der KI-Marktüberwachungskammer.

(3) Die KI-Marktüberwachungskammer handelt völlig unabhängig. Sie unterliegt weder direkter noch indirekter Beeinflussung von außen und ersucht weder um Weisungen noch nimmt sie Weisungen entgegen.

(4) Die KI-Marktüberwachungskammer legt dem Bundestag jährlich einen Tätigkeitsbericht vor. Der Bericht ist erstmals für das Jahr 2026 zu erstellen und dem Bundestag jeweils zum 31. März des dem Berichtsjahr folgenden Jahres zu übermitteln.

(5) Die Aufgaben der KI-Marktüberwachungskammer erstrecken sich nicht auf die Überprüfung der in Artikel 5 Absatz 2 und 3 und Artikel 26 Absatz 10 der Verordnung (EU) 2024/1689 geregelten formellen und materiellen Anforderungen an die Anordnung des Einsatzes von Hochrisiko-KI-Systemen sowie an den Einsatz dieser Systeme im Einzelfall.

§ 5

Koordinierungs- und Kompetenzzentrum für die Durchführung der Verordnung (EU) 2024/1689

Bei der Bundesnetzagentur wird ein zentrales Koordinierungs- und Kompetenzzentrum für die Verordnung (EU) 2024/1689 eingerichtet. Das Zentrum hat die Aufgabe, 1. die nach diesem Gesetz zuständigen Marktüberwachungsbehörden, notifizierenden Behörden und die Deutsche Akkreditierungsstelle bei komplexen Entscheidungen im Anwendungsbereich der Verordnung (EU) 2024/1689 mit Sachverstand auf Anfrage zu unterstützen, 2. die Zusammenarbeit der nach diesem Gesetz zuständigen Behörden untereinander und mit sonstigen, in ihrem Zuständigkeitsbereich betroffenen Behörden zu koordinieren und darauf hinzuwirken, dass die horizontalen Rechtsfragen einheitlich beantwortet werden, 3. die Aufstellung von Verhaltenskodizes im Sinne des Artikels 95 Absatz 2 der Verordnung (EU) 2024/1689 zu erleichtern sowie 4. eine angemessene, transparente und regelmäßige Einbeziehung der Zivilgesellschaft, der Gewerkschaften, der Wirtschaft und der Wissenschaft und Forschung sowie der Länder sicherzustellen. Für die Erfüllung seiner Aufgaben nach Satz 2 Nummer 1 bis 3 kann das Zentrum im Einzelfall in ihrer Zuständigkeit betroffene Bundesbehörden einbinden und externen Sachverstand hinzuziehen. Für die Erfüllung seiner Aufgabe nach Satz 2 Nummer 2 kann das Zentrum geeignete Ausschüsse, insbesondere bestehend aus Vertretern der zuständigen Behörden, einrichten.

§ 6

Zentrale Anlaufstelle

(1) Zentrale Anlaufstelle im Sinne des Artikels 70 Absatz 2 Satz 3 der Verordnung (EU) 2024/1689 ist die Bundesnetzagentur.

(2) Die Marktüberwachungsbehörden und die notifizierenden Behörden stellen der zentralen Anlaufstelle Informationen über ihre Aufgaben und ihre elektronische Kontaktadresse sowie die Kontaktdaten einer Ansprechperson und einer diese vertretende Person zur Verfügung. Die Marktüberwachungsbehörden und die notifizierenden Behörden informieren die zentrale Anlaufstelle unverzüglich über Änderungen zu diesen Informationen.

(3) Die zentrale Anlaufstelle gibt die elektronischen Kontaktadressen nach Absatz 2 sowie ihre eigene elektronische Kontaktadresse öffentlich bekannt. Die zentrale Anlaufstelle teilt der Europäischen Kommission die Namen und die Aufgaben der Marktüberwachungsbehörden und der notifizierenden Behörden die in Satz 1 genannten elektronischen Kontaktadressen sowie alle späteren Änderungen dieser Kontaktadressen mit.

(4) Die zentrale Anlaufstelle nimmt Eingaben des nach Artikel 64 der Verordnung (EU) 2024/1689 eingerichteten Büros für Künstliche Intelligenz, der Öffentlichkeit und anderer Ansprechpartner auf Ebene der Mitgliedstaaten der Europäischen Union und der Europäischen Union selbst entgegen und leitet diese an die zuständigen nationalen Stellen weiter.

(5) Soweit in diesem Gesetz nichts anderes bestimmt ist, erfüllen die nach den §§ 2 und 3 zuständigen Behörden die aus der Verordnung (EU) 2024/1689 resultierenden Berichtspflichten über die zentrale Anlaufstelle, Drucksache 21/4594 Deutscher Bundestag – 21. Wahlperiode indem sie dieser die zur Erfüllung der jeweiligen Berichtspflicht jeweils erforderlichen Dokumente in elektronischer Form zur Verfügung stellen. Die zentrale Anlaufstelle stellt den zuständigen Behörden dafür Formulare in elektronischer Form zur Verfügung, die zu verwenden sind. Satz 1 gilt nicht für die Berichtspflicht gemäß Artikel 70 Absatz 6 der Verordnung (EU) 2024/1689, für deren Erfüllung das Bundesministerium für Digitales und Staatsmodernisierung zuständig ist. Die Bundesanstalt für Finanzdienstleistungsaufsicht kann ihre Berichtspflichten nach der Verordnung (EU) 2024/1689 abweichend von Satz 1 direkt gegenüber den anderen Mitgliedstaaten und den Institutionen der Europäischen Union erfüllen, soweit rechtliche Gründe einer Erfüllung durch die zentrale Anlaufstelle entgegenstehen.

§ 7

Unterrichtung bei Nichtkonformität oder Risiken eines KI-Systems

(1) Die Unterrichtung der Europäischen Kommission und anderer Mitgliedstaaten der Europäischen Union bei einer nicht auf Deutschland beschränkten Nichtkonformität eines KI-Systems nach Artikel 79 Absatz 3, 5 Satz 2 und Absatz 7 sowie nach Artikel 81 Absatz 2 Satz 1 und 2 der Verordnung (EU) 2024/1689 hat die zuständige Marktüberwachungsbehörde unverzüglich über die Bundesanstalt für Arbeitsschutz und Arbeitsmedizin vorzunehmen.

(2) Die Unterrichtung bei Risiken trotz Konformität eines KI-Systems nach Artikel 82 Absatz 3 der Verordnung (EU) 2024/1689 hat die zuständige Marktüberwachungsbehörde unverzüglich über die Bundesanstalt für Arbeitsschutz und Arbeitsmedizin vorzunehmen.

(3) Die Bundesanstalt für Arbeitsschutz und Arbeitsmedizin unterstützt im Rahmen ihrer Aufgaben die Marktüberwachung von KI-Systemen, die in ein Produkt gemäß einer der Rechtsakte der Europäischen Union nach Anhang I, Abschnitt A, Nummer 1, 4, 5, 7, 9 oder 10 der Verordnung (EU) 2024/1689 integriert sind, insbesondere mit evidenzbasiertem Spezialwissen für Betreiber, Anbieter und Normungsgremien.

§ 8

Zentrale Beschwerdestelle

(1) Beschwerden wegen eines Verstoßes gegen die Verordnung (EU) 2024/1689 können unbeschadet der Vorgaben des Artikels 85 der Verordnung (EU) 2024/1689 bei der Bundesnetzagentur als zentraler Beschwerdestelle eingereicht werden.

(2) Die zentrale Beschwerdestelle leitet Beschwerden wie folgt weiter: 1. eine Beschwerde, die in die Zuständigkeit einer Marktüberwachungsbehörde nach § 2 Absatz 2 bis 8 fällt, an die zuständige Behörde oder den zuständigen einheitlichen Ansprechpartner oder 2. eine Beschwerde, die auch in die Zuständigkeit einer Behörde oder öffentlichen Stelle nach Artikel 77 Absatz 1 der Verordnung (EU) 2024/1689 fällt, an diese Behörde beziehungsweise Stelle. Unbeschadet der Informationspflichten zu personenbezogenen Daten nach der Verordnung (EU) 2016/679 ist der Beschwerdeführer im Fall des Satzes 1 Nummer 1 von der zentralen Beschwerdestelle darüber zu informieren, welche Behörde nach § 2 Absatz 2 bis 8 für seine Beschwerde zuständig ist und dass die Beschwerde an diese Behörde oder den zuständigen einheitlichen Ansprechpartner abgegeben wurde.

(3) Zur Erfüllung ihrer Aufgaben als zentrale Beschwerdestelle richtet die Bundesnetzagentur ein Beschwerdemanagementsystem gemäß den Anforderungen der Barrierefreie-Informationstechnik-Verordnung ein.

(4) Wird eine Beschwerde wegen eines Verstoßes gegen die Verordnung (EU) 2024/1689 bei einer Marktüberwachungsbehörde nach § 2 Absatz 2 bis 8 eingereicht, so leitet diese die Beschwerde an die Bundesnetzagentur weiter, sofern sie nicht in die eigene Zuständigkeit fällt. Andernfalls stellt die Marktüberwachungsbehörde der Bundesnetzagentur in Textform eine Kopie der Beschwerde zur Verfügung.

A b s c h n i t t 2 Z u s a m m e n a r b e i t

§ 9

Zusammenarbeit der zuständigen Behörden

(1) Die Marktüberwachungsbehörden und die notifizierenden Behörden arbeiten zur Erfüllung ihrer Aufgaben im Rahmen ihrer jeweiligen Zuständigkeiten kooperativ und vertrauensvoll zusammen. Sie teilen einander Beobachtungen und Feststellungen mit, die für die Erfüllung ihrer jeweiligen Aufgaben von Bedeutung sein können.

(2) Soweit ihre jeweiligen Zuständigkeiten bei konkreten Marktüberwachungstätigkeiten oder bei Prüfungen und Maßnahmen gemäß Artikel 79 der Verordnung (EU) 2024/1689 betroffen sind, informieren sich die Marktüberwachungsbehörden, die Behörden und öffentlichen Stellen nach Artikel 77 Absatz 1 der Verordnung (EU) 2024/1689 und die sonstigen Behörden gegenseitig über Maßnahmen, die sie zu ergreifen beabsichtigen. Im Rahmen der Durchführung von Maßnahmen teilen sie einander Beobachtungen und Feststellungen mit, die sie für die Erfüllung ihrer jeweiligen Aufgaben nach diesem Gesetz oder der Verordnung (EU) 2024/1689 benötigen.

(3) Kommen die Marktüberwachungsbehörden zu dem Ergebnis, dass öffentliche Stellen im Sinne des § 2 Absatz 1 und 2 des Bundesdatenschutzgesetzes, gegen die Verordnung (EU) 2024/1689 verstoßen, so ist dies der für die jeweilige öffentliche Stelle zuständigen Rechts- oder Fachaufsichtsbehörde mitzuteilen und dieser vor Durchführung von Maßnahmen gegenüber der öffentlichen Stelle Gelegenheit zur Stellungnahme innerhalb einer angemessenen Frist einzuräumen. Von der Einräumung der Gelegenheit zur Stellungnahme kann abgesehen werden, wenn eine sofortige Entscheidung wegen Gefahr im Verzug oder im öffentlichen Interesse notwendig erscheint oder ihr ein zwingendes öffentliches Interesse entgegensteht. Die Stellungnahme der Rechts- oder Fachaufsichtsbehörde soll auch eine Darstellung der aufsichtsrechtlichen Maßnahmen enthalten, die aufgrund der Mitteilung der Behörde oder öffentlichen Stelle nach Absatz 2 Satz 1 getroffen worden sind. Satz 2 ist nicht anzuwenden, soweit es sich bei den öffentlichen Stellen um Strafverfolgungsbehörden im Sinne des Artikels 3 Nummer 45 der Verordnung (EU) 2024/1689 handelt.

(4) Die Marktüberwachungsbehörden beziehen bei der Wahrnehmung ihrer Aufgaben nach der Verordnung (EU) 2024/1689 insbesondere auch die folgenden sonstigen Behörden ein, soweit deren jeweiliger Zuständigkeitsbereich berührt ist: 1. die Datenschutzaufsichtsbehörden des Bundes und der Länder, 2. der nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 zu benennenden Marktüberwachungsbehörde und 3. das Bundeskartellamt. (5) Die in den Absätzen 1 bis 4 genannten Behörden können im Rahmen ihrer Zuständigkeit unabhängig von der jeweils gewählten Verfahrensart untereinander Informationen einschließlich personenbezogener Daten und Betriebs- und Geschäftsgeheimnisse austauschen, soweit dies zur Erfüllung ihrer jeweiligen Aufgaben gemäß der Verordnung (EU) 2024/1689 und dieses Gesetzes unbedingt erforderlich ist. Sie können diese Informationen in ihren Verfahren verwerten. Beweisverwertungsverbote bleiben unberührt. Die Regelungen über die Rechtshilfe in Strafsachen sowie Amts- und Rechtshilfeabkommen bleiben unberührt.

(6) Die bei der Bundesanstalt für Finanzdienstleistungsaufsicht beschäftigten und die von ihr beauftragten Personen dürfen solche ihnen bei ihrer Tätigkeit bekanntgewordenen Tatsachen, deren Geheimhaltung im Interesse eines nach der Verordnung (EU) 2024/1689 Verpflichteten, der zuständigen Behörden oder eines Dritten liegt, insbesondere Geschäfts- und Betriebsgeheimnisse, nicht unbefugt offenbaren oder verwerten, auch dann nicht, wenn sie nicht mehr im Dienst sind oder ihre Tätigkeit beendet ist. Ein unbefugtes Offenbaren oder Verwerten liegt insbesondere dann nicht vor, wenn 1. Tatsachen an Behörden oder andere öffentliche Stellen weitergegeben werden und die Weitergabe der Informationen zur Erfüllung der Aufgaben dieser Behörden oder Stellen nach diesem Gesetz oder der Verordnung (EU) 2024/1689 erforderlich ist oder Drucksache 21/4594 Deutscher Bundestag – 21. Wahlperiode 2. Tatsachen nach Artikel 74 Absatz 7 der Verordnung (EU) 2024/1689 an die Europäische Zentralbank weitergegeben werden oder wenn sie an die Deutsche Bundesbank weitergegeben werden, soweit dies im Rahmen der bankaufsichtlichen Aufgaben der Deutschen Bundesbank erforderlich ist. (7) Werden die in Absatz 6 genannten Tatsachen an eine inländische Behörde oder Stelle weitergegeben, so dürfen die bei dieser Behörde oder Stelle beschäftigten oder von dieser beauftragten Personen die Tatsachen nicht unbefugt offenbaren oder verwerten, auch dann nicht, wenn sie nicht mehr im Dienst sind oder ihre Tätigkeit beendet ist. An ausländische Stellen dürfen die Tatsachen nur dann weitergegeben werden, wenn die bei dieser Stelle beschäftigten oder von ihr beauftragten Personen der Vertraulichkeit nach Artikel 78 der Verordnung (EU) 2024/1689 oder einer dem Absatz 6 Satz 1 weitgehend entsprechenden Verschwiegenheitspflicht unterliegen. Ausländische Stellen sind darauf hinzuweisen, dass sie die Tatsachen nur zu dem Zweck verwerten dürfen, zu dessen Erfüllung sie übermittelt werden. Datenschutzrechtliche Vorschriften und die Befugnisse zur Offenbarung und Verwertung nach anderen Vorschriften bleiben unberührt.

§ 10 Zusammenarbeit der nach diesem Gesetz zuständigen Marktüberwachungsbehörden mit der nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 zu benennenden Marktüberwachungsbehörde (1) Die nach diesem Gesetz zuständigen Marktüberwachungsbehörden und die nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 zu benennende Marktüberwachungsbehörde arbeiten zur Erfüllung ihrer Aufgaben im Rahmen ihrer jeweiligen Zuständigkeiten kooperativ und vertrauensvoll zusammen. Sie teilen einander Beobachtungen und Feststellungen mit, die für die Erfüllung der jeweiligen Aufgaben im jeweiligen Zuständigkeitsbereich von Bedeutung sein können.

(2) Im Rahmen der Zusammenarbeit informiert die nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 zu benennende Marktüberwachungsbehörde die jeweils nach diesem Gesetz zuständige Marküberwachungsbehörde über Verdachtsfälle hinsichtlich der Nichtkonformität von Hochrisiko-KI-Systemen gemäß Artikel 6 der Verordnung (EU) 2024/1689 mit den Anforderungen der Cybersicherheit gemäß Artikel 13 Absatz 3 Buchstabe b Doppelbuchstabe ii und Artikel 15 Absatz 1 und 5 der Verordnung (EU) 2024/1689. Die nach diesem Gesetz zuständige Marktüberwachungsbehörde prüft daraufhin, ob sie Marktüberwachungsmaßnahmen ergreift. Die Bundesnetzagentur und die nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 zu benennende Marktüberwachungsbehörde erstellen hierfür gemeinsame Vorgaben für die Prüfung der für Hochrisiko-KI-Systeme gemäß Artikel 6 der Verordnung (EU) 2024/1689 geltenden Anforderungen an die Cybersicherheit gemäß Artikel 13 Absatz 3 Buchstabe b Doppelbuchstabe ii sowie Artikel 15 Absatz 1 und 5 der Verordnung (EU) 2024/1689. Diese Vorgaben gelten nicht für die Marktüberwachung gegenüber Finanzunternehmen im Sinne von Artikel 2 Absatz 2 der Verordnung (EU) 2022/2554. Im Rahmen der Marktüberwachung nach § 2 Absatz 3 erstellt die Bundesanstalt für Finanzdienstleistungsaufsicht im Einvernehmen mit der Bundesnetzagentur und der nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 zu benennenden Marktüberwachungsbehörde eigenständige Vorgaben für die Prüfung der Anforderungen an die Cybersicherheit gemäß Artikel 13 Absatz 3 Buchstabe b Doppelbuchstabe ii sowie Artikel 15 Absatz 1 und 5 der Verordnung (EU) 2024/1689 von Hochrisiko-KI- Systemen nach Artikel 6 der Verordnung (EU) 2024/1689. Die Aufgaben und Befugnisse der Bundesanstalt für Finanzdienstleistungsaufsicht nach der Verordnung (EU) 2022/2554 bleiben davon unberührt. Über das Ergebnis der Prüfung informiert die nach diesem Gesetz zuständige Marktüberwachungsbehörde die nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 zu benennende Marktüberwachungsbehörde.

(3) Die nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 zu benennende Marktüberwachungsbehörde und, sofern der Anwendungsbereich der Verordnung (EU) 2022/2554 betroffen ist, die in § 2 Absatz 3 genannte Behörde arbeiten mit 1. an der Erstellung der Leitlinien der Europäischen Kommission nach Artikel 96 Absatz 1 Buchstabe a in Verbindung mit Artikel 15 Absatz 5 der Verordnung (EU) 2024/1689, 2. bei der Entwicklung europäisch harmonisierter Normen nach Artikel 40 der Verordnung (EU) 2024/1689 zu den Anforderungen an die Cybersicherheit nach Artikel 15 Absatz 5 der Verordnung (EU) 2024/1689 und 3. bei der Festlegung gemeinsamer Spezifikationen zu den Anforderungen an die Cybersicherheit nach Artikel 15 Absatz 5 der Verordnung (EU) 2024/1689 durch die Europäische Kommission nach Artikel 41 der Verordnung (EU) 2024/1689.

(4) Bis zur Benennung der Marktüberwachungsbehörde nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 nimmt das Bundesamt für Sicherheit in der Informationstechnik die in den Absätzen 1 bis 3 genannten Aufgaben wahr.

T e i l 3 B e f u g n i s s e

§ 11

Befugnisse der zuständigen Behörden; Einschränkung eines Grundrechts

(1) Die Marktüberwachungsbehörden nach § 2 Absatz 1 bis 8 haben die Befugnisse gemäß Artikel 14 Absatz 4 und 5 und Artikel 16 der Verordnung (EU) 2019/1020 sowie nach der Verordnung (EU) 2024/1689. Die Befugnisse der Marktüberwachungsbehörden aufgrund anderer Vorschriften bleiben unberührt.

(2) Die Marktüberwachungsbehörden können bei Wahrnehmung ihrer Befugnisse nach Artikel 14 Absatz 4 und 5 der Verordnung (EU) 2019/1020 dritte Personen als Verwaltungshelfer heranziehen, die sie bei der Ausführung insbesondere von technischen Prozessen unterstützen. Zusätzlich können die Marktüberwachungsbehörden die in Artikel 14 Absatz 4 Buchstabe d und j der Verordnung (EU) 2019/1020 genannten Befugnisse über Anwendungsprogrammierschnittstellen oder andere technische Mittel, die den Fernzugriff ermöglichen, ausüben.

(3) Die Befugnisse nach Artikel 14 Absatz 4 Buchstabe e der Verordnung (EU) 2019/1020 bestehen zu den üblichen Betriebs- und Geschäftszeiten, außerhalb dieser Zeiten nur zur Verhütung dringender Gefahren für die öffentliche Sicherheit und Ordnung. Das Grundrecht der Unverletzlichkeit der Wohnung (Artikel 13 des Grundgesetzes) wird insoweit eingeschränkt.

(4) Im Übrigen gilt § 7 Absatz 2 bis 4 des Marktüberwachungsgesetzes entsprechend. (5) Die Befugnisse nach den Absätzen 1 bis 4 berechtigen die zuständigen Marktüberwachungsbehörden und von ihnen beauftragte Personen nicht dazu, Daten bei öffentlichen Stellen im Sinne des § 2 Absatz 1 und 2 des Bundesdatenschutzgesetzes zu erheben oder weiterzuverarbeiten, soweit Gründe des Quellenschutzes oder der Sicherstellung der Geheimhaltung von Verschlusssachen im Sinne des § 4 Absatz 1 des Sicherheitsüberprüfungsgesetzes dem entgegenstehen. Die Verarbeitung der genannten Daten durch die Marktüberwachungsbehörde ist jedoch im Einzelfall zulässig, wenn dies zur Erfüllung der Aufgaben der Marktüberwachungsbehörde nach diesem Gesetz erforderlich ist. Die Marktüberwachungsbehörde hat in einem solchen Fall die jeweils geltenden, besonderen Vertraulichkeitsvorkehrungen zu ergreifen.

(6) Die Finanzbehörden haben nach § 30 der Abgabenordnung geschützte Daten den Marktüberwachungsbehörden auf Ersuchen unverzüglich zu offenbaren, wenn die Marktüberwachungsbehörde gegenüber der Finanzbehörde begründet darlegt, dass die Herausgabe der Daten zur Erfüllung der Aufgaben der Marktüberwachungsbehörde nach Maßgabe der Verordnungen (EU) 2024/1689 sowie (EU) 2019/1020 erforderlich ist.

(7) Widerspruch und Klage gegen Entscheidungen gemäß den Absätzen 1 bis 4, die die Marktüberwachungsbehörden nach § 2 Absatz 2 dieses Gesetzes treffen, haben keine aufschiebende Wirkung, soweit die Entscheidungen ein KI-System betreffen, das ein Produkt oder ein Sicherheitsbauteil eines Produktes ist, auf das § 36 Absatz 1 des Funkanlagengesetzes oder § 45 Absatz 5 des Medizinprodukte-Durchführungsgesetzes anwendbar ist. Widerspruch und Klage gegen Entscheidungen gemäß den Absätzen 1 bis 4, einschließlich der Androhung und Festsetzung von Zwangsmitteln, die die Marktüberwachungsbehörde nach § 2 Absatz 3 dieses Gesetzes trifft, haben keine aufschiebende Wirkung.

T e i l 4 I n n o v a t i o n s f ö r d e r u n g

§ 12

Innovationsfördernde Maßnahmen

Die Bundesnetzagentur führt innovationsfördernde Maßnahmen gemäß der Verordnung (EU) 2024/1689 durch. Sie hat insbesondere folgende Aufgaben: 1. allgemeine Informationen und Anleitungen zur Anwendung der Verordnung (EU) 2024/1689 für die durch die Verordnung adressierten Akteure sowie zukünftigen Akteure im Sinne des Artikels 3 Nummer 8 der Verordnung (EU) 2024/1689, insbesondere für kleine und mittlere Unternehmen, Start-up-Unternehmen und öffentliche Stellen im Sinne des § 2 Absatz 1 und 2 des Bundesdatenschutzgesetzes, bereitzustellen, 2. auf Anfrage einer öffentlichen Stellen im Sinne des § 2 Absatz 1 und 2 des Bundesdatenschutzgesetzes zum rechtlichen Status eines maschinengestützten Systems als KI-System gemäß des Artikels 3 Absatz 1 der Verordnung (EU) 2024/1689 oder dessen Einstufung als Hochrisiko-KI-System gemäß Artikel 6 Absatz 2 und 3 der Verordnung (EU) 2024/1689 mit Blick auf den konkreten Einzelfall zu beraten, 3. zur Innovationsförderung gemäß Artikel 62 Absatz 1 Buchstabe b der Verordnung (EU) 2024/1689 Sensibilisierungs- und Schulungsmaßnahmen betreffend die Verordnung (EU) 2024/1689 durchzuführen, 4. den Wissensaufbau und -austausch zu künstlicher Intelligenz zu fördern, insbesondere durch Durchführung von Studien, Analysen und Fachveranstaltungen, soweit dies für die Durchführung ihrer Aufgaben nach diesem Gesetz erforderlich ist, 5. die Vernetzung und Kooperation der relevanten Akteure des KI-Ökosystems um KI-Systeme im Rahmen ihrer Aufgaben nach diesem Gesetz zu fördern und 6. ihren Sachverstand auch für die Erfüllung der weiteren Aufgaben aus der Verordnung (EU) 2024/1689 zur Innovationsförderung bereitzustellen, insbesondere durch die Mitarbeit im Bereich der technischen Normung von künstlicher Intelligenz in nationalen und internationalen Normungsgremien. Die Erfüllung von Beratungsaufgaben durch die Bundesnetzagentur nach Satz 2 Nummer 2 setzt eine zwischen der Bundesnetzagentur und dem zuständigen Bundes- oder Landesministerium zu schließende Verwaltungsvereinbarung voraus. Darin ist insbesondere die Übernahme der finanziellen und stellenmäßigen Aufwände durch das jeweilig zuständige Bundes- oder Landesministerium zu regeln. Die Bundesnetzagentur veröffentlicht die wesentlichen Erwägungen ihres Beratungsergebnisses gemäß Satz 2 Nummer 2.

§ 13

KI-Reallabore; Verordnungsermächtigung

(1) Die Bundesnetzagentur errichtet und betreibt mindestens ein KI-Reallabor nach den Artikeln 57 und 58 der Verordnung (EU) 2024/1689. Dies lässt die Einrichtung und den Betrieb von KI-Reallaboren im Sinne des Artikels 3 Nummer 55 der Verordnung (EU) 2024/1689 durch andere zuständige nationale Behörden gemäß Artikel 3 Nummer 48 der Verordnung (EU) 2024/1689 unberührt.

(2) Die Bundesnetzagentur arbeitet bei der Erfüllung der Aufgaben nach Absatz 1 Satz 1 mit anderen Behörden kooperativ und vertrauensvoll zusammen, soweit die Einrichtung oder der Betrieb des KI-Reallabors deren Zuständigkeitsbereich berührt. Dies umfasst insbesondere die Einbeziehung der zuständigen Datenschutzaufsichtsbehörde, die die Bewertung der datenschutzrechtlichen Vorgaben des Artikels 59 der Verordnung (EU) 2024/1689 übernimmt. Dies umfasst auch die Zusammenarbeit mit anderen Behörden, die KI-Reallabore betreiben. Aufsichts- und Überwachungsbefugnisse weiterer Behörden aufgrund anderer Gesetze bleiben hiervon unberührt.

(3) Die Bundesnetzagentur gewährt über Artikel 62 Absatz 1 Buchstabe a der Verordnung (EU) 2024/1689 hinaus auch Forschungseinrichtungen sowie Hochschulen und deren Ausgründungen, die ihren Sitz oder eine Zweigniederlassung in der Europäischen Union haben, vorrangigen Zugang zu dem KI-Reallabor nach Absatz 1

Satz 1, soweit diese die nach den Durchführungsrechtsakten im Sinne des Artikels 58 Absatz 1 der Verordnung (EU) 2024/1689 zu erlassenden Voraussetzungen und Auswahlkriterien erfüllen und dadurch der Zugang von KI- Systemen, die unmittelbar Gegenstand anwendungsnaher Forschungs- und Entwicklungsvorhaben sind, zum Unionsmarkt erleichtert oder beschleunigt wird.

(4) Das Bundesministerium für Digitales und Staatsmodernisierung wird ermächtigt, durch Rechtsverordnung ohne Zustimmung des Bundesrates soweit dies zur Durchführung des Artikels 57 der Verordnung (EU) 2024/1689 und der Durchführungsrechtsakte im Sinne des Artikels 58 Absatz 1 der Verordnung (EU) 2024/1689 erforderlich ist, die näheren Einzelheiten der Einrichtung und des Betriebs von KI-Reallaboren nach Absatz 1 Satz 1 zu regeln. Dies umfasst insbesondere Regelungen zu Einrichtung, Entwicklung, Umsetzung, Betrieb, Beaufsichtigung sowie zur Zusammenarbeit mit anderen betroffenen Bundesbehörden. Das Bundesministerium für Digitales und Staatsmodernisierung kann die Ermächtigung nach Satz 1 durch Rechtsverordnung auf die Bundesnetzagentur übertragen.

§ 14

Tests von Hochrisiko-KI-Systemen unter Realbedingungen außerhalb von KI-Reallaboren

(1) Die nach diesem Gesetz zuständigen Marktüberwachungsbehörden überwachen im Rahmen ihrer jeweiligen Zuständigkeit die Durchführung von Tests unter Realbedingungen gemäß Artikel 60 der Verordnung (EU) 2024/1689 außerhalb von KI-Reallaboren und die damit zusammenhängenden Hochrisiko-KI-Systeme.

(2) Bevor Anbieter oder zukünftige Anbieter die in Anhang III der Verordnung (EU) 2024/1689 genannten Hochrisiko-KI-Systeme selbst oder in Zusammenarbeit mit einem oder mehreren Betreibern oder zukünftigen Betreibern unter Realbedingungen testen, müssen sie den Plan für den Test unter Realbedingungen bei der zuständigen Marktüberwachungsbehörde vorlegen. Ist ein solcher Test geplant, so muss er vor dem Inverkehrbringen oder der Inbetriebnahme des zu testenden Hochrisiko-KI-Systems stattfinden. Die zuständige Marktüberwachungsbehörde genehmigt den Test unter Realbedingungen und den Plan für den Test unter Realbedingungen, wenn die Vorgaben des Artikels 60 Absatz 4 der Verordnung (EU) 2024/1689 eingehalten sind. Die Genehmigung der zuständigen Marktüberwachungsbehörde gilt als erteilt, wenn der Anbieter oder zukünftige Anbieter binnen 30 Tagen nach Eingang des Plans gemäß Satz 1 keine Antwort erhalten hat.

T e i l 5 B u ß g e l d v o r s c h r i f t e n

§ 15

Bußgeldvorschriften zur Verordnung (EU) 2024/1689

(1) Ordnungswidrig handelt, wer gegen die Verordnung (EU) 2024/1689 in der Fassung vom 13. Juni 2024 verstößt, indem er vorsätzlich oder fahrlässig 1. entgegen Artikel 21 Absatz 1 eine dort genannte Information oder Dokumentation nicht, nicht richtig, nicht vollständig oder nicht rechtzeitig übermittelt, 2. entgegen Artikel 21 Absatz 2 Zugang nicht gewährt, 3. entgegen Artikel 27 Absatz 1 eine dort genannte Grundrechte-Folgenabschätzung nicht, nicht richtig, nicht vollständig oder nicht rechtzeitig durchführt, 4. entgegen Artikel 27 Absatz 2 Satz 3 nicht, nicht richtig, nicht vollständig oder nicht unverzüglich, nachdem er zu der dort genannten Auffassung gelangt ist, eine Information aktualisiert, 5. entgegen Artikel 27 Absatz 3 Satz 1 eine dort genannte Mitteilung nicht, nicht richtig, nicht vollständig oder nicht rechtzeitig übermittelt, 6. entgegen Artikel 45 Absatz 1 Buchstabe a bis c oder d die notifizierende Behörde auf deren Anfrage nicht, nicht richtig oder nicht vollständig informiert, 7. entgegen Artikel 45 Absatz 1 Buchstabe e die notifizierende Behörde nicht, nicht richtig, nicht vollständig oder nicht rechtzeitig informiert, Drucksache 21/4594 Deutscher Bundestag – 21. Wahlperiode 8. entgegen Artikel 45 Absatz 2 eine dort genannte Stelle nicht, nicht richtig, nicht vollständig oder nicht rechtzeitig informiert oder 9. entgegen Artikel 45 Absatz 3 eine dort genannte Information nicht, nicht richtig, nicht vollständig oder nicht rechtzeitig übermittelt. (2) Ordnungswidrig handelt, wer als Betreiber eines Hochrisiko-KI-Systems nach Artikel 6 Absatz 2 in Verbindung mit Anhang III Nummer 1, 3, 4 oder 5 der Verordnung (EU) 2024/1689 in der Fassung vom 13. Juni 2024 nicht dafür sorgt, dass einer betroffenen Person nach Artikel 86 Absatz 1 der Verordnung (EU) 2024/1689 in der Fassung vom 13. Juni 2024 eine dort genannte Erläuterung gegeben wird.

(3) Die Ordnungswidrigkeit kann mit einer Geldbuße bis zu fünfzigtausend Euro geahndet werden.

§ 16

Anwendung der Vorschriften über das Bußgeld- und Strafverfahren

(1) Für Verstöße nach Artikel 99 Absatz 3 bis 5 der Verordnung (EU) 2024/1689 gelten, soweit dieses Gesetz nichts anderes bestimmt, die Vorschriften des Gesetzes über Ordnungswidrigkeiten entsprechend. § 17 des Gesetzes über Ordnungswidrigkeiten, auch in Verbindung mit § 30 Absatz 3 des Gesetzes über Ordnungswidrigkeiten, sowie § 30 Absatz 1 und 2 des Gesetzes über Ordnungswidrigkeiten sind nicht anzuwenden.

(2) Für Verfahren wegen eines Verstoßes nach Artikel 99 Absatz 3 bis 5 der Verordnung (EU) 2024/1689 gelten, soweit dieses Gesetz nichts anderes bestimmt, die Vorschriften des Gesetzes über Ordnungswidrigkeiten sowie der allgemeinen Gesetze über das Strafverfahren, namentlich der Strafprozessordnung und des Gerichtsverfassungsgesetzes, entsprechend. § 69 Absatz 4 Satz 2 des Gesetzes über Ordnungswidrigkeiten ist mit der Maßgabe anzuwenden, dass die Staatsanwaltschaft das Verfahren nur mit Zustimmung der Behörde, die den Bußgeldbescheid erlassen hat, einstellen kann.

§ 17

Behörden

(1) Verwaltungsbehörden im Sinne des § 36 Absatz 1 Nummer 1 des Gesetzes über Ordnungswidrigkeiten sind in den Fällen des § 15 Absatz 1 und 2 sowie des Artikels 99 Absatz 3 bis 5 der Verordnung (EU) 2024/1689 die Marktüberwachungsbehörden nach § 2 Absatz 1 bis 8, die notifizierenden Behörden nach § 3 Absatz 1 und 2 Satz 1 und die Stellen nach § 3 Absatz 4 Satz 1 und 2 jeweils für ihren Geschäftsbereich.

(2) Gegen Behörden und sonstige öffentliche Stellen im Sinne des § 2 Absatz 1 oder 2 des Bundesdatenschutzgesetzes werden in den Fällen des § 15 Absatz 1 und 2 sowie des Artikels 99 Absatz 3 bis 5 der Verordnung (EU) 2024/1689 keine Geldbußen verhängt.

T e i l 6 A u f b e w a h r u n g s p f l i c h t e n

§ 18

Aufbewahrungspflichten

Stellt ein Anbieter nach Artikel 3 Nummer 3 der Verordnung (EU) 2024/1689 oder ein in Deutschland niedergelassener Bevollmächtigter nach Artikel 3 Nummer 5 der Verordnung (EU) 2024/1689 seine Geschäftstätigkeit ein, so hat der für die Liquidation oder Auflösung der juristischen Person Verantwortliche die Pflicht aus Artikel 18 Absatz 1 der Verordnung (EU) 2024/1689.

Artikel 2 — Änderung des Hinweisgeberschutzgesetzes

Das Hinweisgeberschutzgesetz vom 31. Mai 2023 (BGBl. 2023 I Nr. 140), das zuletzt durch Artikel 14 des Gesetzes vom 2. Dezember 2025 (BGBl. 2025 I Nr. 301) geändert worden ist wird wie folgt geändert:

§ 2 Absatz 1 wird wie folgt geändert:

1. Nach Nummer 9 wird die folgende Nummer 10 eingefügt:

10. „ Verstöße gegen Vorschriften der Verordnung (EU) 2024/1689,“. 2. Die bisherige Nummer 10 wird zu Nummer 11.

Artikel 3 — Änderung des Ersten Buches Sozialgesetzbuch

Das Erste Buch Sozialgesetzbuch – Allgemeiner Teil – (Artikel I des Gesetzes vom 11. Dezember 1975, BGBl. I S. 3015), das zuletzt durch Artikel 4 des Gesetzes vom 19. Juli 2024 (BGBl. 2024 I Nr. 245) geändert worden ist, wird wie folgt geändert:

§ 35 Absatz 2 Satz 1 wird durch den folgenden Satz ersetzt:

„Die Vorschriften des Zweiten Kapitels des Zehnten Buches und der übrigen Bücher des Sozialgesetzbuches regeln die Verarbeitung von Sozialdaten abschließend, soweit nicht 1. die Verordnung (EU) 2016/679 in der jeweils geltenden Fassung unmittelbar gilt oder 2. die Verordnung (EU) 2024/1689 in der jeweils geltenden Fassung unmittelbar geltende Rechtsvorschriften zum Schutz personenbezogener Daten bei deren Verarbeitung enthält.“

Artikel 4

Änderung des Finanzdienstleistungsaufsichtsgesetzes

Das Finanzdienstleistungsaufsichtsgesetz vom 22. April 2002 (BGBl. I S. 1310), das zuletzt durch Artikel 19 des Gesetzes vom 27. Dezember 2024 (BGBl. 2024 I Nr. 438) geändert worden ist, wird wie folgt geändert: 1.

§ 15 Absatz 1 wird wie folgt geändert:

a) Nach Satz 1 Nummer 13 wird die folgende Nummer 14 eingefügt:

14. „ durch a) eine vor Ort oder aus der Ferne nach § 11 des Gesetzes zur Marktüberwachung und Innovationsförderung von künstlicher Intelligenz in Verbindung mit Artikel 14 Absatz 1 und 4 Buchstabe d der Verordnung (EU) 2019/1020 vorgenommene Prüfungshandlung auch in Verbindung mit Maßnahmen nach § 11 des KI-Marktüberwachungs-und-Innovationsförderungs-Gesetzes in Verbindung mit Artikel 14 Absatz 1 und 4 Buchstabe e der Verordnung (EU) 2019/1020, b) eine Maßnahme nach § 11 des KI-Marktüberwachungs-und-Innovationsförderungs-Gesetzes in Verbindung mit Artikel 14 Absatz 1 und 4 Buchstabe h der Verordnung (EU) 2019/1020,“. b) In Satz 1 wird nach der Angabe „sowie 13“ die Angabe „und 14“ eingefügt. c) In Satz 2 wird nach der Angabe „belastet wird,“ die Angabe „oder die der Bundesanstalt durch die Heranziehung dritter Personen als Verwaltungshelfer nach § 11 Absatz 2 des KI-Marktüberwachungsund-Innovationsförderungs-Gesetzes entstehen,“ eingefügt.

Deutscher Bundestag – 21. Wahlperiode 2.

§ 16b wird wie folgt geändert:

a) Nach Absatz 1 wird der folgende Absatz 1a eingefügt:

„(1a) Die Kosten, die der Bundesanstalt aus ihrer Zuständigkeit nach dem KI-Marktüberwachungsund-Innovationsförderungs-Gesetz entstehen, sind den Aufgabenbereichen nach Absatz 1 wie folgt zuzurechnen: 1. soweit es sich um Kosten in Bezug auf das Kredit-, Finanzdienstleistungs-, Wertpapierinstituts-, Zahlungsdienste-, Krypto- oder das inländische Investmentwesen handelt, dem Aufgabenbereich „Banken und sonstige Finanzdienstleistungen“, 2. soweit es sich um Kosten des Versicherungswesens handelt, dem Aufgabenbereich „Versicherungen“. Innerhalb des Aufgabenbereichs „Banken und sonstige Finanzdienstleistungen“ erfolgt eine gesonderte Ermittlung nach Gruppen entsprechend § 16e.“ b) In Absatz 2 Satz 1 wird nach der Angabe „nach Absatz 1 Satz 1“ die Angabe „oder nach Absatz 1a Satz 1“ eingefügt. c) In Absatz 3 Satz 1 wird nach der Angabe „nach Absatz 1 Satz 1“ die Angabe „oder nach Absatz 1a Satz 1“ eingefügt. 3. In § 16g Absatz 1 Nummer 1 Buchstabe c Doppelbuchstabe aa Dreifachbuchstabe aaa wird nach der Angabe „Nummer 6“ die Angabe „, 8“ eingefügt. 4.

§ 23 Absatz 15 wird wie folgt gefasst:

(15) „ § 16e Absatz 1 und 4, § 16f Absatz 2 Satz 1 Nummer 1 und Absatz 4 Satz 2 sowie § 16g Absatz 1 Nummer 1 Buchstabe d in der ab dem 30. Dezember 2023 geltenden Fassung sind erstmals auf das Umlagejahr 2024 anzuwenden.“

Artikel 5

Inkrafttreten

Dieses Gesetz tritt am Tag nach der Verkündung in Kraft.

EU-Rechtsakte:

1. Verordnung (EU) Nr. 575/2013 des Europäischen Parlaments und des Rates vom 26. Juni 2013 über Aufsichtsanforderungen an Kreditinstitute und zur Änderung der Verordnung (EU) Nr. 648/2012 (ABl. L 176 vom 27.6.2013, S. 1; L 208 vom 2.8.2013, S. 68; L 321 vom 30.11.2013, S. 6; L 193 vom 21.7.2015, S. 166; L 20 vom 25.1.2017, S. 3; L 13 vom 17.1.2020, S. 58; L 335 vom 13.10.2020, S. 20; L 405 vom 2.12.2020, S. 79; L 65 vom 25.2.2021, S. 62; L 261 vom 22.7.2021, S. 60; L 398 vom 11.11.2021, S. 32; L 277 vom 27.10.2022, S. 316; L 92 vom 30.3.2023, S. 29; L 90328 vom 16.4.2025, S. 1), die zuletzt durch die Delegierte Verordnung (EU) 2025/1496 vom 12. Juni 2025 (ABl. L, 2025/1498, 19.9.2025) geändert worden ist) 2. Verordnung (EU) Nr. 1024/2013 des Rates vom 15. Oktober 2013 zur Übertragung besonderer Aufgaben im Zusammenhang mit der Aufsicht über Kreditinstitute auf die Europäische Zentralbank (ABl. L 287 vom 29.10.2013, S. 63; L 287 vom 29.10.2013, S. 63) 3. Verordnung (EU) 2016/424 des Europäischen Parlaments und des Rates vom 9. März 2016 über Seilbahnen und zur Aufhebung der Richtlinie 2000/9/EG (ABl. L 81 vom 31.03.2016, S. 1; L 266 vom 30.09.2016, S. 8) 4. Verordnung (EU) 2016/679 des Europäischen Parlaments und des Rates vom 27. April 2016 zum Schutz natürlicher Personen bei der Verarbeitung personenbezogener Daten, zum freien Datenverkehr und zur Aufhebung der Richtlinie 95/46/EG (ABl. L 119 vom 4.5.2016, S. 1; L 314 vom 22.11.2016, S. 72; L 127 vom 23.5.2018, S. 2; L 74 vom 4.3.2021, S. 35) 5. Richtlinie (EU) 2016/2341 des Europäischen Parlaments und des Rates vom 14. Dezember 2016 über die Tätigkeiten und die Beaufsichtigung von Einrichtungen der betrieblichen Altersversorgung (EbAV) (ABl. L 354 vom 23.12.2016, S. 37), die zuletzt durch die Richtlinie (EU) 2023/2864 vom 13. Dezember2023 (ABl. L, 2023/2864, 20.12.2023) geändert worden ist) 6. Verordnung (EU) 2019/1020 des Europäischen Parlaments und des Rates vom 20. Juni 2019 über Marktüberwachung und die Konformität von Produkten sowie zur Änderung der Richtlinie 2004/42/EG und der Verordnungen (EG) Nr. 765/2008 und (EU) Nr. 305/2011 (ABl. L 169 vom 25.6.2019, S. 1; L, 2024/90589, 1.10.2024), die zuletzt durch die Verordnung (EU) 2024/1252 vom 11. April 2024 (ABl. L, 2024/1252, 3.5.2024) geändert worden ist

7. Richtlinie (EU) 2019/1937 des Europäischen Parlaments und des Rates vom 23. Oktober 2019 zum Schutz von Personen, die Verstöße gegen das Unionsrecht melden (ABl. L 305 vom 26.11.2019, S. 17), die zuletzt durch die Richtlinie (EU) 2024/1760 vom 13. Juni 2024 (ABl. L, 2024/1760, 5.7.2024) geändert worden ist 8. Verordnung (EU) 2020/1503 des Europäischen Parlaments und des Rates vom 7. Oktober 2020 über Europäische Schwarmfinanzierungsdienstleister für Unternehmen und zur Änderung der Verordnung (EU) 2017/1129 und der Richtlinie (EU) 2019/1937 (ABl. L 347 vom 20.10.2020, S. 1), die zuletzt durch die Delegierte Verordnung (EU) 2022/1988 vom 13. Juli 2022 (ABl. L 273 vom 21.10.2022, S. 3) geändert worden ist 9. Verordnung (EU) 2022/2554 des Europäischen Parlaments und des Rates vom 14. Dezember 2022 über die digitale operationale Resilienz im Finanzsektor und zur Änderung der Verordnungen (EG) Nr. 1060/2009, (EU) Nr. 648/2012, (EU) Nr. 600/2014, (EU) Nr. 909/2014 und (EU) 2016/1011 (ABl. L 333 vom 27.12.2022, S. 1–79) 10. Verordnung (EU) 2023/1114 des Europäischen Parlaments und des Rates vom 31. Mai 2023 über Märkte für Kryptowerte und zur Änderung der Verordnungen (EU) Nr. 1093/2010 und (EU) Nr. 1095/2010 sowie der Richtlinien 2013/36/EU und (EU) 2019/1937 (ABl. L 150 vom 9.6.2023, S. 40; L, 2024/90275, 2.5.2024; L, 2024/90658, 30.10.2024), die zuletzt durch die Verordnung (EU) 2023/2869 vom 13. Dezember 2023 (ABl. L, 2023/2869, 20.12.2023) geändert worden ist 11. Verordnung (EU) 2024/1083 des Europäischen Parlaments und des Rates vom 11. April 2024 zur Schaffung eines gemeinsamen Rahmens für Mediendienste im Binnenmarkt und zur Änderung der Richtlinie 2010/13/EU (ABl. L, 2024/1083, 17.4.2024) 12. Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates vom 13. Juni 2024 zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz und zur Änderung der Verordnungen (EG) Nr. 300/2008, (EU) Nr. 167/2013, (EU) Nr. 168/2013, (EU) 2018/858, (EU) 2018/1139 und (EU) 2019/2144 sowie der Richtlinien 2014/90/EU, (EU) 2016/797 und (EU) 2020/1828 (ABl. L, 2024/1689, 12.07.2024; L, 2025/90802, 9.10.2025) 13. Verordnung (EU) 2024/2847 des Europäischen Parlaments und des Rates vom 23. Oktober 2024 über horizontale Cybersicherheitsanforderungen für Produkte mit digitalen Elementen und zur Änderung der Verordnungen (EU) Nr. 168/2013 und (EU) 2019/1020 und der Richtlinie (EU) 2020/1828 (ABl. L, 2024/2847, 20.11.2024; L, 2025/90555, 2.7.2025; L, 2025/90828, 17.10.2025), die zuletzt durch die Verordnung (EU) 2025/327 vom 11. Februar 2025 (ABl. L, 2025/327, 5.3.2025) geändert worden ist

Drucksache 21/4594 Deutscher Bundestag – 21. Wahlperiode

Begründung

A. Allgemeiner Teil

I.

Zielsetzung und Notwendigkeit der Regelungen

Am 1. August 2024 ist die Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates vom 13. Juni 2024 zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz und zur Änderung der Verordnungen (EG) Nr. 300/2008, (EU) Nr. 167/2013, (EU) Nr. 168/2013, (EU) 2018/858, (EU) 2018/1139 und (EU) 2019/2144 sowie der Richtlinien 2014/90/EU, (EU) 2016/797 und (EU) 2020/1828 (Verordnung über künstliche Intelligenz) (ABl. L, 2024/1689, 12.07.2024) in Kraft getreten. Die Verordnung (EU) 2024/1689 legt einen einheitlichen Rechtsrahmen für die Entwicklung, das Inverkehrbringen, die Inbetriebnahme und die Verwendung von Systemen künstlicher Intelligenz (KI-Systeme) in der Europäischen Union fest. Sie verfolgt einen risikobasierten Ansatz und enthält insbesondere Verbote bestimmter Praktiken im KI-Bereich, besondere Anforderungen an Hochrisiko-KI-Systeme und Pflichten für Akteure in Bezug auf solche Systeme, Transparenzvorschriften für bestimmte KI-Systeme sowie Maßnahmen zur Innovationsförderung mit besonderem Augenmerk auf kleine und mittlere Unternehmen (KMU) und Start-up-Unternehmen sowie die anwendungsorientierte Forschung. Dadurch sollen ein einheitlicher Binnenmarkt für KI-gestützte Waren und Dienstleistungen geschaffen, Innovationen gefördert und gleichzeitig ein hohes Schutzniveau in Bezug auf Gesundheit, Sicherheit und die in der Charta der Grundrechte der Europäischen Union verankerten Grundrechte, einschließlich Demokratie, Rechtsstaatlichkeit und Umweltschutz, sichergestellt werden. Die Regelungen der Verordnung (EU) 2024/1689 gelten grundsätzlich unmittelbar ab dem 2. August 2026. Zum Zwecke der Durchführung der Verordnung (EU) 2024/1689 muss jeder Mitgliedstaat bis zum 2. August 2025 mindestens eine notifizierende Behörde und mindestens eine Marktüberwachungsbehörde (darunter eine Marktüberwachungsbehörde, die als zentrale Anlaufstelle für die Verordnung (EU) 2024/1689 fungiert) als zuständige nationale Behörden einrichten oder benennen und entsprechend den Vorgaben der Verordnung (EU) 2024/1689 Vorschriften für Sanktionen und andere Durchsetzungsmaßnahmen erlassen. Gemäß der Verordnung (EU) 2024/1689 sind die notifizierenden Behörden für die Einrichtung und Durchführung der erforderlichen Verfahren zur Bewertung, Benennung und Notifizierung von Konformitätsbewertungsstellen und für deren Überwachung zuständig. Die Mitgliedstaaten können entscheiden, dass die Bewertung und Überwachung von einer nationalen Akkreditierungsstelle im Sinne und gemäß der Verordnung (EG) Nr. 765/2008 durchzuführen sind. Die Marktüberwachungsbehörden führen die Tätigkeiten durch und ergreifen die Maßnahmen, die in der Verordnung (EU) 2019/1020 vorgesehen sind. Auch wenn unter bestimmten Voraussetzungen Abweichungen möglich sind, sieht die Verordnung (EU) 2024/1689 vor, dass bei Hochrisiko-KI-Systemen und damit in Zusammenhang stehenden Produkten, auf die die in Anhang I Abschnitt A der Verordnung (EU) 2024/1689 aufgeführten Harmonisierungsrechtsvorschriften der Europäischen Union Anwendung finden, als Marktüberwachungsbehörde die in jenen Rechtsakten für die Marktüberwachung benannte Behörde gilt. Bei Hochrisiko-KI-Systemen, die von auf der Grundlage des Unionsrechts im Bereich der Finanzdienstleistungen regulierten Finanzinstituten in Verkehr gebracht, in Betrieb genommen oder verwendet werden, gilt die in jenen Rechtsvorschriften für die Finanzaufsicht über diese Institute benannte nationale Behörde als Marktüberwachungsbehörde, sofern das Inverkehrbringen, die Inbetriebnahme oder die Verwendung des KI-Systems mit der Erbringung dieser Finanztätigkeiten in direktem Zusammenhang steht und keine andere einschlägige Behörde als Marktüberwachungsbehörde benannt wird. Zudem gilt für die in Anhang III Nummer 1 der Verordnung (EU) 2024/1689 genannten Hochrisiko-KI-Systeme, sofern diese Systeme für Strafverfolgungszwecke, Grenzmanagement und Justiz und Demokratie eingesetzt werden, und für die in Anhang III Nummer 6, 7 und 8 der Verordnung (EU) 2024/1689 genannten Hochrisiko-KI- Systeme, dass die Mitgliedstaaten als Marktüberwachungsbehörden entweder die nach der Verordnung (EU) 2016/679 oder der Richtlinie (EU) 2016/680 für den Datenschutz zuständigen Aufsichtsbehörden oder jede andere Behörde gemäß denselben Bedingungen wie den in den Artikeln 41 bis 44 der Richtlinie (EU) 2016/680 festgelegten benennen. Marktüberwachungstätigkeiten dürfen in keiner Weise die Unabhängigkeit von Justizbehörden

beeinträchtigen oder deren Handlungen im Rahmen ihrer justiziellen Tätigkeit anderweitig beeinflussen. Zudem dürfen Marktüberwachungstätigkeiten nicht das Steuergeheimnis verletzen oder die Handlungen der Finanzbehörden im Rahmen ihrer fiskalischen Tätigkeit beeinträchtigen oder anderweitig beeinflussen (Artikel 108 Absatz 1 und 2 GG). Die Koordinierung zwischen den auf der Grundlage der Verordnung (EU) 2024/1689 benannten Marktüberwachungsbehörden und anderen nationalen Behörden und Stellen ist zu erleichtern (vgl. Artikel 74 Absatz 10 der Verordnung (EU) 2024/1689). Die Verordnung (EU) 2024/1689 fügt sich als Produktregulierung in das allgemeine System der Marktüberwachung ein. Die Verordnung (EU) 2024/1689 gilt im Einklang mit der Verordnung (EG) Nr. 765/2008 des Europäischen Parlaments und des Rates vom 9. Juli 2008 über die Vorschriften für die Akkreditierung und Marktüberwachung im Zusammenhang mit der Vermarktung von Produkten und zur Aufhebung der Verordnung (EWG) Nr. 339/93 des Rates (ABl. L 218 vom 13.8.2008, S. 30), dem Beschluss Nr. 768/2008/EG des Europäischen Parlaments und des Rates vom 9. Juli 2008 über einen gemeinsamen Rechtsrahmen für die Vermarktung von Produkten und zur Aufhebung des Beschlusses 93/465/EWG des Rates (ABl. L 218 vom 13.8.2008, S. 82) und der Verordnung (EU) 2019/1020 des Europäischen Parlaments und des Rates vom 20. Juni 2019 über Marktüberwachung und die Konformität von Produkten sowie zur Änderung der Richtlinie 2004/42/EG und der Verordnungen (EG) Nr. 765/2008 und (EU) Nr. 305/2011 (ABl. L 169 vom 25.6.2019, S. 1) („neuer Rechtsrahmen“). Dieser Entwurf steht im Kontext der Ziele der Resolution der Generalversammlung der Vereinten Nationen vom 25. September 2015 „Transformation unserer Welt: die Agenda 2030 für nachhaltige Entwicklung“ und trägt insbesondere zur Erreichung der Nachhaltigkeitsziele „Sozialen Zusammenhalt in einer offenen Gesellschaft wahren und verbessern“ und „Bildung, Wissenschaft und Innovation als Treiber einer nachhaltigen Entwicklung nutzen“ bei.

II.

Wesentlicher Inhalt des Entwurfs

Der vorliegende Gesetzentwurf dient der Durchführung der Verordnung (EU) 2024/1689. Frist hierfür war der 2. August 2025. Mit Artikel 1 werden die für die Durchführung der Verordnung (EU) 2024/1689 zuständigen Behörden benannt, deren Aufgaben geregelt sowie Kooperationsvorschriften und die erforderlichen Vorschriften über das Bußgeldverfahren erlassen. Mit den Artikeln 2 bis 4 erfolgt die erforderliche Änderung einschlägiger Gesetze. Ziel ist eine innovationsfreundliche und bürokratiearme Durchführung der Verordnung (EU) 2024/1689. Dabei kommt der Festlegung der nationalen Aufsichts- und Behördenstruktur in Artikel 1 eine wesentliche Bedeutung zu. Bei der Bundesnetzagentur (BNetzA) wird daher ein Koordinierungszentrum geschaffen, um alle Marktüberwachungsbehörden und notifizierenden Behörden bei ihren aus der Verordnung (EU) 2024/1689 resultierenden Aufgaben zu unterstützen. Dadurch wird KI-Expertise zentral gebündelt und ressourcenschonend den bestehenden Behörden bei Bedarf zur Verfügung gestellt. Behörden, die bereits in vollharmonisierten Bereichen der Produktregulierung als Marktüberwachungsbehörden und notifizierende Behörden zuständig sind, sollen auch im Bereich der Verordnung (EU) 2024/1689 die für Marktüberwachung und Notifizierung zuständigen Behörden werden. Insoweit sollen die bestehenden Strukturen genutzt werden, da anderenfalls zulasten der betroffenen Unternehmen Doppelstrukturen geschaffen würden. Werden in diesem Bereich der vollharmonisierten Produkte relevante europäische Rechtsvorhaben verabschiedet, werden die dort geschaffenen Strukturen entsprechend auch für die Verordnung (EU) 2024/1689 zuständig (Zukunftsklausel). Das könnte in Zukunft Fälle des Anhang I Abschnitt B der Verordnung (EU) 2024/1689 (u. a. im Bereich Kraftfahrzeuge) betreffen. Dadurch wird bestehende sektorspezifische Expertise genutzt und für die Unternehmen bleibt es bei den bestehenden Behörden- und Aufsichtsstrukturen. Das Gleiche gilt in den Bereichen, auf die durch die Verordnung (EU) 2024/1689 das System der Marktüberwachung erstreckt wird und in denen systematisch anders gelagerte Aufsichtsstrukturen teilweise schon bestehen (z. B. der Bereich der Medienaufsicht). Auch hier gilt, dass die Behörden aus den bestehenden Strukturen für die Marktüberwachung im Bereich der Verordnung (EU) 2024/1689 zuständig werden. In Bereichen, in denen nicht auf bestehende Strukturen im Bereich der Produktregulierung oder andere bestehende Aufsichtsstrukturen zurückgegriffen werden kann oder muss, wird die Bundesnetzagentur zuständige Marktüberwachungsbehörde und notifizierende Behörde. Werden KI-Systeme von öffentlichen Stellen der Länder in Verkehr gebracht, in Betrieb genommen oder verwendet, obliegt die Marktüberwachung den nach Landesrecht zu benennenden zuständigen Behörden.

Deutscher Bundestag – 21. Wahlperiode Zusätzlich wird die Bundesnetzagentur für die Innovationsförderung im Bereich der künstlichen Intelligenz (insbesondere die Einrichtung und den Betrieb eines KI-Reallabors) zuständig. Die Expertise anderer Behörden (insbesondere des Bundesamtes für Sicherheit in der Informationstechnik, des Bundeskartellamts und der Bundesbeauftragten für den Datenschutz und die Informationsfreiheit) wird im Rahmen der jeweiligen Zuständigkeitsbereiche eingebunden. Die zuständigen Behörden sorgen bei der Erfüllung ihrer Aufgaben nach diesem Gesetz für innovationsfreundliche und ressourcenschonende Prozesse. Prozesse, bei denen künstliche Intelligenz technisch verfügbar und wirtschaftlich sinnvoll vertrauenswürdig, sicher und ethisch vertretbar einsetzbar sind, sollen im Rahmen der gesetzlichen Anforderungen durch KI-Systeme automatisiert werden.

III.

Exekutiver Fußabdruck

Die Bundesregierung hat die allgemein zugänglichen und ihr unmittelbar zugeleiteten Stellungnahmen von Interessenvertreterinnen und Interessenvertretern ausgewertet und berücksichtigt. Eine Stellungnahme, die den Inhalt des Gesetzentwurfs wesentlich bestimmt hat, lag nicht vor.

IV.

Alternativen

Die Durchführung der Verordnung (EU) 2024/1689 ist zwingend. Insoweit gibt es keine Alternativen. Für die Marktüberwachung ist geprüft worden, ob eine zentrale Behörde mit einer Zuständigkeit für alle KI- Systeme geschaffen werden sollte, ggf. durch einen Staatsvertrag, sowie ob eine Überwachung für alle Bereiche auf Länderebene erfolgen kann. Gegen erstgenannte Alternative sprechen vor allem Zeitgründe. Ein solcher Prozess wäre innerhalb der gesetzlichen Durchführungsfrist nicht abzuschließen. Gegen die zweite Alternative spricht, dass eine möglichst einheitliche Anwendung der Verordnung (EU) 2024/1689 Voraussetzung für Rechtssicherheit, grenzüberschreitende einheitliche Rechtanwendung und Innovationsförderung ist. Im Ergebnis werden diese Ziele am besten durch einen Ansatz erreicht, der die Nutzung bestehender Strukturen und Schaffung einer neuen zentralen Zuständigkeit bei der Bundesnetzagentur vereint, was eine weitergehende Bündelung mit anderen Digitalthemen im weiteren Verlauf einschließt. So ist zum Beispiel geplant, die Bundesnetzagentur auch als zentrale Aufsichtsbehörde für die Durchsetzung und Überwachung der Verordnung (EU) 2023/2854 des Europäischen Parlaments und des Rates vom 13. Dezember 2023 über harmonisierte Vorschriften für einen fairen Datenzugang und eine faire Datennutzung sowie zur Änderung der Verordnung (EU) 2017/2394 und der Richtlinie (EU) 2020/1828 (Datenverordnung) und – neben dem Statistische Bundesamt – als zuständige Behörde für die Durchführung der Verordnung (EU) 2022/868 des Europäischen Parlaments und des Rates vom 30. Mai 2022 über europäische Daten-Governance und zur Änderung der Verordnung (EU) 2018/1724 (Daten-Governance-Rechtsakt) einzusetzen. Für den von Artikel 74 Absatz 8 der Verordnung (EU) 2024/1689 geforderten Bereich der völligen Unabhängigkeit der Marktüberwachung sind verschiedene Alternativen geprüft worden. So wäre es denkbar, die Marktüberwachung auf eine bereits eingerichtete Behörde (wie der Bundesbeauftragten für den Datenschutz und die Informationsfreiheit) zu übertragen. Hiergegen sprechen gewichtige Gründe: Bei der Aufteilung der Zuständigkeiten auf verschiedene Behörden ergeben sich Abgrenzungsschwierigkeiten, die zu unklaren Zuständigkeiten und auseinanderfallenden Ansprechpartnern für Unternehmen und Verwaltungen führen können. Unterschiedliche Auslegungen der Verordnung (EU) 2024/1689 durch verschiedene Behörden sollen vermieden werden. Die Gefahr einer unterschiedlichen Auslegung bestünde jedoch bei Benennung einer anderen Behörde als der Bundesnetzagentur, da sich die Datenschutzbehörden primär auf den Grundrechtsschutz fokussieren und keine Erfahrung im Bereich Produktregulierung haben. Die Verordnung (EU) 2024/1689 hat neben dem Grundrechtsschutz vor allem das Ziel, einheitliche Marktregeln und Rechtssicherheit zu schaffen, um Innovationen zu fördern. Schließlich gibt es absehbar einen Mangel an KI-Fachkräften. Bei einer Aufteilung der Marktüberwachung auf verschiedene Behörden würden diese um knappe Ressourcen konkurrieren und müssten jeweils getrennt Kompetenzen aufbauen. Dies wäre ineffizient und unwirtschaftlich. Auch für die Ausgestaltung der völligen Unabhängigkeit innerhalb der Bundesnetzagentur sind verschiedene Modelle geprüft worden, u. a. die Gewährleistung der Unabhängigkeit der Behörde als Ganzes oder die Schaffung einer völlig unabhängigen Abteilung innerhalb der Bundesnetzagentur. In der Abwägung zwischen rechtlichen Anforderungen und praktischer Durchführbarkeit ist die gefundene Lösung, die sich am Prinzip der bestehenden Beschlusskammern orientiert, am zweckdienlichsten.

V.

Gesetzgebungskompetenz

Die Gesetzgebungskompetenz des Bundes beruht im Schwerpunkt auf Artikel 74 Nummer 11 des Grundgesetzes (GG; Recht der Wirtschaft) in Verbindung mit Artikel 72 Absatz 2 GG und hinsichtlich der Bußgeldvorschriften (Teil 5 des KI-Marktüberwachungs-und-Innovationsförderungs-Gesetzes in Artikel 1 des Entwurfs) auf Artikel 74 Absatz 1 Nummer 1 GG (Strafrecht). Das vorliegende Gesetz dient der Durchführung der Verordnung (EU) 2024/1689, die im Schwerpunkt als Produktregulierung wirtschaftsbezogene Anforderungen enthält. Die Voraussetzungen von Artikel 72 Absatz 2 GG liegen vor. Eine bundesgesetzliche Regelung ist hier im gesamtstaatlichen Interesse zur Durchführung der Verordnung (EU) 2024/1689 erforderlich, um ein einheitliches Vorgehen bei der Anwendung der EU-Regelungen innerhalb der Bundesrepublik Deutschland und damit zugleich die Wahrung der Rechts- und Wirtschaftseinheit sicherzustellen. Eine bundeseinheitliche Ausgestaltung der Durchführungsbestimmungen gewährleistet die Anwendung einheitlicher Maßstäbe bei der Aufsicht und Rechtsdurchsetzung hinsichtlich der Maßnahmen, die insbesondere Anbieter und Betreiber von KI-Systemen gemäß der Verordnung (EU) 2024/1689 ergreifen müssen, um KI-Systeme verordnungskonform in Verkehr zu bringen, in Betrieb zu nehmen und zu verwenden. Dem dient insbesondere das durch dieses Gesetz geschaffene Koordinierungsund Kompetenzzentrum, das alle Marktüberwachungsbehörden und notifizierenden Behörden bei ihren aus der Verordnung (EU) 2024/1689 resultierenden Aufgaben unterstützen soll. Zudem wird die Bundesnetzagentur nach diesem Gesetz bundesweit für die Innovationsförderung im Bereich der künstlichen Intelligenz zuständig. Das Regelungsziel einer innovationsfreundlichen Durchführung der Verordnung (EU) 2024/1689 macht eine bundesgesetzliche Regelung erforderlich. Die Gesetzgebungskompetenz des Bundes für Artikel 2 ergibt sich aus Artikel 74 Absatz 1 Nummer 1 (Strafrecht, gerichtliches Verfahren), Nummer 11 (Recht der Wirtschaft) des Grundgesetzes (GG) in Verbindung mit Artikel 72 Absatz 2 GG, Artikel 74 Absatz 1 Nummer 12 (Arbeitsrecht) GG, sowie ergänzend als Annexkompetenz des Bundes zu den jeweiligen vom sachlichen Anwendungsbereich des Gesetzentwurfs berührten Gesetzgebungszuständigkeiten des Bundes nach den Artikeln 73 und 74 GG. Die Gesetzgebungskompetenz des Bundes für Artikel 3 ergibt sich kraft Sachzusammenhangs aus Artikel 74 Absatz 1 Nummer 12 (Arbeitsrecht, Sozialversicherung) beziehungsweise Artikel 74 Absatz 1 Nummer 7 GG (öffentliche Fürsorge) in Verbindung mit Artikel 72 Absatz 2 GG.

VI.

Vereinbarkeit mit dem Recht der Europäischen Union und völkerrechtlichen Verträgen

Das vorliegende Gesetz ist mit dem Recht der Europäischen Union und mit völkerrechtlichen Verträgen, die die Bundesrepublik Deutschland abgeschlossen hat, vereinbar. Es dient der Durchführung der Verordnung (EU) 2024/1689.

VII.

Gesetzesfolgen

1.

Rechts- und Verwaltungsvereinfachung

Es werden keine bestehenden Regelungen vereinfacht oder aufgehoben. Mit der Schaffung einer Behördenstruktur für die Durchführung der Verordnung (EU) 2024/1689 und der Formulierung von Vorschriften für die Zusammenarbeit und Kooperation der Behörden wird das Ziel verfolgt, eine möglichst einheitliche und praktikable Rechtsanwendung zu erreichen und damit den Verwaltungsaufwand für die Durchsetzung der Verordnung (EU) 2024/1689 bei allen zuständigen Behörden so gering wie möglich zu halten. Diesem Ziel dient auch die weitestmögliche Bündelung von KI-Kompetenz und Ressourcen.

2.

Nachhaltigkeitsaspekte

Das Gesetz steht im Einklang mit der Nachhaltigkeitsstrategie der Bundesregierung. Es dient der Durchführung der Verordnung (EU) 2024/1689. Zweck der Verordnung (EU) 2024/1689 ist es, das Funktionieren des Binnenmarkts zu verbessern und die Einführung einer auf den Menschen ausgerichteten und vertrauenswürdigen künst- Drucksache 21/4594 Deutscher Bundestag – 21. Wahlperiode lichen Intelligenz (KI) und damit verbundene Innovationen zu fördern. Gleichzeitig soll ein hohes Schutzniveau in Bezug auf Gesundheit und Sicherheit und die in der Charta verankerten Grundrechte gewährleistet werden. Die Verordnung (EU) 2024/1689 fördert das reibungslose Funktionieren des Binnenmarktes, indem sie einen horizontalen Rechtsrahmen für KI-Modelle und -Systeme schafft. Die Regelungen des Gesetzentwurfs dienen den Zielen der Deutschen Nachhaltigkeitsstrategie. Insbesondere soll der Entwurf zu einem stetigen und angemessenen Wirtschaftswachstum (vgl. Deutsche Nachhaltigkeitsstrategie der Bundesregierung, Indikator 8.4) beitragen, indem die Voraussetzungen für einen wirksamen Wettbewerb gestärkt werden. Die Etablierung verlässlicher rechtlicher Rahmenbedingungen fördert zudem Innovationen, die es ermöglichen, die Zukunft mit neuen Lösungen nachhaltig zu gestalten (Nachhaltigkeitsstrategie, Ziel 9). Der Entwurf folgt damit insbesondere den Nachhaltigkeitsprinzipien „Sozialen Zusammenhalt in einer offenen Gesellschaft wahren und verbessern“ und „Bildung, Wissenschaft und Innovation als Treiber einer nachhaltigen Entwicklung nutzen“.

3.

Haushaltsausgaben ohne Erfüllungsaufwand a.

Bundesnetzagentur

Aufgrund der Neuregelungen entstehen der Bundesnetzagentur jährliche Personaleinzelkosten für die Wahrnehmung der Fachaufgaben in Höhe von insgesamt 3 678 000 Euro, Sacheinzelkosten in Höhe von 1 137 000 Euro sowie Gemeinkosten in Höhe von 1 416 000 Euro; diese Kosten gelten ab dem Jahr 2026 und sind – vorbehaltlich einer anderweitigen Evaluierung – für die folgenden Jahre gleichbleibend.* Nach den Ergebnissen zur Ermittlung und Darstellung des Erfüllungsaufwands sind für die Wahrnehmung der Fachaufgaben insgesamt 33,2 Planstellen erforderlich (23 im höheren Dienst – hD –, 7,7 im gehobenen Dienst gD – und 2,5 im mittleren Dienst – mD –), für den Querschnittsbereich werden weitere 9,8 Planstellen benötigt (6,8 hD, 2,3 gD und 0,7 mD).

hD gD

Fachbereich 7,7 2,5 33,2

Querschnittsbereich 6,8 2,3 0,7 9,8

Gesamt

29,8 3,2

Damit ergeben sich über die nächsten vier Haushaltsjahre folgenden Bedarfe.

In Tsd. Euro

BNetzA Personaleinzelkosten 3 678 3 678 3 678 3 678

BNetzA Sacheinzelkosten 1 137 1 137 1 137 1 137

BNetzA Gemeinkosten 1 416 1 416 1 416 1 416 einmalige Sachkosten 1 000 1 000 1 000 lfd. Sachkosten 6 300 6 300 6 300 6 300

Gesamtkosten

13 531 13 531 13 531 12 531

Die Personal- und Sacheinzelkosten für den Querschnittsbereich (u. a. Personalverwaltung, IT-Management, Beschaffungswesen, Pressearbeit) sind im Gemeinkostenzuschlag auf die jährlichen Personal- und Sacheinzelkosten für die Fachaufgaben enthalten. Die Kosten wurden auf Grundlage des Rundschreibens für Wirtschaftlichkeitsuntersuchungen und Kostenberechnungen des Bundesministeriums der Finanzen vom 23. Juni 2025 (Gz.: II A 3 – H 1012/00236/007/015) ermittelt. Die Berechnungen des personellen Mehrbedarfs sind vor dem Hintergrund der in Abschnitt A Ziffer VIII der Begründung vorgesehenen Evaluierung zu sehen, die ggfs. eine bedarfsorientierte Nachsteuerung der Kapazitäten notwendig macht.

Sämtliche in diesem Kapitel aufgeführten Kosten wurden auf Grundlage des Rundschreibens für Wirtschaftlichkeitsuntersuchungen und Kostenberechnungen des Bundesministeriums der Finanzen vom 23. Juni 2025 (Gz.: II A 3 – H 1012/00236/007/015) ermittelt.

Es entstehen einmalige Sachkosten in Höhe von 3 000 000 Euro und laufende Sachkosten in Höhe von 6 300 000 Euro insbesondere für den Betrieb und die Weiterentwicklung erforderlicher IT-Verfahren, den Betrieb eines KI- Reallabors sowie die Schnittstellenbereitstellung zur EU-Datenbank. Im Zusammenhang mit der Datenbank ist bei der Verarbeitung der Daten Vertraulichkeit gemäß Artikel 78 der Verordnung (EU) 2024/1689 herzustellen. In diesem Zusammenhang muss eine digitale VS-Registratur aufgebaut und betrieben werden. Zudem ist der Aufbau und Betrieb einer zentralen Beschwerdestelle und eines Koordinierungs- und Kompetenzzentrums für Fragen von nationalen Marktüberwachungs- und notifizierenden Behörden zum Thema KI erforderlich. Damit das Koordinierungs- und Kompetenzzentrumentsprechend Fachexpertise bereitstellen kann, muss ergänzend auf externe Sachverständige zurückgegriffen werden, da die horizontalen Anforderungen an KI nicht ohne externe Fachexpertise nachvollzogen werden können. Oft verfügt internes Personal über breites Wissen, aber es mangelt an der Spezialisierung in spezifischen KI-Bereichen. In den einzelnen Bereichen der 20 Harmonisierungsvorschriften aus Anhang I muss ein weites Feld mit rasanter Entwicklung abgedeckt werden. Hierfür muss sektoral spezifische KI-Kompetenz entwickelt werden. Zwar ist teilweise damit zu rechnen, dass die Implementierung von KI-Systemen in der Verwaltung mittelfristig zu Effizienzen und einer Fokussierung auf Kernaufgaben führt. Allerdings muss neue Kompetenz in neuen technologischen Bereichen zunächst aufgebaut werden. Mittelfristig dürfte damit ein geringerer Bedarf für die Einbindung externer Sachverständiger verbunden sein. Die Marktüberwachung prüft Produkte bei Akteuren in Zusammenarbeit mit dem Zoll, im Internet in Zusammenarbeit mit Online-Plattformen und mittels anonymer Testeinkäufe von Produkten, sowohl im Bereich E-Commerce als auch in einzelnen Geschäften. Damit sichere Produkte auf dem Markt zur Verfügung stehen, muss die Marktüberwachung mit entsprechenden Werkzeugen, wie Testsoftware oder Testlaboren, ausgestattet werden, um die Produkte auf ihre Konformität hin zu überprüfen. In der Verordnung (EU) 2024/1689 ist die Einrichtung mindestens eines nationalen KI-Reallabors bis zum 2. August 2026 vorgesehen. Detaillierte Regelungen für dessen Einrichtung, Entwicklung, Umsetzung, Betrieb und Beaufsichtigung müssen noch durch die Europäische Kommission im Rahmen eines Durchführungsrechtsakts festgelegt werden. Die Sachkostenschätzung für das nationale KI-Reallabor hängt maßgeblich vom Umfang des angestrebten Angebots ab. Vorliegend wird davon ausgegangen, dass lediglich eine regulatorische Begleitung ohne zusätzliche Leistung, wie etwa die Bereitstellung von technischer Infrastruktur und Daten im KI-Reallabor, stattfindet. Nach einer ersten Phase mit dem Schwerpunkt auf Aufbau und Erprobung (2026–2030) muss die Schätzung der Sachkosten erneut überarbeitet werden. Dabei sollen mögliche Veränderungen berücksichtigt werden – etwa beim Bedarf an externer Expertise (zum Beispiel ein geringerer Bedarf durch den Aufbau interner Kompetenzen), beim Leistungsumfang des KI-Reallabors (z. B. nur Begleitung von Trainings und Tests oder zusätzlich auch Tests unter realen Bedingungen) sowie bei der Anzahl der Teilnehmenden. b.

Bundesanstalt für Finanzdienstleistungsaufsicht

Für Kosten, die der Bundesanstalt für Finanzdienstleistungsaufsicht aus ihrer Zuständigkeit nach diesem Gesetzentwurf entstehen, gelten die Regelungen des Gesetzes über die Bundesanstalt für Finanzdienstleistungsaufsicht (Finanzdienstleistungsaufsichtsgesetz – FinDAG, siehe Artikel 4 des Entwurfs). c.

Bundesamt für Sicherheit in der Informationstechnik

Aufgrund der Neuregelungen dieses Gesetzes und der damit einhergehenden Übertragung neuer Aufgaben entstehen bei dem Bundesamt für Sicherheit in der Informationstechnik zusätzliche Personalkosten. Für die Wahrnehmung der neuen Fachaufgaben sind insgesamt 13 Stellen/Planstellen (elf hD, eine gD, eine mD) erforderlich. Hieraus resultieren voraussichtlich jährliche Personalkosten in Höhe von 1 511 000 Euro, Sacheinzelkosten in Höhe von 445 000 Euro sowie Gemeinkosten in Höhe von 575 000 Euro. d.

Zentrale Stelle für Informationstechnik im Sicherheitsbereich

Aufgrund der Neuregelungen dieses Gesetzes und der damit einhergehenden Übertragung neuer Aufgaben entstehen bei der Zentralen Stelle für Informationstechnik im Sicherheitsbereich zusätzliche Personalkosten für die Algorithmenbewertungsstelle für Behörden und Organisationen mit Sicherheitsaufgaben (ABOS). ABOS berät zu KI-Systemen im sicherheitsbehördlichen Kontext, begleitet beratend Erprobungen sowie Tests nach Maßgabe dieses Gesetzes und wirkt aktiv in der Standardisierung mit. Für die Wahrnehmung der neuen Fachaufgaben sind insgesamt acht Stellen/Planstellen (fünf hD, drei gD) erforderlich. Hieraus resultieren voraussichtliche jährliche Personalkosten in Höhe von 872 000 Euro, Sacheinzelkosten in Höhe von 274 000 Euro sowie Gemeinkosten in Höhe von 337 000 Euro.

Deutscher Bundestag – 21. Wahlperiode Hinzu kommen einmalige Sachkosten in Höhe von 850 000 Euro. Der einmalige Sachaufwand ist erforderlich für die Beschaffung von technischer Ausstattung (z. B. leistungsfähiger Workstations) einschließlich spezialisierter Analyse- und Dokumentationswerkzeuge. e.

Bundesbeauftragte für den Datenschutz und die Informationsfreiheit

Durch die Zusammenarbeit mit der Bundesnetzagentur nach § 9 dieses Gesetzes entstehen der Bundesbeauftragten für den Datenschutz und die Informationsfreiheit zusätzliche Personalbedarfe im höheren Dienst. Die vorgesehene Einbeziehung der Datenschutzbeauftragten begründet neue Fachaufgaben durch regelmäßigen, strukturierten Austausch zu aufsichtsrelevanten Fragestellungen, insbesondere zur Abgrenzung und Koordinierung der jeweiligen Zuständigkeiten. Darüber hinaus sollen gemeinsame Leitfäden erarbeitet werden, um Behörden, Unternehmen und sonstigen Verpflichteten praxisnahe Orientierung zu Anwendung der KI-Verordnung im Zusammenspiel mit dem Datenschutzrecht zu geben. Ferner sind gemeinsame Leitlinien zur einheitlichen Auslegung und Durchsetzung der einschlägigen Vorschriften angezeigt, um divergierende Verwaltungspraxis zu vermeiden. Schließlich umfasst die künftige Zusammenarbeit die gemeinsame Besprechung komplexer Einzelfälle mit dem Ziel kohärenter einheitlicher Rechtsanwendung im KI-Bereich. Nach den Ergebnissen zur Ermittlung und Darstellung des Erfüllungsaufwands sind für die Wahrnehmung der Fachaufgaben insgesamt 4,6 Planstellen im höheren Dienst (hD), erforderlich. Für die Wahrnehmung der Fachaufgabe entstehen jährlich Personalausgaben in Gesamthöhe von 1 033 000 Euro. Diese setzten sich aus Personaleinzelkosten in Höhe von 596 000 Euro, Sacheinzelkosten in Höhe von 158 000 Euro sowie Gemeinkosten in Höhe von 279 000 Euro zusammen. Die Kosten gelten ab dem Jahr 2026 und sind – vorbehaltlich einer anderweitigen Evaluierung – für die folgenden Jahre gleichbleibend. f.

Bundesanstalt für Arbeitsschutz und Arbeitsmedizin

Aufgrund der Neuregelungen dieses Gesetzes und der damit einhergehenden Übertragung neuer Aufgaben nach § 7 Absatz 1 und 2 entstehen bei der Bundesanstalt für Arbeitsschutz und Arbeitsmedizin zusätzliche Personalkosten. Für die Wahrnehmung der neuen Fachaufgaben sind nach den Ergebnissen zur Ermittlung und Darstellung des Erfüllungsaufwands insgesamt fünf Planstellen (eine hD, vier gD) erforderlich. Hieraus resultieren voraussichtliche jährliche Personalgesamtkosten in Höhe von 773 052 Euro und Sachgesamtkosten in Höhe von 221 598 Euro. Daraus ergeben sich Gesamtkosten in Höhe von 994 649 Euro. Diese Kosten gelten ab dem Jahr 2027 und sind – vorbehaltlich einer anderweitigen Evaluierung – für die folgenden Jahre gleichbleibend. g.

Kostentragung

Der stellenmäßige Mehrbedarf in dem unter der Fachaufsicht des BMDS stehenden Bereichs der Bundesnetzagentur soll im Einzelplan des zuständigen Ressorts ausgeglichen werden. Der finanzielle Mehrbedarf soll im Einzelplan 24 des Bundesministeriums für Digitales und Staatsmodernisierung ausgeglichen werden. Im Übrigen soll der hier durch die Durchführung der Verordnung (EU) 2024/1689 entstehende Mehrbedarf an Sach- und Personalmitteln im Bereich des Bundes finanziell und stellenmäßig im jeweils betreffenden Einzelplan ausgeglichen werden. Über die Einzelheiten wird im Rahmen der jeweiligen Haushaltsaufstellungsverfahren der kommenden Jahre entschieden.

4.

Erfüllungsaufwand a.

Kurzbeschreibung

Die Verpflichtungen für die Wirtschaft und die Bürgerinnen und Bürger ergeben sich aus der unmittelbar geltenden Verordnung (EU) 2024/1689. Mit diesem Durchführungsgesetz werden für sie keine neuen Verpflichtungen geschaffen, sondern lediglich die zuständigen Behörden benannt und deren Aufgaben und Zusammenarbeit geregelt. Ein Erfüllungsaufwand ergibt sich daher aus diesem Gesetz nicht für die Wirtschaft und die Bürgerinnen und Bürger. Vor dem Hintergrund des weit gefassten horizontalen Regulierungsansatzes, der komplexen Regelungsmaterie sowie des dynamisch wachsenden Marktumfeldes im Bereich der künstlichen Intelligenz ist die Ermittlung der Ressourcen zur Anwendung und Durchsetzung der KI-Verordnung mit zahlreichen Unsicherheiten behaftet, wodurch ggfs. eine spätere bedarfsorientierte Nachsteuerung der Kapazitäten erforderlich wird. Die Beurteilung eines notwendigen Mehrbedarfs ist insbesondere nach Durchführung der vorgesehenen Evaluierungen durch den europäischen und nationalen Gesetzgeber möglich und sollte mit diesen verknüpft werden. (vgl. Abschnitt A Ziffer VIII der Begründung).

b.

1:1-Umsetzung von EU-Recht

Nach dem Verursacherprinzip wird die Belastung der Ebene zugeschrieben, die die Regelung zuerst eingeführt hat (nach Beschlussdatum). Das bedeutet, dass die reine Überführung einer Regelung aus einer EU-Verordnung ins Bundesrecht keine Aufwandsänderung der Normadressaten verursacht. Neben dem Normadressaten Wirtschaft (bei diesem in Gänze) entstehen durch die KI-Verordnung auch für die Verwaltung Aufwände, welche dieser 1:1-Umsetzung zuzuordnen sind. Für diese Vorgaben, die vom Rahmen der EU-Verordnung abgedeckt sind, entsteht kein Erfüllungsaufwand aufgrund der Bundesgesetzgebung. Folglich werden diese Vorgaben in der Schätzung nicht aufgeführt. Dies betrifft beispielsweise viele Aufwände für KI-Reallabore (Artikel 57 ff. KI- Verordnung) oder im Kontext von Hochrisiko-KI-Systemen (Artikel 16, 26, 27, 49, 60, 84 i.V. mit den Anhängen der KI-Verordnung). Erfüllungsaufwand im Sinne dieser Schätzung entsteht nur dort, wo der nationale Gesetzgeber Konkretisierungen vornimmt und beispielsweise eine Behörde benennt (z. B. die BNetzA in § 2 Absatz 1 KI-MIG). In einem solchen Fall ist die Bundesregierung als Verursacher zu betrachten und die Regelung mit einer Änderung des Erfüllungsaufwands verbunden. c.

Aufwände der Länder

Der im Folgenden ausgewiesene Erfüllungsaufwand der Bundesländer basiert auf einer Hochrechnung. In der Feldphase konnte ein Großteil der Bundesländer befragt werden. Diese befragten Länder stehen für 76,5 % aller Marktüberwachungstätigkeiten aller Länder. Davon ausgehend wurde der Aufwand auf die Grundgesamtheit aller Bundesländer hochgerechnet. Deshalb ist hier die Fallzahl bei 1. Der ausgewiesene Aufwand im gehobenen sowie im höheren Dienst ist somit ebenso äquivalent zur Relation der befragten Länder. Darüber hinaus gibt es mit der Zentralstelle der Länder noch eine Einrichtung, die in Vorgabe 2 aufgeführt ist. Diese erfüllt die Aufgaben in diesem Bereich für alle Bundesländer. Dieser Aufwand wurde dementsprechend nicht hochgerechnet. d.

Aufwände der Bundesbehörden

Vielfach wurden die Aufwände der Bundesbehörden mit einer Fallzahl von 1 ausgewiesen. Dies ist durch verschiedene Faktoren bedingt. Zum einen fiel es den Behörden schwer den Aufwand konkret zu schätzen, da oftmals keine vergleichbaren Vorgänger etabliert sind mit denen der neue KI-Bereich vergleichbar ist und dementsprechend Vorerfahrungen für Einschätzungen fehlten. Hier wurden oftmals Prozesse geschätzt, die auch mehrere Fälle beinhalten können (bspw. Parallelbearbeitung). Darüber hinaus gibt es eine große Heterogenität zwischen den Fällen, wodurch eine valide Darstellung eines typischen Einzelfalles nicht möglich ist. Des Weiteren fallen die Sachkosten meistens insgesamt (bspw. IT-Infrastruktur) an und nicht für die jeweiligen Einzelfälle. Eine Darstellung des Einzelfalles wäre in diesen Fällen nur scheingenau. e.

Überblick der Erfüllungsaufwandsänderungen

Erfüllungsaufwand der Verwaltung lfd. Nr.

Artikel Regelungsentwurf;

Norm (§§); Bezeichnung der Vorgabe

Bund/ Land

Jährliche

Fallzahl und Einheit

Jährlicher Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Jährlicher Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)“

Einmalige Fallzahl und Einheit

Einmaliger Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Einmaliger Erfüllungsaufwand (in

Tsd. Euro) oder „geringfügig“ (Begründung)

1.1

§ 2 i. V. m. §§ 4, 9 KI- MIG; Marktüberwachung für KI-Systeme (Neu)

Bund 1 BNetzA

5.799.971 Euro = (1.708.800 / * 59,69 Euro/h (9% mD; 18% gD; 73% hD) +4.100.000 Euro)

5.800 1.0 BNetz A

3.000.000 Euro = (0 +3.000.000 Euro)

3.000

Artikel Regelungsentwurf;

Norm (§§); Bezeichnung der Vorgabe

Bund/ Land

Jährliche

Fallzahl und Einheit

Jährlicher Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Jährlicher Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)“

Einmalige Fallzahl und Einheit

Einmaliger Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Einmaliger Erfüllungsaufwand (in

Tsd. Euro) oder „geringfügig“ (Begründung)

1.2

§ 2 i. V. m. §§ 4, 9 KI- MIG; Marktüberwachung für KI-Systeme (Neu)

Bund 1 BaFin

2.105.264 Euro = (1.879.980 / * 67,19 Euro/h (1% mD; 99% hD))

2.105 1.0 BaFin

160.767,4 Euro = (142.693 / 60 * 67,60 Euro/h (100% hD))

1.3

§ 2 i. V. m. §§ 4, 9 KI- MIG; Marktüberwachung für KI-Systeme (Neu)

Land 1 Länder

26.136.587 Euro = (16.521.605 / 60 * 46,81 Euro/h (86% gD; 14% hD) +13.246.981,7 8 Euro)

26.136 1.0 Länder

2.614 Euro = (0 +2.614 Euro)

§ 2 Abs. 7 KI- MIG; Marktüberwachung für KI-Systeme (Neu)

Land 1 LMAs 621.000 Euro = (0 +621.000 Euro)

3.1

§ 3 KI-MIG;

Befugniserteilung und Notifizierung (Neu)

Bund 1 BNetzA

108.160 Euro = (96.000 / 60 * 67,60 Euro/h (100% hD))

3.2

§ 3 KI-MIG;

Befugniserteilung und Notifizierung (Neu)

Bund

1 BSI

86.803 Euro = (82.788 / 60 * 62,91 Euro/h (8% mD; 8% gD; 85% hD))

§ 5 KI-MIG;

Aufwände im Kontext der Algorithmenbewertungsstelle für Behörden und Organisationen mit Sicherheitsaufgaben (ABOS) (Neu)

Bund 1 ZITIs

1.008.720 Euro = (768.000 / * 57,40 Euro/h (38% gD; 63% hD) +274.000 Euro)

1.009 1 ZITIs 850.000 Euro = (0 +850.000 Euro)

§ 5 BNetzA; Einrichtung eines Koordinierungs- und Kompetenzzentrums (Ko- KIVO) (Neu)

Bund 1 BNetzA

432.640 Euro = (384.000 / * 67,60 Euro/h (100% hD))

lfd. Nr.

Artikel Regelungsentwurf;

Norm (§§); Bezeichnung der Vorgabe

Bund/ Land

Jährliche

Fallzahl und Einheit

Jährlicher Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Jährlicher Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)“

Einmalige Fallzahl und Einheit

Einmaliger Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Einmaliger Erfüllungsaufwand (in

Tsd. Euro) oder „geringfügig“ (Begründung)

§ 6 KI-MIG;

Zentrale Anlaufstelle (Neu)

Bund 1 BNetzA

156.632 Euro = (168.000 / * 55,94 Euro/h (43% gD; 57% hD))

§ 7 KI-MIG;

Unterrichtungen der Marktüberwachungsbehörden (Neu)

Land 1 Länder

693.443 Euro = (217.748 / * 50,25 Euro/h (73% gD; 27% hD) +511.079 Euro)

7.1

§ 7 Abs. 1 und KI-MIG; Unterrichtungen der Marktüberwachungsbehörden

Bund 1 BAuA 366.720 Euro = (480.000 / * 45,84 Euro/h (80% gD; 20% hD))

§ 8 KI-MIG;

Beschwerdenmanagement (Neu)

Bund 1 BNetzA

433.152 Euro = (552.960 / * 47,00 Euro/h (14% mD; 58% gD; 28% hD))

9.1

§ 9 KI-MIG;

Zusammenarbeit der zuständigen Behörden (Neu)

Bund

1 BSI

900.401 Euro = (858.752 / * 62,91 Euro/h (8% mD; 8% gD; 85% hD))

9.2

§ 9 KI-MIG;

Zusammenarbeit der zuständigen Behörden (Neu)

Bund 10 BaFin

3.324 Euro = (2.950 / 60 * 67,60 Euro/h (100% hD))

9.3

§ 9 KI-MIG;

Zusammenarbeit der zuständigen Behörden (Neu)

Bund

1 ADS

248.640 Euro = (240.000 / * 62,16 Euro/h (20% gD; 80% hD))

9.4

§ 9 KI-MIG;

Zusammenarbeit der zuständigen Behörden (Neu)

Bund 1 BfDI

497.536 Euro = (441.600 / * 67,60 Euro/h (100% hD))

1 BfDI

37.180 Euro = (33.000 / 60 * 67,60 Euro/h (100% hD))

Artikel Regelungsentwurf;

Norm (§§); Bezeichnung der Vorgabe

Bund/ Land

Jährliche

Fallzahl und Einheit

Jährlicher Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Jährlicher Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)“

Einmalige Fallzahl und Einheit

Einmaliger Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Einmaliger Erfüllungsaufwand (in

Tsd. Euro) oder „geringfügig“ (Begründung)

9.5

§ 9 KI-MIG;

Zusammenarbeit der zuständigen Behörden (Neu)

Land 1 Länder

5.222.742 Euro = (5.261.236 / * 47,29 Euro/h (84% gD; 16% hD) +1.076.011 Euro)

5.222 1 Länder

13.725 Euro = (0 +13.725 Euro)

§ 10 KI-MIG;

Zusammenarbeit der Marktüberwachungsbehörden mit dem BSI (Neu)

Bund

1 BSI

321.323 Euro = (306.460 / * 62,91 Euro/h (8% mD; 8% gD; 85% hD))

§ 12 KI-MIG;

Innovationsfördernde Maßnahmen (Neu)

Bund 1 BNetzA

178.514 Euro = (184.320 / * 58,11 Euro/h (35% gD; 65% hD))

§ 13 KI-MIG;

Wahrnehmung von Aufsichtsaufgaben im KI- Reallabor (Neu)

Bund 1 BNetzA

2.541.898 Euro = (319.680 / * 64,17 Euro/h (13% gD; 87% hD) +2.200.000 Euro)

2.542

13.1

§ 14 KI-MIG;

Test von Hochrisiko- KI-Systemen (Neu)

Bund 1 BNetzA

535.164 Euro = (552.000 / * 58,17 Euro/h (17% mD; 13% gD; 70% hD))

13.2

§ 14 KI-MIG;

Test von Hochrisiko- KI-Systemen (Neu)

Land 1 Länder

293.624 Euro = (153.833 / * 68,74 Euro/h (2% gD; 98% hD) +117.383 Euro)

1 Länder

7.079,6 Euro = (3.137 / 60 * 43,20 Euro/h (100% gD) +4.821 Euro)

14.1

§ 17 KI-MIG;

Für das Bußgeldverfahren zuständigen Verwaltungsbehörden (Neu)

Bund 1 BNetzA

143.424 Euro = (159.360 / * 54,00 Euro/h (50% gD; 50% hD))

lfd. Nr.

Artikel Regelungsentwurf;

Norm (§§); Bezeichnung der Vorgabe

Bund/ Land

Jährliche

Fallzahl und Einheit

Jährlicher Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Jährlicher Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)“

Einmalige Fallzahl und Einheit

Einmaliger Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Einmaliger Erfüllungsaufwand (in

Tsd. Euro) oder „geringfügig“ (Begründung)

14.2

§ 17 KI-MIG;

Für das Bußgeldverfahren zuständigen Verwaltungsbehörden (Neu)

Land 1 Länder 10.333 Euro = (0 +10.333 Euro)

1 Länder

4.653 Euro = (0 +4.653 Euro)

Summe (in Tsd. Euro)

48.997 4.076 davon auf Bundesebene

15.898 4.048 davon auf Landesebene (inklusive Kommunen)

33.099

* Spiegelvorgaben werden in der Spalte „Artikel Regelungsentwurf; Norm (§§); Bezeichnung der Vorgabe“ einheitlich gekennzeichnet. f.

Erläuterung der Erfüllungsaufwandsänderungen ausgewählter Vorgaben nach Normadressat

Vorgabe 1: Marktüberwachung nach § 2 KI-MIG

Veränderung des jährlichen Erfüllungsaufwands des Bundes: Erfüllungsaufwand der Verwaltung lfd. Nr.

Artikel Regelungsentwurf; Norm (§§); Bezeichnung der Vorgabe

Bund/ Land

Jährliche

Fallzahl und Einheit

Jährlicher Aufwand pro

Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Jährlicher Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)“

Einmalige

Fallzahl und Einheit

Einmaliger Aufwand pro

Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Einmaliger Erfüllungsaufwand (in

Tsd. Euro) oder „geringfügig“ (Begründung)

1.1

§ 2 i. V. m. §§ 4, 9 KI- MIG; Marktüberwachung für KI-Systeme (Neu)

Bund

1.0 BNetzA

5.799.971 Euro = (1.708.800 / 60 * 59,69 Euro/h (9% mD; 18% gD; 73% hD) +4.100.000 Euro)

5.800 1.0 BNetzA

3.000.000 Euro = (0 +3.000.000 Euro)

3.000

Artikel Regelungsentwurf; Norm (§§); Bezeichnung der Vorgabe

Bund/ Land

Jährliche

Fallzahl und Einheit

Jährlicher Aufwand pro

Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Jährlicher Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)“

Einmalige

Fallzahl und Einheit

Einmaliger Aufwand pro

Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Einmaliger Erfüllungsaufwand (in

Tsd. Euro) oder „geringfügig“ (Begründung)

1.2

§ 2 i. V. m. §§ 4, 9 KI- MIG; Marktüberwachung für KI-Systeme (Neu)

Bund

1.0 BaFin

2.105.264 Euro = (1.879.980 / 60 * 67,19 Euro/h (1% mD; 99% hD))

2.105 1.0 BaFin

160.767 Euro = (142.693 / 60 * 67,60 Euro/h (100% hD))

1.3

§ 2 i. V. m. §§ 4, 9 KI- MIG; Marktüberwachung für KI-Systeme (Neu)

Land

1.0 Länder

26.136.587 Euro = (16.521.605 / 60 * 46,81 Euro/h (86% gD; 14% hD) +13.246.981, 78 Euro)

26.136 1.0 Länder

2.614 Euro = (0 +2.614 Euro)

Summe (in Tsd. Euro)

34.042 3.163 davon auf Bundesebene

7.905 3.161 davon auf Landesebene (inklusive Kommunen)

26.136

Aus § 2 ergeben sich Aufwände für die Marktüberwachungsbehörden. Hiervon ist auf Bundesebene zum großen Teil die Bundesnetzagentur betroffen, welche in § 2 Absatz 1 KI-MIG explizit als Marktüberwachungsbehörde gemäß Artikel 70 Absatz 1 Satz 1 der Verordnung (EU) 2024/1689 benannt wird. Deren einmalige Sachkosten ergeben sich aus der Einrichtung eines geeigneten IT-Systems. Die Personalaufwände entstehen aus der Wahrnehmung der Fachaufgaben der Marktüberwachung Die jährlichen Sachkosten ergeben sich aus dem Betrieb des IT-Systems, KI-spezifischen Schulungen und Netzwerkarbeit.

Darüber hinaus entstehen auch für die Bundesanstalt für Finanzdienstleistungsaufsicht Aufwände. Im Detail resultieren die jährlichen Aufwände aus der Analyse und Auswertung von Unterlagen, Inspektionen oder der Einforderung von Informationen. Des Weiteren kann es zu Ermittlungen kommen, um Verstöße festzustellen, was darüber hinaus die Einforderung und Überprüfung von Korrekturmaßnahmen zur Folge haben kann. Die einmaligen Kosten entstehen durch die Schaffung interner Strukturen und organisatorischer Rahmenbedingungen sowie durch den Aufbau von KI-Kompetenz.

Den Ländern entstehen Aufwände durch die Einbeziehung ihrer Marktüberwachungsbehörden, die in § 2 Absatz 2 explizit benannt werden und zur Ausführung von Aufgaben nach der in Anhang I Abschnitt A der Verordnung (EU) 2024/1689 genannten Harmonisierungsrechtsvorschriften bestimmt wurden. So übernehmen die Landesbehörden, die bereits für die Marktüberwachung in bestimmten Produktbereichen zuständig sind, zusätzlich die Aufgaben als Marktüberwachungsbehörde auch für KI-Systeme, die in diesen Bereichen eingesetzt werden. Dementsprechend müssen die Geschäftsbereiche, die beispielsweise technische Geräte oder Agrarprodukte überwachen, künftig auch KI-bezogene Sicherheits-, Risiko- und Transparenzanforderungen prüfen. Hierfür müssen für die Marktüberwachung in den jeweiligen Produktsektoren Personal für Produktkontrollen und Sachmittel für die benötigte technische Ausstattung bereitgestellt werden.

Vorgabe 2: § 2 Absatz 7 KI-MIG; Marktüberwachung für KI-Systeme

Erfüllungsaufwand der Verwaltung lfd. Nr.

Artikel Regelungsentwurf; Norm (§§); Bezeichnung der Vorgabe

Bund/ Land

Jährliche

Fallzahl und Einheit

Jährlicher Aufwand pro

Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Jährlicher Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)“

Einmalige

Fallzahl und Einheit

Einmaliger Aufwand pro

Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Einmaliger Erfüllungsaufwand (in

Tsd. Euro) oder „geringfügig“ (Begründung)

§ 2 Abs. 7 KI-MIG; Marktüberwachung für KI-Systeme (Neu)

Land 1 LMAs

621.000 Euro = (0 +621.000 Euro)

Summe (in Tsd. Euro)

davon auf Bundesebene davon auf Landesebene (inklusive Kommunen)

Die Landesmedienanstalten sind staatsferne Aufsichtsbehörden der Bundesländer. Zu den Aufgaben der Landesmedienanstalten zählt unter anderem die Überwachung privater Rundfunk- und Fernsehanbieter sowie von Telemedien. Sie überwachen vor allem die Einhaltung der Vorschriften aus dem Medienstaatsvertrag, dem Jugendmedienschutz-Staatsvertrag sowie den Landesmediengesetzen bzw. Medienstaatsverträgen der Länder. Um diese schon bestehenden Aufsichtsstrukturen zu nutzen, sollen die Landesmedienanstalten die Marktüberwachung übernehmen, wenn zu journalistischen Zwecken oder zu Werbezwecken KI-Systeme eingesetzt werden.

Vorgabe 3: Befugniserteilung und Notifizierung nach § 3 KI-MIG

Erfüllungsaufwand der Verwaltung lfd. Nr.

Artikel Regelungsentwurf; Norm (§§); Bezeichnung der Vorgabe

Bund/ Land

Jährliche

Fallzahl und Einheit

Jährlicher Aufwand pro

Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Jährlicher Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)“

Einmalige

Fallzahl und Einheit

Einmaliger Aufwand pro

Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Einmaliger Erfüllungsaufwand (in

Tsd. Euro) oder „geringfügig“ (Begründung)

3.1

§ 3 KI-MIG;

Befugniserteilung und Notifizierung (Neu)

Bund 1 BNetzA

108.160 Euro = (96.000 / 60 * 67,60 Euro/h (100% hD))

Artikel Regelungsentwurf; Norm (§§); Bezeichnung der Vorgabe

Bund/ Land

Jährliche

Fallzahl und Einheit

Jährlicher Aufwand pro

Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Jährlicher Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)“

Einmalige

Fallzahl und Einheit

Einmaliger Aufwand pro

Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Einmaliger Erfüllungsaufwand (in

Tsd. Euro) oder „geringfügig“ (Begründung)

3.2

§ 3 KI-MIG;

Befugniserteilung und Notifizierung (Neu)

Bund

1 BSI

86.803 Euro = (82.788 / 60 * 62,91 Euro/h (8% mD; 8% gD; 85% hD))

Summe (in Tsd. Euro)

davon auf Bundesebene davon auf Landesebene (inklusive Kommunen)

Dieses Gesetz benennt die Bundesnetzagentur in Absatz 1 als notifizierende Behörde gemäß Artikel 70 Absatz 1 Satz 1 der Verordnung (EU) 2024/1689. Ihr entstehen Personalaufwände durch Einrichtung und Durchführung der erforderlichen Verfahren zur Bewertung, Benennung und Notifizierung von Konformitätsbewertungsstellen und deren Überwachung. Zugleich ist das Bundesamt für Sicherheit in der Informationstechnik als zentrale Stelle für Informationssicherheit auf nationaler Ebene gemäß § 1 Satz 2 BSIG die auf Bundesebene zuständige Behörde. Die Personalaufwände des Bundesamts für Sicherheit in der Informationstechnik entstehen durch Begutachtung, Überwachung oder der Pflege von Programmen im Rahmen von Verwaltungsverfahren der Befugniserteilung und Notifizierung.

Vorgabe 4: Aufwände im Kontext Koordinierungs- und Kompetenzzentrum für die Durchführung der Verordnung (EU) 2024/1689nach § 5 KI-MIG

Erfüllungsaufwand der Verwaltung lfd. Nr.

Artikel Regelungsentwurf; Norm (§§); Bezeichnung der Vorgabe

Bund/ Land

Jährliche

Fallzahl und Einheit

Jährlicher Aufwand pro

Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Jährlicher Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)“

Einmalige

Fallzahl und Einheit

Einmaliger Aufwand pro

Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Einmaliger Erfüllungsaufwand (in

Tsd. Euro) oder „geringfügig“ (Begründung)

§ 5 KI-MIG;

Aufwände im Kontext der Algorithmenbewertungsstelle für Behörden und Organisationen mit Sicherheitsaufgaben (ABOS) (Neu)

Bund 1 ZITIs

1.008.720 Euro = (768.000 / 60 * 57,40 Euro/h (38% gD; 63% hD) +274.000 Euro)

1.009 1 ZITIs

850.000 Euro = (0 +850.000 Euro)

Summe (in Tsd. Euro)

1.009 davon auf Landesebene (inklusive Kommunen)

Im Rahmen der Vorgabe 5 kann die Bundesnetzagentur auch externen Sachverstand hinzuziehen. Zu den externen Experten, die die Bundesnetzagentur hinzuziehen kann, zählt zentralen Stelle für Informationstechnik im Sicherheitsbereich und die dort angesiedelte Algorithmenbewertungsstelle für Behörden und Organisationen mit Sicherheitsaufgaben (ABOS). Durch den nach der Begründung zu dieser Vorschrift vorgesehenen Rückgriff auf die dort bestehende Expertise entsteht bei der zentralen Stelle für Informationstechnik im Sicherheitsbereich Aufwand.

Vorgabe 5: Einrichtung eines Koordinierungs- und Kompetenzzentrums (KoKIVO) nach § 5 KI-MIG

Erfüllungsaufwand der Verwaltung lfd. Nr.

Artikel Regelungsentwurf; Norm (§§); Bezeichnung der Vorgabe

Bund/ Land

Jährliche

Fallzahl und Einheit

Jährlicher Aufwand pro

Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Jährlicher Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)“

Einmalige

Fallzahl und Einheit

Einmaliger Aufwand pro

Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Einmaliger Erfüllungsaufwand (in

Tsd. Euro) oder „geringfügig“ (Begründung)

§ 5 BNetzA; Einrichtung eines Koordi- Bund 1 BNetzA 432.640 Euro = (384.000 / 60 * 67,60

Artikel Regelungsentwurf; Norm (§§); Bezeichnung der Vorgabe

Bund/ Land

Jährliche

Fallzahl und Einheit

Jährlicher Aufwand pro

Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Jährlicher Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)“

Einmalige

Fallzahl und Einheit

Einmaliger Aufwand pro

Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Einmaliger Erfüllungsaufwand (in

Tsd. Euro) oder „geringfügig“ (Begründung)

nierungs- und Kompetenzzentrums (KoKIVO) (Neu)

Euro/h (100% hD))

Summe (in Tsd. Euro)

davon auf Bundesebene davon auf Landesebene (inklusive Kommunen)

Die Bundesnetzagentur hat ein Koordinierungs- und Kompetenzzentrum einzurichten, um die Abstimmung mit den zuständigen Behörden zu erleichtern. Der Bundesnetzagentur entsteht infolgedessen Personalaufwand. Das Zentrum wird permanenter Ansprechpartner für die nach den §§ 2 und 3 zuständigen Behörden, Koordinierungsstelle für diese und sonstige Behörden und wichtiger Akteur bei der Aufstellung von Verhaltenskodizes.

Vorgabe 6: Zentrale Anlaufstelle nach § 6 KI-MIG

Erfüllungsaufwand der Verwaltung lfd. Nr.

Artikel Regelungsentwurf; Norm (§§); Bezeichnung der Vorgabe

Bund/ Land

Jährliche Fallzahl und Einheit

Jährlicher Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Jährlicher Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)“

Einmalige Fallzahl und Einheit

Einmaliger Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Einmaliger Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)

§ 6 KI-MIG;

Zentrale Anlaufstelle (Neu)

Bund 1 BNetzA

156.632 Euro = (168.000 / 60 * 55,94 Euro/h (43% gD; 57% hD))

Summe (in Tsd. Euro)

davon auf Bundesebene davon auf Landesebene (inklusive Kommunen)

§ 6 Absatz 1 KI-MIG benennt die Bundesnetzagentur als zentrale Anlaufstelle im Sinne von Artikel 70 Absatz 2 Satz 3 der Verordnung (EU) 2024/1689. Die Aufwände in diesem Zusammenhang resultieren für die Bundesnetzagentur dadurch, dass sie Ansprechpartnerin der Europäischen Union ist und die nach dieser Vorschrift vorgesehenen Meldungen (über notifizierende Behörden und Marktüberwachungsbehörden) macht. Die zentrale Anlaufstelle fungiert als Schnittstelle zum Büro für Künstliche Intelligenz auf EU-Ebene und ist Ansprechpartnerin gegenüber der Öffentlichkeit und anderen Akteure auf EU-Ebene.

Vorgabe 7: Unterrichtung durch Marktüberwachungsbehörden nach § 7 KI-MIG

Erfüllungsaufwand der Verwaltung lfd. Nr.

Artikel Regelungsentwurf; Norm (§§); Bezeichnung der Vorgabe

Bund/ Land

Jährliche

Fallzahl und Einheit

Jährlicher Aufwand pro

Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Jährlicher Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)“

Einmalige

Fallzahl und Einheit

Einmaliger Aufwand pro

Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Einmaliger Erfüllungsaufwand (in

Tsd. Euro) oder „geringfügig“ (Begründung)

7.1

§ 7 KI-MIG;

Unterrichtungen der Marktüberwachungsbehörden (Neu)

Land 1 Länder

693.443 Euro = (217.748 / 60 * 50,25 Euro/h (73% gD; 27% hD) +511.079 Euro)

7.2

§ 7 Abs. 1 und KI- MIG; Unterrichtungen der Marktüberwachungsbehörden (Neu)

Bund 1 BAuA 366.720 Euro = (480.000 / 60 * 45,84 Euro/h (80% gD; 20% hD))

Summe (in Tsd. Euro)

1.060 davon auf Bundesebene davon auf Landesebene (inklusive Kommunen)

1.060

§ 7 bestimmt, dass die zuständige Marktüberwachungsbehörde die Unterrichtungen nach Artikel 79, 81, und 82 der Verordnung (EU) 2024/1689 über die Bundesanstalt für Arbeitsschutz und Arbeitsmedizin vorzunehmen hat. Die Bundesanstalt für Arbeitsschutz und Arbeitsmedizin wird als nationaler Knotenpunkt für Mitteilungen der Marktüberwachungsbehörden in Richtung Europäische Kommission und übrige Mitgliedstaaten etabliert. Somit übernimmt die Bundesanstalt für Arbeitsschutz und Arbeitsmedizin hier die Aufgaben der zuständigen Behörde im Kontext von Sicherheit und Gesundheit in der Arbeitswelt. Diese bestehen bspw. aus dem Beobachten nach Inverkehrbringen (Artikel 72 ff. Verordnung (EU) 2024/1689). Darüber hinaus agiert sie als Schnittstelle zwischen EU-Ebene und den Bundes- sowie Länderbehörden der Marktüberwachung im Kontext unsicherer KI- Produkte.

Deutscher Bundestag – 21. Wahlperiode Auf Länderebene entstehen den Marktüberwachungsbehörden durch die Konzeption und Durchführung der bereits genannten Unterrichtungen ebenfalls Personalaufwände. Die durchgeführten Marktüberwachungsmaßnahmen dienen der Sicherstellung der Konformität. Deshalb gibt es notwendigerweise Meldungen bei Nichtkonformität oder Risiken. Hierdurch entstehen Berichtspflichten an die Bundesanstalt für Arbeitsschutz und Arbeitsmedizin. Die Ansprechpersonen erwarten hier auch Fälle, die in Zusammenarbeit zwischen den Ländern und der Bundesanstalt für Arbeitsschutz und Arbeitsmedizin erfolgen. Sachkosten können für die Einschaltung externer Expertise (Inanspruchnahme von Dienstleistern) für den Bereich Produktsicherheit entstehen.

Vorgabe 8: Beschwerdemanagement nach § 8 KI-MIG

Erfüllungsaufwand der Verwaltung lfd. Nr.

Artikel Regelungsentwurf; Norm (§§); Bezeichnung der Vorgabe

Bund/ Land

Jährliche

Fallzahl und Einheit

Jährlicher Aufwand pro

Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Jährlicher Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)“

Einmalige

Fallzahl und Einheit

Einmaliger Aufwand pro

Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Einmaliger Erfüllungsaufwand (in

Tsd. Euro) oder „geringfügig“ (Begründung)

§ 8 KI-MIG;

Beschwerdenmanagement (Neu)

Bund 1 BNetzA

433.152,0 Euro = (552.960 / 60 * 47,00 Euro/h (14% mD; 58% gD; 28% hD))

Summe (in Tsd. Euro)

davon auf Bundesebene davon auf Landesebene (inklusive Kommunen)

Die Bundesnetzagentur wird in § 8 KI-MIG als zentrale Beschwerdestelle benannt. Sie befasst sich in diesem Kontext mit Beschwerden über Verstöße gegen Bestimmungen der Verordnung (EU) 2024/1689. Nach Eingang der Beschwerde wird eine Prüfung der Zuständigkeit durchgeführt und daraufhin wird die Beschwerde an die für sie zuständige Marktüberwachungsbehörde weitergeleitet. Die Bundesnetzagentur informiert den Beschwerdeführer über die Weiterleitung an die andere nach § 2 KI-MIG zuständige Marktüberwachungsbehörde.

Vorgabe 9: Zusammenarbeit der zuständigen Behörden nach § 9 Absatz 1 und 2 KI-MIG

Erfüllungsaufwand der Verwaltung lfd. Nr.

Artikel Regelungsentwurf; Norm (§§); Bezeichnung der Vorgabe

Bund/ Land

Jährliche

Fallzahl und Einheit

Jährlicher Aufwand pro

Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Jährlicher Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)“

Einmalige

Fallzahl und Einheit

Einmaliger Aufwand pro

Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Einmaliger Erfüllungsaufwand (in

Tsd. Euro) oder „geringfügig“ (Begründung)

9.1

§ 9 KI-MIG;

Zusammenarbeit der zuständigen Behörden (Neu)

Bund

1 BSI

900.401 Euro = (858.752 / 60 * 62,91 Euro/h (8% mD; 8% gD; 85% hD))

9.2

§ 9 KI-MIG;

Zusammenarbeit der zuständigen Behörden (Neu)

Bund 10 BaFin

3.324 Euro = (2.950 / 60 * 67,60 Euro/h (100% hD))

9.3

§ 9 KI-MIG;

Zusammenarbeit der zuständigen Behörden (Neu)

Bund

1 ADS

248.640 Euro = (240.000 / 60 * 62,16 Euro/h (20% gD; 80% hD))

9.4

§ 9 KI-MIG;

Zusammenarbeit der zuständigen Behörden (Neu)

Bund 1 BfDI

497.536 Euro = (441.600 / 60 * 67,60 Euro/h (100% hD))

1 BfDI

37.180 Euro = (33.000 / 60 * 67,60 Euro/h (100% hD))

9.5

§ 9 KI-MIG;

Zusammenarbeit der zuständigen Behörden (Neu)

Land 1 Länder

5.222.742 Euro = (5.261.236 / 60 * 47,29 Euro/h (84% gD; 16% hD) +1.076.011 Euro)

5.222 1 Länder 13.725 Euro = (0 +13.725 Euro)

Summe (in Tsd. Euro)

1.680 davon auf Landesebene (inklusive Kommunen)

5.222

Die Vorschrift sieht verschiedene Formen der Zusammenarbeit vor, die zu Aufwänden bei den betroffenen Behörden führen. So hat ein allgemeiner Austausch stattzufinden, bei dem die gegenseitige Information über konkrete Marktüberwachungstätigkeiten oder -prüfungen und Maßnahmen im Vordergrund steht. Aufgrund regelmäßiger Ermittlungen, die Erkenntnisse zu technischen, rechtlichen und normativen Entwicklungen des KI-Marktes hervorbringen, gibt es zudem Bedarf diese datenschutzrechtlich zu analysieren, zu bewerten und zu dokumentieren. Dies wird ebenfalls Bestandteil regelmäßiger Abstimmungen der Behörden sein.

Deutscher Bundestag – 21. Wahlperiode Darüber hinaus erfüllen die Behörden weitere Aufgaben. So entsteht für das Bundesamt für Sicherheit in der Informationstechnik zusätzlicher Aufwand aufgrund von ihr zu erstellender Fachgutachten. Die Bundesanstalt für Finanzdienstleistungsaufsicht stellt die Aufsichtskonvergenz sicher (KI-Gremium). Die Antidiskriminierungsstelle des Bundes informiert die zuständigen Marktüberwachungsbehörden über beabsichtigte Maßnahmen. Darüber hinaus teilt sie Beobachtungen und Feststellungen an die zuständigen Marktüberwachungsbehörden mit, die diese zur Erfüllung beidseitiger Aufgaben nach der Verordnung benötigen. Nach § 9 KI-MIG sollen die Landesbehörden eng mit Bundesbehörden zusammenzuarbeiten, Beobachtungen und Prüfberichte zu KI-Systemen austauschen und ggf. auch personenbezogene oder betriebsinterne Daten teilen, soweit dies erforderlich ist. Für die Länder entstehen somit Prüf-, Dokumentations- und ggf. Meldepflichten für behördliche Stellungnahmen gegenüber der von der KI-Marktüberwachung zur Stellungnahme aufgeforderten Rechts- oder Fachaufsichtsbehörde. Hier werden Verdachtsmeldungen der KI-Marktüberwachungsbehörden an die zuständige Rechts- und Fachaufsichtsbehörde erfolgen, die einen Prüfungs- und Stellungnahmeaufwand für die jeweilige Landesbehörde verursacht. Diese Aufgaben erfordern den Aufbau neuer Koordinations- und Kommunikationsstrukturen, was zu den ausgewiesenen Sachkosten führt.

Vorgabe 10: Zusammenarbeit der Marktüberwachungsbehörden mit dem Bundesamt für Sicherheit in der Informationstechnik nach § 10 KI-MIG

Erfüllungsaufwand der Verwaltung lfd. Nr.

Artikel Regelungsentwurf; Norm (§§); Bezeichnung der Vorgabe

Bund/ Land

Jährliche Fallzahl und Einheit

Jährlicher Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Jährlicher Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)“

Einmalige Fallzahl und Einheit

Einmaliger Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Einmaliger Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)

§ 10 KI- MIG; Zusammenarbeit der Marktüberwachungsbehörden mit dem BSI (Neu)

Bund

1 BSI

321.323 Euro = (306.460 / 60 * 62,91 Euro/h (8% mD; 8% gD; 85% hD))

Summe (in Tsd. Euro)

davon auf Bundesebene davon auf Landesebene (inklusive Kommunen)

Das Bundesamt für Sicherheit in der Informationstechnik nimmt die Aufgaben nach § 10 wahr. Sie teilt den zuständigen Marktüberwachungsbehörden Informationen über Verdachtsfälle hinsichtlich der Nichtkonformität der Hochrisiko-KI-Systeme mit den Anforderungen der Cybersicherheit mit, arbeitet an der Erstellung von Normen und Leitlinien der Europäischen Kommission, Gremienkoordination und gemeinsamen Spezifikationen mit.

Vorgabe 11: Innovationsfördernde Maßnahmen nach § 12 KI-MIG

Erfüllungsaufwand der Verwaltung lfd. Nr.

Artikel Regelungsentwurf; Norm (§§); Bezeichnung der Vorgabe

Bund/ Land

Jährliche Fallzahl und Einheit

Jährlicher Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Jährlicher Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)“

Einmalige Fallzahl und Einheit

Einmaliger Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Einmaliger Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)

§ 12 KI- MIG; Innovationsfördernde Maßnahmen (Neu)

Bund 1 BNetzA

178.514 Euro = (184.320 / 60 * 58,11 Euro/h (35% gD; 65% hD))

Summe (in Tsd. Euro)

davon auf Bundesebene davon auf Landesebene (inklusive Kommunen)

Die Vorschrift sieht vor, dass die Bundesnetzagentur innovationsfördernde Maßnahmen gemäß der Verordnung (EU) 2024/1689 durchführen soll. Die Bundesnetzagentur stellt Informationen zur Verfügung, führt Sensibilisierungs- und Schulungsmaßnahmen sowie Studien, Analysen und Fachveranstaltungen durch und fördert Wissensaufbau und Vernetzung.

Vorgabe 12: Wahrnehmung von Aufsichtsaufgaben im KI-Reallabor nach § 13 KI-MIG

Erfüllungsaufwand der Verwaltung lfd. Nr.

Artikel Regelungsentwurf; Norm (§§); Bezeichnung der Vorgabe

Bund/ Land

Jährliche Fallzahl und Einheit

Jährlicher Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Jährlicher Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)“

Einmalige Fallzahl und Einheit

Einmaliger Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Einmaliger Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)

§ 13 KI- MIG; Wahrnehmung von Aufsichtsaufgaben im KI- Reallabor (Neu)

Bund 1 BNetzA

2.541.897,8 Euro = (319.680 / 60 * 64,17 Euro/h (13% gD; 87% hD) +2.200.000 Euro)

2.542

Summe (in Tsd. Euro)

2.542

Artikel Regelungsentwurf; Norm (§§); Bezeichnung der Vorgabe

Bund/ Land

Jährliche Fallzahl und Einheit

Jährlicher Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Jährlicher Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)“

Einmalige Fallzahl und Einheit

Einmaliger Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Einmaliger Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)

davon auf Bundesebene

2.542 davon auf Landesebene (inklusive Kommunen)

Die Bundesnetzagentur betreibt nach § 13 Absatz 1 mindestens ein KI-Reallabor nach den Artikeln 57 und 58 der Verordnung (EU) 2024/1689. Das KI-Reallabor soll insbesondere für kleinen und mittleren Unternehmen sowie Start-up-Unternehmens nützlich sein. Für die Einrichtung und den Betrieb des Labors fallen jährliche Sachkosten an. Neben den Aufwänden für den Betrieb entstehen für die Bundesnetzagentur auch Personalaufwände für die Kooperation mit beteiligten Akteuren. Die Pflicht zur Kooperation umfasst insbesondere die enge Zusammenarbeit mit der zuständigen Datenschutzaufsichtsbehörde, die auch die Prüfung der datenschutzrechtlichen Vorgaben nach Artikel 59 der Verordnung (EU) 2024/1689 übernimmt.

Vorgabe 13: Test von Hochrisiko-KI-Systemen unter Realbedingungen außerhalb von KI-Reallaboren nach § 14 KI-MIG

Erfüllungsaufwand der Verwaltung lfd. Nr.

Artikel Regelungsentwurf; Norm (§§); Bezeichnung der Vorgabe

Bund/ Land

Jährliche Fallzahl und Einheit

Jährlicher Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Jährlicher Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)“

Einmalige Fallzahl und Einheit

Einmaliger Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Einmaliger Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)

13.1

§ 14 KI- MIG; Test von Hochrisiko-KI-Systemen (Neu)

Bund 1.0 BNetzA

535.164,0 Euro = (552.000 / 60 * 58,17 Euro/h (17% mD; 13% gD; 70% hD))

13.2

§ 14 KI- MIG; Test von Hochrisiko-KI-Systemen (Neu)

Land 1.0 Länder

293.625,4 Euro = (153.833,50 / 60 * 68,74 Euro/h (2% gD; 98% hD) +117.383,50 Euro)

1.0 Länder

7.079,3 Euro = (3.137,06 / 60 * 43,20 Euro/h (100% gD) +4.820,61 Euro)

Summe (in Tsd. Euro)

lfd. Nr.

Artikel Regelungsentwurf; Norm (§§); Bezeichnung der Vorgabe

Bund/ Land

Jährliche Fallzahl und Einheit

Jährlicher Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Jährlicher Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)“

Einmalige Fallzahl und Einheit

Einmaliger Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Einmaliger Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)

davon auf Bundesebene davon auf Landesebene (inklusive Kommunen)

Um Hochrisiko-KI-Systeme unter Realbedingungen testen zu können, müssen Anbieter oder künftige Anbieter Pläne für die entsprechenden Tests den jeweils zuständigen Marktüberwachungsbehörden vorlegen. Hieraus entstehen der BNetzA Aufwände, da sie den Plan für den Test prüfen und sowohl den Plan als auch den Test unter Realbedingungen selbst genehmigen muss. Für die Überwachung der Durchführung von Tests unter Realbedingungen außerhalb von KI-Reallaboren für Hochrisiko-KI-Systeme entstehen auch für die Länder Aufwände. So muss die Durchführung der Tests unter Realbedingungen sowie der Plan für den Test unter Realbedingungen, wenn die Vorgaben des Artikels 60 Absatz 4 der Verordnung (EU) 2024/1689 eingehalten sind, genehmigt werden.

Vorgabe 14: Für das Bußgeldverfahren zuständigen Verwaltungsbehörden nach § 17 KI-MIG

Erfüllungsaufwand der Verwaltung lfd. Nr.

Artikel Regelungsentwurf; Norm (§§); Bezeichnung der Vorgabe

Bund/ Land

Jährliche Fallzahl und Einheit

Jährlicher Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Jährlicher Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)“

Einmalige Fallzahl und Einheit

Einmaliger Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Einmaliger Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)

14.1

§ 17 KI- MIG; Für das Bußgeldverfahren zuständigen Verwaltungsbehörden (Neu)

Bund 1.0 BNetzA

143.424 Euro = (159.360 / 60 * 54,00 Euro/h (50% gD; 50% hD))

14.2

§ 17 KI- MIG; Für das Bußgeldverfahren zuständigen Verwaltungsbehörden (Neu)

Land 1.0 Länder

10.332 Euro = (0 +10.332,69 Euro)

1.0 Länder

4.653 Euro = (0 +4.653,30 Euro)

Summe (in Tsd. Euro)

Artikel Regelungsentwurf; Norm (§§); Bezeichnung der Vorgabe

Bund/ Land

Jährliche Fallzahl und Einheit

Jährlicher Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Jährlicher Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)“

Einmalige Fallzahl und Einheit

Einmaliger Aufwand pro Fall (Minuten * Lohnkosten pro Stunde (Hierarchieebene) + Sachkosten in Euro)

Einmaliger Erfüllungsaufwand (in Tsd. Euro) oder „geringfügig“ (Begründung)

davon auf Bundesebene davon auf Landesebene (inklusive Kommunen)

§ 17 Absatz 1 legt die zuständigen Verwaltungsbehörden für das Bußgeldverfahren fest. Für diese Verwaltungsbehörden entsteht Erfüllungsaufwand, da sie bei Verstößen gegen die Verordnung (EU) 2024/1689 Ordnungswidrigkeiten sanktionieren. Bei der Überwachung der Transparenzstellen entsteht auf Bundesebene nur bei der Bundesnetzagentur Erfüllungsaufwand. Auf Länderebene entstehen den Marktüberwachungsbehörden ebenfalls Aufwände durch die Sanktionierung von Ordnungswidrigkeiten.

5.

Weitere Kosten

Für die Wirtschaft entstehen durch dieses Gesetz keine über die Verordnung (EU) 2024/1689 hinausgehenden weiteren Kosten. Preisauswirkungen sind nicht zu erwarten.

6.

Weitere Gesetzesfolgen

Dieses Gesetz dient der Durchführung der Verordnung (EU) 2024/1689. Aus ihm ergeben sich keine über die Verordnung (EU) 2024/1689 hinausgehenden Gesetzesfolgen. Mit der Einrichtung einer zentralen Beschwerdestelle wird dem nach Artikel 85 der Verordnung (EU) 2024/1689 vorgesehenen Recht der Beschwerde bei der zuständigen Marktüberwachungsbehörde Geltung verschafft. Dadurch werden die Rechte der Verbraucherinnen und Verbraucher gestärkt.

VIII.

Befristung; Evaluierung

Eine Befristung des Gesetzes zur Durchführung der Verordnung über künstliche Intelligenz kommt nicht in Betracht, da die Regelungen zur Durchführung der Verordnung (EU) 2024/1689 auf Dauer angelegt sind. Eine Evaluierung ist auf Ebene der Europäischen Union in Artikel 112 der Verordnung (EU) 2024/1689 vorgesehen. Artikel 112 der Verordnung (EU) 2024/1689 enthält verschiedene Evaluierungsaufträge an die Europäische Kommission. Gemäß Absatz 2 Buchstabe c zählt dazu unter anderem, dass die Europäische Kommission bis zum 2. August 2028 und danach alle vier Jahre Änderungen zur Verbesserung der Wirksamkeit des Überwachungsund Governance-Systems bewertet und dem Europäischen Parlament und dem Rat dazu Bericht erstattet. In den Berichten soll insbesondere auch auf folgende Aspekte eingegangen werden: den Sachstand bezüglich der finanziellen, technischen und personellen Ressourcen der zuständigen nationalen Behörden im Hinblick auf deren Fähigkeit, die ihnen auf der Grundlage der Verordnung (EU) 2024/1689 übertragenen Aufgaben wirksam zu erfüllen, und den Stand der Sanktionen, insbesondere der Bußgelder nach Artikel 99 Absatz 1 der Verordnung (EU) 2024/1689, die Mitgliedstaaten bei Verstößen gegen die Verordnung (EU) 2024/1689 verhängt haben (vgl. Artikel 112 Absatz 4 Buchstabe a und b der Verordnung (EU) 2024/1689). Gemäß Artikel 112 Absatz 13 der Verordnung (EU) 2024/1689 nimmt die Europäische Kommission zudem bis zum 2. August 2031 unter Berücksichtigung der ersten Jahre der Anwendung der Verordnung (EU) 2024/1689 eine Bewertung der Durchsetzung der Verordnung vor und erstattet dem Europäischen Parlament, dem Rat und dem Europäischen Wirtschafts- und Sozialausschuss darüber Bericht. Auf Grundlage der Ergebnisse wird dem Bericht gegebenenfalls ein Vorschlag zur Änderung der Verordnung (EU) 2024/1689 beigefügt, der die Struktur der Durchsetzung und die Notwendigkeit einer Agentur der Union für die Lösung festgestellter Mängel betrifft. Soweit sich aus den Evaluierungen auf Ebene der Europäischen Union Änderungsbedarf ergeben sollte, ist das Durchführungsgesetz entsprechend anzupassen. Eine umfassende Evaluierung der mit diesem Gesetz festgelegten nationalen Aufsichts- und Behördenstruktur soll spätestens nach drei Jahren erfolgen. Dabei soll evaluiert werden, ob mit der Aufsichts- und Behördenstruktur, einschließlich der Kooperationsvorschriften, eine innovationsfreundliche und bürokratiearme Durchführung der Verordnung (EU) 2024/1689 erreicht wurde. Kriterien könnten dabei Einschätzungen zur Innovationsfreundlichkeit aus Unternehmensperspektive sowie Einschätzungen der zuständigen Behörden zu deren finanziellen, technischen und personellen Ressourcen und deren Zusammenarbeit mit dem Koordinierungs- und Kompetenzzentrum sowie der bürokratiearmen Durchführung der Verordnung (EU) 2024/1689 sein. Für die Zwecke der Evaluierung sollen insbesondere die Bundesnetzagentur sowie weitere repräsentativ aus den verschiedenen von der Verordnung (EU) 2024/1689 betroffenen Bereichen ausgewählte zuständige Behörden befragt werden und die an die Europäische Kommission zur Ausarbeitung des Berichts nach Artikel 112 Absatz 2 Buchstabe c und Absatz 13 der Verordnung (EU) 2024/1689 übermittelten Informationen ausgewertet werden.

B. Besonderer Teil

Zu Artikel 1 (Gesetz zur Marktüberwachung und Innovationsförderung von künstlicher Intelligenz – KI-

Marktüberwachungs-und-Innovationsförderungs-Gesetz)

Zu Teil 1 (Allgemeine Vorschriften)

Zu § 1 (Anwendungsbereich)

§ 1 regelt den sachlichen Anwendungsbereich des Gesetzes. Dieser ergibt sich aus jenen Regelungen der Verordnung (EU) 2024/1689, die einer Durchführung durch nationale Vorschriften bedürfen. Nach Artikel 2 Absatz 1 der Verordnung (EU) 2024/1689 gilt diese unter den dort genannten Voraussetzungen u. a. für Anbieter, Betreiber, Einführer und Händler von KI-Systemen gemäß Artikel 3 Nummer 1 der Verordnung (EU) 2024/1689 sowie für Bevollmächtigte von Anbietern, die sich nicht in der Europäischen Union befinden, und für Produkthersteller, die solche KI-Systeme zusammen mit ihrem Produkt unter ihrem eigenen Namen oder ihrer Handelsmarke in Verkehr bringen oder in Betrieb nehmen. Ergänzend zu der insoweit anwendbaren Verordnung (EU) 2024/1689 legt das vorliegende Gesetz die zuständigen nationalen Behörden fest, trifft verfahrensrechtliche Festlegungen zu den von diesen Behörden zu ergreifenden Maßnahmen, regelt die durchführungsbedürftigen Einzelheiten zur Innovationsförderung und trifft notwendige Festlegungen zu den Sanktionen bei Verstößen gegen die Vorschriften der Verordnung (EU) 2024/1689. Die Beaufsichtigung und Durchsetzung der in Kapitel V der Verordnung (EU) 2024/1689 geregelten Anforderungen an KI-Modelle mit allgemeinem Verwendungszweck liegt dabei ausschließlich bei der Europäischen Kommission, die die Durchführung dieser Aufgaben mit Artikel 88 Absatz 1 Satz 2 der Verordnung (EU) 2024/1689 dem Büro für Künstliche Intelligenz übertragen hat.

Zu Teil 2 (Zuständige Behörden und Zusammenarbeit)

Zu Abschnitt 1 (Zuständige Stellen)

Die §§ 2 und 3 dienen der Durchführung von Artikel 70 Absatz 1 Satz 1 und Artikel 28 Absatz 1 und 2 der Verordnung (EU) 2024/1689. Danach muss jeder Mitgliedstaat für die Zwecke dieser Verordnung mindestens eine notifizierende Behörde und mindestens eine Marktüberwachungsbehörde als zuständige nationale Behörden einrichten oder benennen. Diese Behörden üben ihre Befugnisse gemäß Artikel 70 Absatz 1 Satz 2 der Verordnung (EU) 2024/1689 unabhängig, unparteiisch und unvoreingenommen aus, um die Objektivität ihrer Tätigkeiten und Aufgaben zu gewährleisten und die Anwendung und Durchführung der Verordnung sicherzustellen. Die Verordnung (EU) 2024/1689 ist im Kern eine Produktregulierung und greift mit dem System der nachträglichen Marktüberwachung und der Konformitätsbewertung und Notifizierung auf bekannte Regulierungskonzepte aus Marktüberwachungsbehörden, notifizierenden Behörden und notifizierten Stellen zurück. Das System der Marktüberwachung wird durch die Verordnung (EU) 2024/1689 zudem auf neue Bereiche erstreckt, die von ihm bisher nicht erfasst waren. Dies gilt vor allem für Bereiche, in denen systematisch anders gelagerte Aufsichtsstrukturen bestehen (u. a. der Finanzdienstleistungsbereich und der Bereich der Medienauf- Drucksache 21/4594 Deutscher Bundestag – 21. Wahlperiode sicht) und Bereiche wie den in Anhang III genannten (Hochrisiko-KI-Systeme in den Bereichen Biometrie, Kritische Infrastruktur, KI am Arbeitsplatz und in Bildungseinrichtungen, Gewährung grundlegender öffentlicher Leistungen, Strafverfolgung, Migration, Asyl, Grenzkontrolle und Justiz), in denen nicht auf bestehende Aufsichtsstrukturen zurückgegriffen werden kann. Vor diesem Hintergrund werden in den §§ 2 und 3 einerseits die bereits bestehenden Behörden als Marktüberwachungsbehörden und notifizierende Behörden gemäß der Verordnung (EU) 2024/1689 benannt oder den nach Landesrecht zuständigen Behörden die Marktüberwachung über KI-Systeme von öffentlichen Stellen der Länder übertragen. Andererseits wird mit der Bundesnetzagentur ergänzend eine zentrale Behörde benannt, der über ihre Aufgaben als Marktüberwachungsbehörde (§ 2 Absatz 1) und notifizierende Behörde (§ 3 Absatz 1) hinaus auch eine Koordinierungs- und Kompetenzfunktion zukommen soll (§ 5), wodurch die Gefahr einer uneinheitlichen Auslegung und Anwendung der Verordnung (EU) 2024/1689 deutlich reduziert sowie der begrenzten Verfügbarkeit von KI-Fachkräften begegnet werden soll. Für die Überwachung bestimmter Hochrisiko-KI-Systeme wird gemäß Artikel 74 Absatz 8 der Verordnung (EU) 2024/1689 bei der Bundesnetzagentur zudem eine Unabhängige KI-Marktüberwachungskammer eingerichtet (§ 4). Die Bundesnetzagentur wird auch Zentrale Anlaufstelle (§ 6) und Zentrale Beschwerdestelle (§ 8).

Zu § 2 (Zuständige Marktüberwachungsbehörden)

§ 2 legt die jeweils zuständige Marktüberwachungsbehörde fest. Inhaltlich umfassen die Aufgaben der Marktüberwachung die Aufsicht über die Einhaltung der Vorschriften zu verbotenen Praktiken im KI-Bereich (Kapitel II der Verordnung (EU) 2024/1689), zu Hochrisiko-KI-Systemen (Kapitel III der Verordnung (EU) 2024/1689) und zu Transparenzpflichten für Anbieter und Betreiber bestimmter KI-Systeme (Kapitel IV der Verordnung (EU) 2024/1689). Die Zuständigkeit der Marktüberwachungsbehörden nach dieser Vorschrift erstreckt sich auch auf die Prüfung eines KI-Systems im Hinblick auf seine Einstufung als Hochrisiko-KI-System auf der Grundlage der in Artikel 6 der Verordnung (EU) 2024/1689 festgelegten Bedingungen und der Leitlinien der Kommission.

Zu Absatz 1

§ 2 Absatz 1 benennt die Bundesnetzagentur als Marktüberwachungsbehörde gemäß Artikel 70 Absatz 1 Satz 1 der Verordnung (EU) 2024/1689, soweit diese Aufgabe keiner anderen Behörde zugewiesen wird. Das betrifft die Bereiche, in denen nicht bereits bestehende Behörden benannt werden (vgl. hierzu die Absätze 2 bis 7) und damit vor allem die in Anhang III der Verordnung (EU) 2024/1689 genannten Bereiche. Die Benennung der Bundesnetzagentur als Marktüberwachungsbehörde für die in Artikel 74 Absatz 8 Satz 1 der Verordnung (EU) 2024/1689 genannten Bereiche hat gemäß Artikel 43 Absatz 1 Unterabsatz 2 Satz 2 der Verordnung (EU) 2024/1689 auch zur Folge, dass die Bundesnetzagentur die Funktion der notifizierten Stelle übernimmt, wenn ein Hochrisiko-KI-System im Sinne der Verordnung (EU) 2024/1689 von Strafverfolgungs-, Einwanderungs- oder Asylbehörden in Betrieb genommen werden soll. Die Bundesnetzagentur bedarf insoweit jedoch nicht der Anerkennung als notifizierte Stelle. Bei KI-Systemen, die in den Anwendungsbereich der Verordnung (EU) 2024/2847 (Cyberresilienz-Verordnung) fallen und nach Artikel 6 der Verordnung (EU) 2024/1689 als Hochrisiko-KI-Systeme eingestuft sind, sind die für die Zwecke der Verordnung (EU) 2024/1689 benannten Marktüberwachungsbehörden auch für die nach der Verordnung (EU) 2024/2847 erforderlichen Marktüberwachungstätigkeiten zuständig. Das ergibt sich aus Artikel 52 Absatz 14 der Verordnung (EU) 2024/2847. Diese Vorschrift regelt den Fall, dass es unterschiedliche Marktüberwachungsbehörden nach der Verordnung (EU) 2024/1689 einerseits und nach der Verordnung (EU) 2024/2847 andererseits gibt. Fällt ein Produkt unter beide Verordnungen, ist die Bundesnetzagentur nach § 2 Absatz 1 oder jede andere nach diesem Gesetz zuständige Marktüberwachungsbehörde in solchen Fällen wegen der Regelung in Artikel 52 Absatz 14 Satz 1 Verordnung (EU) 2024/2847 auch für die Überwachung der Pflichten aus der Verordnung (EU) 2024/2847 zuständig. Sie arbeitet in diesem Fall gemäß Artikel 52 Absatz 14 Satz 2 der Verordnung (EU) 2024/2847 mit der unter der Verordnung (EU) 2024/2847 zu benennenden Marktüberwachungsbehörde zusammen. Die nach diesem Gesetz zuständige Marktüberwachungsbehörde unterrichtet insbesondere die nach der Verordnung (EU) 2024/2847 zu benennende Marktüberwachungsbehörde über alle Erkenntnisse, die für die Wahrnehmung ihrer Aufgaben im Zusammenhang mit der Durchführung der Verordnung (EU) 2024/2847 von Bedeutung sind. Einer gesetzgeberischen Entscheidung im Zusammenhang mit der Benennung einer Marktüberwachungsbehörde nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 wird nicht vorgriffen.

Zu Absatz 2

§ 2 Absatz 2 benennt die zuständigen Marktüberwachungsbehörden für den Anwendungsbereich des Anhang I

Abschnitt A der Verordnung (EU) 2024/1689. Dazu orientiert sich § 2 Absatz 2 an Artikel 74 Absatz 3 Unterabsatz 1 der Verordnung (EU) 2024/1689. Danach gilt bei Hochrisiko-KI-Systemen und damit in Zusammenhang stehenden Produkten, auf die die in Anhang I Abschnitt A der Verordnung (EU) 2024/1689 aufgeführten Harmonisierungsrechtsvorschriften der Europäischen Union Anwendung finden, als Marktüberwachungsbehörde für die Zwecke der Verordnung (EU) 2024/1689 die in jenen Rechtsakten für die Marktüberwachung benannte Behörde. Von der in Artikel 74 Absatz 3 Unterabsatz 2 der Verordnung (EU) 2024/1689 genannten Abweichungsoption wird kein Gebrauch gemacht. Damit werden die Behörden, die in den in Anhang I Abschnitt A der Verordnung (EU) 2024/1689 genannten Harmonisierungsvorschriften der Europäischen Union als Marktüberwachungsbehörden benannt sind, auch nach der Verordnung (EU) 2024/1689 als solche Behörden benannt. Dies berücksichtigt, dass die Verordnung (EU) 2024/1689 im Kern eine Produktregulierung ist, mit der auf bekannte Regulierungskonzepte zurückgegriffen wird. Bestehende Behördenstrukturen werden genutzt. Der begrenzten Verfügbarkeit von KI-Fachkräften wird durch das in § 5 eingerichtete Koordinierungs- und Kompetenzzentrum für die KI-Verordnung begegnet. Die Marktüberwachung durch eine gemäß § 2 Absatz 2 benannte Behörde bezieht sich auf alle KI-Systeme, die als Produkt unter eine in Anhang I aufgeführte Harmonisierungsrechtsvorschrift fallen, für die diese Behörde bereits Marktüberwachungsbehörde ist, und alle KI-Systeme, die als Sicherheitsbauteil eines unter diese Harmonisierungsrechtsvorschrift der Union fallenden Produktes verwendet wird (vgl. Artikel 6 Absatz 1 der Verordnung (EU) 2024/1689).

Zu Absatz 3

Um eine kohärente Anwendung und Durchsetzung der Pflichten aus der Verordnung (EU) 2024/1689 betreffend KI-Systeme sowie der einschlägigen Anforderungen aller sektoralen Aufsichtsgesetze im Finanzmarktbereich zu gewährleisten, soll die Bundesanstalt für Finanzdienstleistungsaufsicht für die in § 2 Absatz 3 genannten Institute Marktüberwachungsbehörde im Sinne des Artikels 70 Absatz 1 Satz 1 der Verordnung (EU) 2024/1689 werden, sofern das Inverkehrbringen, die Inbetriebnahme oder die Verwendung des KI-Systems mit der Erbringung der regulierten Finanztätigkeit in direktem Zusammenhang steht. KI-Systeme, die in direktem Zusammenhang mit der Erbringung einer regulierten Finanztätigkeit in Verkehr gebracht, in Betrieb genommen oder verwendet werden, sind insbesondere solche gemäß Anhang III Nummer 5 Buchstabe b und c der Verordnung (EU) 2024/1689, d. h. KI-Systeme, die bestimmungsgemäß für die Kreditwürdigkeitsprüfung und Bonitätsbewertung oder die Risikobewertung und Preisbildung im Fall von Lebens- und Krankenversicherungen verwendet werden sollen. Darüber hinaus kann es weitere KI-Systeme geben, die einen direkten Zusammenhang zur Erbringung einer regulierten Finanztätigkeit haben. Die Zuständigkeit der Bundesanstalt für Finanzdienstleistungsaufsicht soll über Artikel 74 Absatz 6 der Verordnung (EU) 2024/1689 hinaus auch auf Unternehmen erweitert werden, die auf rein nationaler Ebene und somit nicht auf Grundlage des Unionsrechts im Finanzmarktbereich von der Bundesanstalt für Finanzdienstleistungsaufsicht beaufsichtigt werden. Ferner soll die Bundesanstalt für Finanzdienstleistungsaufsicht zuständige Marktüberwachungsbehörde werden, soweit die Europäische Zentralbank zuständige Aufsichtsbehörde gemäß Artikel 4 Absatz 1 Buchstabe a bis i und Artikel 4 Absatz 2 der Verordnung (EU) Nr. 1024/2013 des Rates vom 15. Oktober 2013 zur Übertragung besonderer Aufgaben im Zusammenhang mit der Aufsicht über Kreditinstitute auf die Europäische Zentralbank (ABl. L 287 vom 29.10.2013, S. 63) für ein in der Bundesrepublik Deutschland niedergelassenes Kreditinstitut oder gemäß Artikel 4 Absatz 2 der Verordnung (EU) Nr. 1024/2013 für eine in der Bundesrepublik errichtete Zweigstelle ist. Die Verordnung (EU) 2024/1689 sieht für die Europäische Zentralbank keine Marktüberwachungsaufgaben vor. Diese Aufgabe soll grundsätzlich von nationalen Behörden übernommen werden, vgl. Artikel 70 Absatz 1 Satz 1 der Verordnung (EU) 2024/1689. Ferner soll die Bundesanstalt für Finanzdienstleistungsaufsicht zuständig sein für die im Inland geschäftsansässigen Emittenten signifikanter vermögenswertereferenzierter Token nach Artikel 3 Absatz 1 Nummer 6 der Verordnung (EU) 2023/1114, soweit die Zuständigkeit für die Beaufsichtigung in Bezug auf den Emittenten auf die Europäische Bankenaufsichtsbehörde nach Artikel 43 Absatz 10 oder Artikel 44 Absatz 4 der Verordnung (EU)

Deutscher Bundestag – 21. Wahlperiode 2023/1114 übertragen ist. Denn eine Zuständigkeit der Europäischen Bankenaufsichtsbehörde als Marktüberwachungsbehörde ist nach der Verordnung (EU) 2024/1689 und der Verordnung (EU) Nr. 1093/2010 nicht vorgesehen.

Zu Absatz 4

Steht das Inverkehrbringen, die Inbetriebnahme oder die Verwendung eines Hochrisiko-KI-Systems in direktem Zusammenhang mit der Erbringung von Finanzdienstleistungen, welche von Finanzinstituten erbracht werden, die nicht von der Bundesanstalt für Finanzdienstleistungsaufsicht nach Absatz 3 überwacht werden, so obliegt die Marktüberwachung betreffend die Verordnung (EU) 2024/1689 einschließlich der auf Grundlage dieser Verordnung erlassenen Regelungen derjenigen Aufsichtsbehörde, die gemäß Gesetz oder durch entsprechende Vereinbarung zwischen ihr und der Bundesanstalt für Finanzdienstleistungsaufsicht zuständige Finanzaufsichtsbehörde ist. Die Regelung orientiert sich an Artikel 74 Absatz 6 der Verordnung (EU) 2024/1689. Von der in Artikel 74 Absatz 7 der Verordnung (EU) 2024/1689 geregelten Abweichungsmöglichkeit wird kein Gebrauch gemacht.

Zu Absatz 5

Für bestimmte Hochrisiko-KI Systeme gemäß Artikel 74 Absatz 8 der Verordnung (EU) 2024/1689 wird eine unabhängige Stelle innerhalb der Bundesnetzagentur als zuständige Marktüberwachungsbehörde benannt, da besondere Anforderungen nach den Artikeln 41 bis 44 der Richtlinie (EU) 2016/680 an deren Unabhängigkeit bestehen. Eine Übertragung dieser Teilaufgabe auf die Datenschutzbehörden, wie es die Verordnung (EU) 2024/1689 als Alternative vorsieht, erscheint wenig sachgerecht. Bei der Aufteilung der Zuständigkeiten auf verschiedene Behörden ergeben sich Abgrenzungsschwierigkeiten, die zu unklaren Zuständigkeiten und auseinanderfallenden Ansprechpartnern für Unternehmen und Verwaltungen führen können. Unterschiedliche Auslegungen der Verordnung (EU) 2024/1689 durch verschiedene Behörden sollen vermieden werden. Die Gefahr einer unterschiedlichen Auslegung bestünde jedoch bei Benennung einer anderen Behörde als der Bundesnetzagentur, da sich die Datenschutzbehörden primär auf den Grundrechtsschutz fokussieren und keine Erfahrung mit Produktregulierung haben. Die Verordnung (EU) 2024/1689 hat neben dem Grundrechtsschutz vor allem das Ziel, einheitliche Marktregeln und Rechtssicherheit zu schaffen, um Innovationen zu fördern. Schließlich gibt es absehbar einen Mangel an KI-Fachkräften. Bei einer Aufteilung der Marktüberwachung auf verschiedene Behörden würden diese um knappe Ressourcen konkurrieren und müssten jeweils getrennt Kompetenzen aufbauen. Dies wäre ineffizient und unwirtschaftlich. Es ist daher sachgerecht, eine unabhängige Stelle innerhalb der Bundesnetzagentur zu schaffen, die zuständige Marktüberwachungsbehörde für diesen Teilbereich wird. Der Begriff der „Behörde“ ist dabei weit auszulegen, die englische Sprachfassung spricht insoweit von „authority“. Eine rein organisatorische Eingliederung der unabhängigen Stelle in eine bereits bestehende staatliche Einrichtung ist unschädlich, sofern sichergestellt ist, dass keine Weisungen und Aufsicht möglich sind. Um es dieser unabhängigen Einheit zu ermöglichen, auf Erfahrungen, Personal und Kompetenzen aus den bestehenden Marktüberwachungstätigkeiten der Bundesnetzagentur zuzugreifen und so eine effektive Aufsicht zu gewährleisten, soll diese Stelle nach dem Vorbild der bereits bei der Bundesnetzagentur aufgrund anderer Gesetze bestehenden Spruchkammern gestaltet werden. § 2 Absatz 5 regelt die Einrichtung der unabhängigen Stelle. Diese soll für das gesamte Verfahren, nicht nur finale Entscheidungen zur Marktüberwachung, zuständig sein, um auch initiativ zur Einleitung von Verfahren tätig werden zu können. Absatz 5 bestimmt, dass die KI-Marktüberwachungskammer vorbehaltlich des Absatzes 6 eingerichtet wird. Das bedeutet, dass die Regelungen in § 2 Absatz 6 Vorrang haben und die Länder in den dort genannten Anwendungsbereichen die zuständigen Behörden benennen und die nach dieser Vorschrift einzurichtende Kammer insoweit nicht zuständig ist. Dabei haben sie die Vorgaben gemäß Artikel 74 Absatz 8 der Verordnung (EU) 2024/1689 zu beachten.

Zu Absatz 6

Zu Satz 1

Gemäß § 2 Absatz 6 Satz 1 wird die Marktüberwachung über KI-Systeme, die von öffentlichen Stellen der Länder in Verkehr gebracht, in Betrieb genommen oder verwendet werden, von der Zuständigkeit der Bundesnetzagentur nach § 2 Absatz 1 dieses Gesetzes ausgenommen. Die Marktüberwachung obliegt insoweit den nach Landesrecht zu benennenden zuständigen Behörden. Grund hierfür ist, dass öffentliche Stellen der Länder wegen der Eigenstaatlichkeit der Länder nicht durch eine Bundesbehörde beaufsichtigt werden dürfen. Dies gilt auch für Behörden der Länder und Kommunen, die Abgabenangelegenheiten verwalten. Soweit einschlägig, haben die Länder in diesem Bereich die besonderen Voraussetzungen an die Unabhängigkeit ihrer Marktüberwachungsbehörden nach Artikel 74 Absatz 8 der Verordnung (EU) 2024/1689 zu beachten.

Zu Satz 2

Im Interesse einer einheitlichen Anwendung und Durchsetzung der Verordnung (EU) 2024/1689 sollen die Länder gemäß § 2 Absatz 6 Satz 2 einheitliche Ansprechpartner für die jeweils durch sie beaufsichtigten Bereiche benennen und dadurch die Koordinierung der Zusammenarbeit durch das Koordinierungs- und Kompetenzzentrum nach § 5 Satz 2 Nummer 2 zu erleichtern.

Zu Absatz 7

Zu Satz 1

Um den verfassungsrechtlichen Besonderheiten der Bundesfinanzverwaltung nach Artikel 108 des Grundgesetzes Rechnung zu tragen, regelt diese Vorschrift, dass Maßnahmen der Bundesnetzagentur zur Durchsetzung der Verordnung (EU) 2024/1689 gemäß § 11 dieses Gesetzes gegenüber den Bundesfinanzbehörden nach § 1 des Finanzverwaltungsgesetzes bei der Verwaltung von Abgabenangelegenheiten im Einvernehmen mit dem Bundesministerium der Finanzen als zuständiger Rechts- und Fachaufsichtsbehörde erfolgen müssen. Hierdurch wird die nach Artikel 108 Absatz 1 und 4 Satz 1 zweite Alternative des Grundgesetzes geschützte Verwaltungshoheit der Bundesfinanzverwaltung, welche sich in § 1 des Finanzverwaltungsgesetzes manifestiert, gewahrt. Die Regelung betrifft nicht Maßnahmen der Bundesnetzagentur im Vorfeld der Durchsetzung, die der Ermittlung möglicher unionsrechtlicher Verstöße dienen. Solche Ermittlungsmaßnahmen erfassen etwa Maßnahmen, soweit sie zur Feststellung eines Sachverhalts nach Artikel 16 Absatz 1 in Verbindung mit Artikel 14 Absatz 4 der Verordnung (EU) 2019/1020 erfolgen.

Zu Satz 2

Die Bundesnetzagentur kann dem Bundesministerium der Finanzen eine angemessene Frist zur Mitteilung des Einvernehmens setzen. Diese Regelung stellt sicher, dass die Bundesnetzagentur ihre Aufgaben gemäß Artikel 70 Absatz 3 der Verordnung (EU) 2024/1689 wirksam erfüllen kann.

Zu Satz 3

Wird binnen der von der Bundesnetzagentur gesetzten Frist kein Einvernehmen erzielt, geht die Zuständigkeit für die Marktüberwachung bezüglich dieses Sachverhalts auf das Bundesministerium der Finanzen über. Hiermit wird sichergestellt, dass bei Meinungsverschiedenheiten über die rechtlich notwendigen oder zweckmäßigen Durchsetzungsmaßnahmen ein potentiell unionsrechtswidriger Zustand ausgeschlossen wird. Das Bundesministerium der Finanzen hat seine Befugnisse als Marktüberwachungsbehörde gemäß Artikel 70 Absatz 1 der Verordnung (EU) 2024/1689 und Artikel 11 Absatz 2 der Verordnung (EU) 2019/1020 unabhängig, unparteiisch und unvoreingenommen auszuüben.

Zu Absatz 8

Zu Satz 1

Zum Schutz der Medienfreiheiten nach Artikel 5 Absatz 1 GG obliegt die Marktüberwachung zur Einhaltung der Verordnung (EU) 2024/1689 den nach Landesrecht zuständigen staatsfernen Behörden, die im bestehenden Zuständigkeitsbereich der Medienaufsicht für die Verordnung (EU) 2024/1083 (Europäisches Medienfreiheitsgesetz) Mediendiensteanbieter im Sinne des Artikels 2 Nummer 2 der Verordnung (EU) 2024/1083 beaufsichtigen. Dies gilt nach dieser Vorschrift, soweit Mediendiensteanbieter KI-Systeme zu journalistischen Zwecken oder zu Werbezwecken bei der Veranstaltung, dem Angebot, der Verbreitung und der Zugänglichmachung von Mediendiensten einsetzen. Damit wird der bereits bestehende Zuständigkeitsbereich dieser Behörden auf den Bereich der Verordnung (EU) 2024/1689 ausgedehnt. So sollen die bestehenden Aufsichtsstrukturen im Medienbereich genutzt werden, um zu vermeiden, dass für Mediendiensteanbieter eine zusätzliche Aufsichtsbehörde zuständig ist. Um der Bundesnetzagentur ihre Aufgabe, gemäß § 5 eine einheitliche Durchsetzung der Vorgaben der Verordnung (EU) 2024/1689 sicherzustellen, zu erleichtern und eine effektive und effiziente Koordinierung zu ermöglichen, sollten die Länder möglichst auch in diesem Bereich eine einheitliche Ansprechstelle für die Bundesnetzagentur benennen.

Deutscher Bundestag – 21. Wahlperiode Die Anknüpfung an die Verordnung (EU) 2024/1083 und die dort in Artikel 2 Nummer 2 definierten Mediendiensteanbieter stellt klar, dass die Zuständigkeit in diesem spezifischen Tätigkeitsbereich von den Ländern festzulegen ist – in Abgrenzung zur Aufsicht der Bundesnetzagentur über Online-Plattformen nach dem Digitale- Dienste-Gesetz. Zur Abgrenzung journalistischer von nicht-journalistischen Zwecken kann die jeweilige Auslegungspraxis im Bereich des Artikels 85 der Verordnung (EU) 2016/679 herangezogen werden. Danach sind Handlungen umfasst, die mit der Zielsetzung der Veröffentlichung von Informationen, Meinungen oder Ideen, mit welchem Übertragungsmittel auch immer, für einen unbestimmten Personenkreis erfolgen (EuGH, Urteil vom 14.2.2019, C- 345/17, Sergejs Buivids/Datu valsts inspekcija, Rn. 53, NJW 2019, 2451; EuGH, Urteil vom 16.12.2008, C-73/07, Tietosuojavaltuutettu/Satakunnan Markkinapörssi Oy u. a., Rn. 61, EuZW 2009, 108). Erfasst sind sämtliche Phasen journalistischen Handelns: journalistische Recherche, Redaktion, Veröffentlichung, Dokumentation und Archivierung in der Absicht der Berichterstattung. Allerdings ist ein Mindestmaß an eigener inhaltlicher Bearbeitung der bereitgestellten Informationen erforderlich (vgl. BGH, Urteil von 2025, VI ZR 426/24, Rn. 51, NJW 2025, S. 3219, 3225). Von journalistischen Zwecken abzugrenzen sind private oder kommerzielle Verwendungen, bei denen die Gewinnerzielungsabsicht im Vordergrund steht und die Information der Öffentlichkeit als ein Nebeneffekt einzustufen ist, wie z. B. Veröffentlichungen durch Unternehmen oder Vereine zwecks Öffentlichkeitsarbeit und Werbung (OLG Koblenz, Beschluss vom 12.4.2021 – 4 W 108/21) oder privaten Zwecken dienende Individualkommunikation. Ein KI-System wird dann zu journalistischen Zwecken verwendet, wenn sein Einsatz im konkreten Fall der Erstellung, Verbreitung oder Unterstützung journalistischer Inhalte dient. Unerheblich ist, dass das betreffende System auch für andere Zwecke einsetzbar ist; entscheidend ist allein der jeweilige tatsächliche Verwendungszweck. In diesen Fällen beschränkt sich die Aufsicht der nach Landesrecht zuständigen staatsfernen Marktüberwachungsbehörden auf den Betrieb des KI-Systems, soweit dieser zu journalistischen Zwecken erfolgt. Damit wird sichergestellt, dass der Schutz der journalistischen Freiheit gewahrt bleibt und zugleich eine klare Abgrenzung zu anderen Nutzungsbereichen erfolgt. Wird ein KI-System hingegen für mehrere Zwecke eingesetzt, die nicht ausschließlich journalistischer Natur sind, richtet sich die Zuständigkeit gegenüber dem Anbieter nach den übrigen Absätzen des § 2. Dies gilt jedoch nicht, wenn der Anbieter selbst zu journalistischen Zwecken handelt; in diesem Fall verbleibt es bei der Aufsicht nach Absatz 1.

Zu Satz 2

Das Deutsche-Welle-Gesetz ist ebenfalls genannt, da es als einzige Bundesvorschrift die Grundlage für eine Rundfunkanstalt schafft. Der Verweis auf das Deutsche-Welle-Gesetz stellt klar, dass sich die Aufsicht über die Deutsche Welle als Rundfunkanstalt nach den für sie geltenden Bestimmungen und Aufsichtsstrukturen richtet.

Zu Absatz 9

Das Recht aus Artikel 69 der Verordnung (EU) 2024/1689, Sachverständige des wissenschaftlichen Gremiums gemäß Artikel 68 der Verordnung (EU) 2024/1689 zur Erfüllung ihrer Aufgaben gemäß der Verordnung (EU) 2024/1689 hinzuzuziehen, steht nach dem Text der Verordnung den Mitgliedsstaaten zu. Aus sachlichen Gründen wird hiermit gesetzlich klargestellt, dass dieses Recht auch von der Bundesnetzagentur sowie den übrigen Marktüberwachungsbehörden in Anspruch genommen werden kann. Zu § 3 (Zuständige Behörden für die Notifizierung und Akkreditierung von Konformitätsbewertungsstellen) § 3 benennt die jeweils zuständige notifizierende Behörde und definiert die Rolle der Deutschen Akkreditierungsstelle. Die notifizierenden Behörden sind gemäß Artikel 28 Absatz 1 der Verordnung (EU) 2024/1689 grundsätzlich für die Bewertung, Benennung, Notifizierung und Überwachung von Konformitätsbewertungsstellen gemäß Artikel 3 Nummer 21 der Verordnung (EU) 2024/1689 zuständig. § 3 Absatz 4 macht jedoch von der in Artikel 28 Absatz 2 der Verordnung (EU) 2024/1689 geregelten Option Gebrauch und benennt für die dort genannten Bereiche die Deutsche Akkreditierungsstelle als für die Bewertung und Überwachung von Konformitätsbewertungsstellen gemäß der Verordnung (EU) 2024/1689 zuständige Stelle.

Zu Absatz 1

§ 3 Absatz 1 benennt die notifizierenden Behörden, die im Anwendungsbereich des Anhang I Abschnitt A der Verordnung (EU) 2024/1689 zuständig sind. Hierfür orientiert sich § 3 Absatz 1 Satz 1 an Artikel 74 Absatz 3 Unterabsatz 1 der Verordnung (EU) 2024/1689 und benennt die Behörden, die in den in Anhang I Abschnitt A der Verordnung (EU) 2024/1689 genannten Harmonisierungsvorschriften der Europäischen Union als notifizierende Behörden benannt sind, auch nach der Verordnung (EU) 2024/1689 als notifizierende Behörden. Zum Beispiel ist für die Notifizierung von Konformitätsbewertungsstellen für Produkte nach Anhang I Abschnitt A Nummer 11 und 12 der Verordnung (EU) 2024/1689 die Zentralstelle der Länder für Gesundheitsschutz bei Arzneimitteln und Medizinprodukten zuständig. Das berücksichtigt, dass die Verordnung (EU) 2024/1689 im Kern eine Produktregulierung ist, mit der auf bekannte Regulierungskonzepte zurückgegriffen wird. Bestehende Behördenstrukturen werden genutzt. Der begrenzten Verfügbarkeit von KI-Fachkräften wird durch das in § 5 eingerichtete Koordinierungs- und Kompetenzzentrum für die KI-Verordnung weitestgehend begegnet. Für die in Nummer 8 des Anhangs I Abschnitt A der Verordnung (EU) 2024/1689 genannte Verordnung (EU) 2016/424 stellt § 3 Absatz 1 Satz 2 ausdrücklich klar, dass die Länder die zuständigen notifizierenden Behörden nach der Verordnung (EU) 2024/1689 bestimmen. Das ergibt sich bereits aus Artikel 84 Absatz 1 Satz 1 des Grundgesetzes und ist daher deklaratorisch. Die Klarstellung ist erforderlich, da § 3 Absatz 1 Satz 1 hier nicht zur Anwendung kommt. Als notifizierende Behörde im Anwendungsbereich der Verordnung (EU) 2016/424 wird (für alle Länder) das Bayerische Staatsministerium für Wohnen, Bau und Verkehr tätig. Diesem wurde die Aufgabe als notifizierende Behörde gemäß § 1 Absatz 1 Sätze 1 bis 4 des Gesetzes zur Durchführung der Verordnung (EU) 2016/424 (Seilbahndurchführungsgesetz) in Verbindung mit Artikel 1 Absatz 1 des Verwaltungsabkommens über die Wahrnehmung bestimmter Aufgaben nach dem Seilbahndurchführungsgesetz vom Bund, vertreten durch das (damalige) Bundesministerium für Verkehr und digitale Infrastruktur im Wege der Organleihe übertragen. Da das Bayerische Staatsministerium für Wohnen, Bau und Verkehr daher nicht notifizierende Behörde im Anwendungsbereich der Verordnung (EU) 2016/424 ist, sondern nur im Wege der Organleihe als solche tätig wird, kann ihm die Aufgabe als notifizierende Behörde nicht nach § 3 Absatz 1 Satz 1 übertragen werden.

Zu Absatz 2

Für die in Anhang III Nummer 1 der Verordnung (EU) 2024/1689 genannten Hochrisiko-KI-Systeme benennt Absatz 2 Satz 1 die nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 benannte Marktüberwachungsbehörde als zuständige notifizierende Behörde. Da dieses Gesetz zeitlich vor einer Benennung der Marktüberwachungsbehörde nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 in Kraft tritt, die Bundesnetzagentur also zunächst die Aufgabe als notifizierende Behörde auch für Anhang III Nummer 1 der Verordnung (EU) 2024/1689 wahrnimmt, wird in Satz 2 eine Regelung für die Übergangszeit geschaffen. Da diese Regelung der Entscheidung nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 nicht vorgreifen soll, ist sie zeitlich begrenzt auf den Zeitraum bis zur Anwendung des Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 durch Benennung. Zugleich ist das Bundesamt für Sicherheit in der Informationstechnik als zentrale Stelle für Informationssicherheit auf nationaler Ebene gemäß § 1 Satz 2 BSIG die auf Bundesebene zuständige Behörde.

Zu Absatz 3

§ 3 Absatz 3 schafft die erforderliche Rechtsgrundlage, damit die nach Absatz 1 und 2 zuständigen Behörden neben der Notifizierung den Konformitätsbewertungsstellen eine entsprechende Befugnis unter Beachtung der Anforderungen aus Artikel 30 Absatz 4 der Verordnung (EU) 2024/1689 erteilen können, Konformitätsbewertungstätigkeiten vornehmen zu können. Die Vorschrift sieht zudem Ermessen der zuständigen Behörden vor, die Befugnis unter Bedingungen oder Auflagen zu erteilen sowie diese zu befristen und unter den Vorbehalt des Widerrufs und/oder nachträglicher Auflagen zu stellen. Dies dient der Effektivität des Verwaltungsvollzuges.

Zu Absatz 4

§ 3 Absatz 4 regelt, welche Rolle der Deutschen Akkreditierungsstelle im Rahmen der Durchführung der Verordnung (EU) 2024/1689 zukommt. Gemäß Artikel 28 Absatz 1 der Verordnung (EU) 2024/1689 sind die notifizierenden Behörden grundsätzlich für die Einrichtung und Durchführung der erforderlichen Verfahren zur Bewertung, Benennung und Notifizierung von Konformitätsbewertungsstellen und für deren Überwachung zuständig. Diese Verfahren werden von den notifizierenden Behörden in Zusammenarbeit mit den notifizierenden Behörden anderer Mitgliedstaaten entwickelt. Absatz 4 macht von der in Artikel 28 Absatz 2 der Verordnung (EU) 2024/1689 geregelten Option Gebrauch und benennt in Satz 1 die Deutsche Akkreditierungsstelle als für die Bewertung und Überwachung von Konformitätsbewertungsstellen gemäß der Verordnung (EU) 2024/1689 zuständige Stelle, sofern sie diese Aufgabe auch im Rahmen der in Anhang I Abschnitt A der Verordnung (EU) 2024/1689 genannten Harmonisierungsrechtsvor- Drucksache 21/4594 Deutscher Bundestag – 21. Wahlperiode schriften der Europäischen Union wahrnimmt und die Konformitätsbewertungsstellen ihren Sitz in Deutschland haben. In Satz 2 wird die Deutsche Akkreditierungsstelle als für die Bewertung und Überwachung von Konformitätsbewertungsstellen gemäß der Verordnung (EU) 2024/1689 zuständige Stelle im Bereich von Anhang III Nummer 1 der Verordnung (EU) 2024/1689 bestimmt.

Zu Absatz 5

Das Recht aus Artikel 69 der Verordnung (EU) 2024/1689 steht nach dem Wortlaut der Vorschrift den Mitgliedsstaaten zu. Aus sachlichen Gründen wird hiermit gesetzlich klargestellt, dass dieses Recht auch von der Bundesnetzagentur sowie den übrigen notifizierenden Behörden in Anspruch genommen werden kann.

Zu § 4 (KI-Marktüberwachungskammer)

Zu Absatz 1 und Absatz 2

Artikel 74 Absatz 8 der Verordnung (EU) 2024/1689 sieht vor, dass für bestimmte Hochrisiko-KI-Systeme

Marktüberwachungsbehörden benannt werden, die entweder die für den Datenschutz zuständigen Aufsichtsbehörden sind oder die in den Artikeln 41 bis 44 der Richtlinie (EU) 2016/680 festgelegten Bedingungen erfüllen. Hierbei geht es um Hochrisiko-KI-Systeme in den Bereichen Biometrie (Anhang III Nummer 1 der Verordnung (EU) 2024/1689), sofern diese Systeme für Strafverfolgungszwecke, Grenzmanagement und Justiz und Demokratie eingesetzt werden, und um Hochrisiko-KI-Systeme in den Bereichen Strafverfolgung, Migration, Asyl und Grenzkontrolle sowie Rechtspflege und demokratische Prozesse (Anhang III Nummer 6, 7 und 8 der Verordnung (EU) 2024/1689). Aufgrund der hohen Schutzgüter, die in diesen Bereichen betroffen sein können, sollte die Stelle möglichst hochrangig besetzt sein. Das wird durch § 4 Absatz 1 dieses Gesetzes sichergestellt. Gleichzeitig wird durch § 4 Absatz 1 und 2 dieses Gesetzes sichergestellt, dass die Anforderungen der Artikel 41 bis 44 der Richtlinie (EU) 2016/680 erfüllt sind. Der Präsident oder die Präsidentin der BNetzA und die Vizepräsidentinnen und Vizepräsidenten werden durch den Bundespräsidenten und damit vom Staatsoberhaupt nach Artikel 43 der Richtlinie (EU) 2016/680 ernannt (§ 3 Absatz 4 BEGTPG). Das Verfahren zur Ernennung, Amtszeiten, Wiederernennung Personalauswahl und Unvereinbarkeitsregeln sind ebenfalls im BEGTPG gesetzlich geregelt. Die Vorschriften regeln weiter den Zugriff auf Personal- und Sachressourcen.

Zu Absatz 3

Diese Vorschrift stellt die völlige Unabhängigkeit nach Artikel 41 Absatz 2 der Richtlinie (EU) 2016/680 sicher, auf die in Artikel 74 Absatz 8 der Verordnung (EU) 2024/1689 verwiesen wird.

Zu Absatz 4

Die völlige Unabhängigkeit der KI-Marktüberwachungskammer nach Artikel 41 Absatz 2 der Richtlinie (EU) 2016/680 bewegt sich im Spannungsfeld mit dem Grundsatz demokratischer Rechenschaftspflichten und Legitimation. Durch eine Berichtspflicht gegenüber dem Bundestag wird eine demokratische Kontrolle sichergestellt.

Zu Absatz 5

Zur Vermeidung von Doppelstrukturen und sich widersprechenden Entscheidungen im konkreten Einzelfall ist es erforderlich, die Aufgaben der Marktüberwachungsbehörden betreffend Artikel 26 Absatz 10 und Artikel 5 Absatz 2 und 3 der Verordnung (EU) 2024/1689 einzuschränken, soweit dort für Betreiber eines Hochrisiko-KI- Systems zur biometrischen Fernfernidentifizierung Anforderungen für den Einsatz eines solchen Systems im Einzelfall aufgestellt werden, die bereits einer justiziellen Überprüfbarkeit der Entscheidung im Einzelfall unterliegen. Bezüglich der Dokumentation nach Artikel 26 Absatz 10 bedeutet dies zum Beispiel, dass die unabhängige KI-Marktüberwachungskammer nur das Vorliegen einer Dokumentation prüft, nicht die Rechtmäßigkeit der dokumentierten Ermittlungsmaßnahme.

Zu § 5 (Koordinierungs- und Kompetenzzentrum für die Durchführung der Verordnung (EU) 2024/1689)

Neben der Bundesnetzagentur werden in bestimmten Bereichen auch die bereits bestehenden Behörden als Marktüberwachungsbehörden und, soweit einschlägig, notifizierende Behörden gemäß der Verordnung (EU) 2024/1689 benannt (vgl. die §§ 2 und 3 dieses Gesetzes). Das betrifft die Bereiche, in denen die in Anhang I Abschnitt A genannten Harmonisierungsrechtsvorschriften der Europäischen Union Anwendung finden sowie den Finanzdienstleistungsbereich und den Bereich der Medienaufsicht. Hierdurch entsteht aufgrund der Vielzahl unterschiedlicher Behörden ein sehr hoher Bedarf an KI-Fachkräften, die jede einzelne Behörde bereithalten müsste (vgl. Artikel 70 Absatz 3 der Verordnung (EU) 2024/1689).

Zu Satz 1

Um der begrenzten Verfügbarkeit von KI-Fachkräften zu begegnen und Ressourcen und KI-Expertise zu bündeln, wird in § 5 Satz 1 bei der Bundesnetzagentur ein zentrales Koordinierungs- und Kompetenzzentrum für die Verordnung (EU) 2024/1689 eingerichtet.

Zu Satz 2

Satz 2 regelt die Aufgaben des Zentrums. Das Zentrum wird permanenter Ansprechpartner für die nach § 2 und § 3 zuständigen Behörden (Nummer 1), Koordinierungsstelle für diese Behörden und sonstige Behörden (Nummer 2) und wichtiger Akteur bei der Aufstellung von Verhaltenskodizes (Nummer 3) sowie der Einbeziehung der Zivilgesellschaft, der Gewerkschaften, der Wirtschaft und der Wissenschaft und Forschung sowie der Länder (Nummer 4). Das dient der einheitlichen Wirksamkeit der Verordnung (EU) 2024/1689 in Deutschland.

Zu Nummer 1

Die Zuständigkeiten anderer Behörden und Stellen, wie die des im Aufbau befindlichen Beratungszentrums für Künstliche Intelligenz („BeKI“), als zentrale Anlauf- und Koordinierungsstelle für KI-Vorhaben in der Bundesverwaltung bleiben unberührt. Die Aufgaben des Zentrums beziehen sich nur auf die Verordnung (EU) 2024/1689.

Zu Nummer 2

Aufgrund der für die unterschiedlichen Produkte zuständigen nationalen Marktüberwachungsbehörden ist eine einheitliche Anwendung und Auslegung der Verordnung (EU) 2024/1689 von besonderer Bedeutung. Deshalb soll das Zentrum eine koordinierende Rolle (ohne Weisungsbefugnis) einnehmen. Zu diesem Zweck kann das Zentrum geeignete Ausschüsse einrichten, denen insbesondere die zuständigen Marktüberwachungsbehörden und notifizierenden Behörden angehören. Die Ausgestaltung kann sich dabei an bewährten Formaten, z. B. nach dem Vorbild von Bund-Länder-Ausschüssen, orientieren. Auch die jeweils zuständigen sonstigen Bundesbehörden (z. B. Bundesanstalt für Arbeitsschutz und Arbeitsmedizin, Sicherheitsbehörden) sind in Abhängigkeit ihrer jeweiligen Kompetenz entsprechend einzubinden.

Zu Nummer 3

Das Zentrum soll bei der Erleichterung der Erstellung von Verhaltenskodizes eine aktive Rolle einnehmen. Zu diesem Zweck fördert es den Austausch zwischen Zivilgesellschaft, Wirtschaft und Wissenschaft. Berücksichtigt werden insbesondere Vertreterinnen und Vertreter vulnerabler Gruppen, einschließlich Menschen mit Behinderungen, um die in Artikel 95 Absatz 2 der Verordnung (EU) 2024/1689 genannten Zielsetzungen zu erreichen.

Zu Nummer 4

Mit dieser Vorschrift wird sichergestellt, dass das Zentrum bei seiner Aufgabenerfüllung die Zivilgesellschaft, die Gewerkschaften, die Wirtschaft und die Wissenschaft und Forschung sowie die Länder angemessen beteiligt. Durch die Beteiligung soll gewährleistet werden, dass ein regelmäßiger Austausch mit den genannten Akteuren erfolgt und vorhandene Expertise aus Wissenschaft und Praxis genutzt wird, um die Bundesnetzagentur bei der Durchführung der Verordnung (EU) 2024/1689 zu unterstützen. Verfahren und Ausgestaltung der angemessenen, transparenten und regelmäßigen Einbeziehung sind von der Bundesnetzagentur mit dem Bundesministerium für Digitales und Staatsmodernisierung und den betroffenen Ressorts abzustimmen und öffentlich bekannt zu geben (zum Beispiel auf der Homepage der Bundesnetzagentur).

Zu Satz 3

Zu den externen Expertinnen und Experten, die die BNetzA hinzuziehen kann, zählen auch die Datenlabore der Bundesregierung und die Algorithmenbewertungsstelle für Behörden und Organisationen mit Sicherheitsaufgaben (ABOS), um die dort aufgebaute Expertise zu künstlicher Intelligenz einfließen zu lassen.

Zu Satz 4

Hierfür wird auf die Ausführungen zu Satz 2 Nummer 2 verwiesen.

Zu § 6 (Zentrale Anlaufstelle)

Eine der Marktüberwachungsbehörden ist gemäß Artikel 70 Absatz 2 Satz 3 der Verordnung (EU) 2024/1689 zudem als zentrale Anlaufstelle für die Verordnung (EU) 2024/1689 zu benennen.

Zu Absatz 1

Absatz 1 benennt die Bundesnetzagentur als zentrale Anlaufstelle im Sinne von Artikel 70 Absatz 2 Satz 3 der Verordnung (EU) 2024/1689. Das bedeutet, dass sie zentraler deutscher Ansprechpartner auf Ebene der Mitgliedstaaten und der Europäischen Union mit Blick auf die Anwendung der Verordnung (EU) 2024/1689 ist (vgl. Erwägungsgrund 153 der Verordnung (EU) 2024/1689). Die Zuständigkeitsverteilung aus der Umsetzung des Artikel 70 Absatz 1 Satz 1 der Verordnung (EU) 2024/1689 in den §§ 2 und 3 bleibt von dieser Regelung unberührt.

Zu Absatz 2

Zur Erfüllung ihrer Aufgaben nach § 6 Absatz 3 wird die zentrale Anlaufstelle ermächtigt, die hierfür nötigen Informationen von den nach diesem Gesetz zuständigen Behörden zu erhalten. Dabei ist es mit Blick auf die Vermeidung bürokratischen Aufwands infolge organisatorischer oder personeller Änderungen und der Pflicht zur Veröffentlichung vorteilhaft, wenn diese Behörden der zentralen Anlaufstelle Funktionsadressen für die elektronische Kommunikation mitteilen.

Zu Absatz 3

Die Regelung setzt Artikel 70 Absatz 2 Satz 1 und Satz 2 der Verordnung (EU) 2024/1689 um. Es entspricht dem Gedanken aus dem Erwägungsgrund 153, dass die zentrale Anlaufstelle im Interesse der Effizienz gegenüber der Europäischen Union Ansprechpartnerin ist und Meldung über die Namen, Aufgaben und elektronischen Kontaktmöglichkeiten der notifizierenden Behörden und der Marktüberwachungsbehörden macht. Die Fristen für die Mitteilung der Informationen an die zentrale Informationsstelle ergeben sich hinsichtlich der elektronischen Kontaktadressen mit einer Frist bis zum 2. August 2025 aus Artikel 70 Absatz 2 Satz 2 der Verordnung (EU) 2024/1689, hinsichtlich der Namen und der Aufgaben der Behörden mit einer Frist bis zum 2. August 2026 aus Artikel 113 Unterabsatz 2 der Verordnung (EU) 2024/1689 sowie hinsichtlich der Namen und der Aufgaben der in Umsetzung der in Artikel 6 Absatz 1 und der entsprechenden Pflichten aus der Verordnung (EU) 2024/1689 mit einer Frist bis zum 2. August 2027 aus Artikel 113 Unterabsatz 3 Buchstabe c der Verordnung (EU) 2024/1689.

Zu Absatz 4

Die zentrale Anlaufstelle ist gegenüber der Öffentlichkeit und anderen Ansprechpartnern auf Ebene der Mitgliedstaaten und der Europäischen Union tätig (Erwägungsgrund 153). In Artikel 64 Absatz 2 der Verordnung (EU) 2024/1689 sind die Mitgliedstaaten verpflichtet, dem Büro für Künstliche Intelligenz die ihm gemäß dieser Verordnung übertragenen Aufgaben zu erleichtern. In diesem Sinne fungiert die zentrale Anlaufstelle als Koordinatorin in der Schnittstelle zu dem bei der Europäischen Kommission eingerichteten Büro für Künstliche Intelligenz.

Zu Absatz 5

Satz 1

Für die Erfüllung von in der Verordnung (EU) 2024/1689 genannten Melde- und Berichtspflichten auf Ebene der Mitgliedstaaten und der Europäischen Union sind die nach diesem Gesetz zuständigen Behörden verantwortlich, die diese Pflichten über die zentrale Anlaufstelle erfüllen. Hierzu gehören zum Beispiel die Berichtspflichten nach Artikel 57 Absatz 16, Artikel 74 Absatz 2 (auch gegenüber den einschlägigen nationalen Wettbewerbsbehörden) und Artikel 99 Absatz 11 der Verordnung (EU) 2024/1689 sowie die Beantwortung von Anfragen der Europäischen Kommission nach Artikel 112 Absatz 8 der Verordnung (EU) 2024/1689. Die zum Bericht verpflichteten Behörden stellen der zentralen Anlaufstelle die hierfür erforderlichen Dokumente zur Verfügung.

Satz 2

Das gilt jedoch nicht für die Berichtspflichten gemäß Artikel 70 Absatz 6 der Verordnung (EU) 2024/1689, für deren Erfüllung das Bundesministerium für Digitales und Staatsmodernisierung zuständig ist.

Satz 3

Anderweitige Melde- und Berichtspflichten bleiben unberührt. Die Bundesanstalt für Finanzdienstleistungsaufsicht übermittelt die im Rahmen ihrer Marktüberwachungstätigkeit gewonnenen Erkenntnisse selbst an die Europäische Zentralbank bzw. an die Deutsche Bundesbank übermitteln, soweit sie für die Aufsichtsaufgaben der Europäischen Zentralbank nach der Verordnung (EU) Nr. 1024/2013 oder der Deutschen Bundesbank nach dem Kreditwesengesetz, dem Zahlungsdiensteaufsichtsgesetz, dem Wertpapierinstitutsgesetz, dem Kreditzweitmarktgesetz oder dem Kryptomärkteaufsichtsgesetz von Bedeutung sind. Außerdem erfüllt die Bundesanstalt für Finanzdienstleistungsaufsicht ihre in der Verordnung (EU) 2024/1689 genannten Melde- und Berichtspflichten auf Ebene der Mitgliedstaaten und der Europäischen Union selbst, soweit rechtliche Gründe einer Erfüllung über die zentrale Anlaufstelle entgegenstehen. Dies kann z. B. der Fall sein, wenn Unionsrecht den direkten Austausch zwischen Finanzaufsichtsbehörden vorsieht.

Zu § 7 (Unterrichtung bei Nichtkonformität oder Risiken eines KI-Systems)

Zu Absatz 1 und Absatz 2

Die Artikel 79 und 81 der Verordnung (EU) 2024/1689 enthalten Regelungen zum Umgang mit KI-Systemen, die ein Risiko im Sinne des Artikels 3 Nummer 19 der Verordnung (EU) 2019/1020 (d. h. für die Gesundheit oder Sicherheit oder Grundrechte von Personen) bergen und für die die zuständige Marktüberwachungsbehörde festgestellt hat, dass sie die in der Verordnung (EU) 2024/1689 festgelegten Anforderungen und Pflichten nicht erfüllen. Artikel 82 der Verordnung (EU) 2024/1689 regelt den Umgang mit KI-Systemen, die zwar der Verordnung (EU) 2024/1689 entsprechen, aber dennoch ein Risiko für die Gesundheit oder Sicherheit von Personen, für die Grundrechte oder für andere Aspekte des Schutzes öffentlicher Interessen darstellen. Diese Vorschriften enthalten Regelungen dafür, dass die Marktüberwachungsbehörde zu der Auffassung gelangt, dass das Risiko oder die Nichtkonformität nicht auf ihr nationales Hoheitsgebiet beschränkt ist. Artikel 79 Absatz 3, 5 Satz 2 und Absatz 7 sowie Artikel 81 Absatz 2 Satz 1 und 2 der Verordnung (EU) 2024/1689 verpflichten in diesem Fall die zuständige Marktüberwachungsbehörde, die Kommission und die anderen Mitgliedstaaten der Europäischen Union über die Nichtkonformität von KI-Systemen, getroffene Maßnahmen oder andere Informationen zu unterrichten. § 7 Absatz 1 und 2 bestimmen, dass die zuständige Marktüberwachungsbehörde die nach Artikel 79 Absatz 3, 5 Satz 2 und Absatz 7 sowie Artikel 81 Absatz 2 Satz 1 und 2 der Verordnung (EU) 2024/1689 vorgesehenen Unterrichtungen über die Bundesanstalt für Arbeitsschutz und Arbeitsmedizin vorzunehmen hat. Für viele Rechtsvorschriften der Europäischen Union erfolgen derartige Meldungen bereits heute durch die Bundesanstalt für Arbeitsschutz und Arbeitsmedizin, sodass diese die Aufgabe aus Gründen der Effizienz zukünftig auch im Rahmen der Verordnung (EU) 2024/1689 übernehmen soll.

Zu Absatz 3

Die Bundesanstalt für Arbeitsschutz und Arbeitsmedizin unterstützt die Marktüberwachungsbehörden der Länder. In dem dynamischen Feld der KI ist es erforderlich, dass die Bundesanstalt für Arbeitsschutz und Arbeitsmedizin ihre evidenzbasierte Expertise von KI im Bereich des Arbeitsschutzes, der Produktsicherheit sowie der Marktüberwachung stetig anpasst und erweitert. Dafür wird bei der Bundesanstalt für Arbeitsschutz und Arbeitsmedizin ein Transformationsprozess notwendig sein. Dieser beinhaltet die Etablierung einer evidenzbasierten Wissensgenerierung, die sich kontinuierlich an den Erkenntnissen aus der Praxis sowie den Bedürfnissen der Marktüberwachungsbehörden orientiert. Das in diesem Kontext generierte Wissen kommt zudem der deutschen Wirtschaft unmittelbar über entsprechende Beratungsangebote zugute, in noch stärkerem Maße jedoch indirekt durch die Unterstützung der Marktüberwachung. Marktüberwachung ist im europäischen Binnenmarkt ein Schlüsselinstrument zu Sicherstellung eines fairen Wettbewerbs und damit zum Schutz der europäischen Wirtschaft vor unsicheren Produkten aus Drittstaaten.

Zu § 8 (Zentrale Beschwerdestelle)

§ 8 dient der Konkretisierung von Artikel 85 der Verordnung (EU) 2024/1689 und schafft eine zentrale Anlaufstelle für Beschwerden über Verstöße gegen Bestimmungen der Verordnung (EU) 2024/1689. Artikel 85 der Verordnung (EU) 2024/1689 normiert bereits das Recht jeder natürlichen oder juristischen Person, die Grund zu der Annahme hat, dass gegen die Bestimmungen der Verordnung (EU) 2024/1689 verstoßen wurde, bei der betreffenden Marktüberwachungsbehörde Beschwerde einzureichen. Dabei ist vorgesehen, dass die Beschwerden für die Zwecke der Marktüberwachungstätigkeiten berücksichtigt und nach dem einschlägigen von den Marktüberwachungsbehörden dafür eingerichteten Verfahren behandelt werden.

Zu Absatz 1

Absatz 1 gestaltet das Beschwerderecht des Artikels 85 der Verordnung (EU) 2024/1689 nutzerfreundlich aus. Beschwerdeführer können ihre Beschwerde unabhängig von der Bestimmung der Verordnung (EU) 2024/1689, deren Missachtung sie rügen, bei der Bundesnetzagentur einreichen. Dem Beschwerdeführer wird somit die Prüfung der Zuständigkeit abgenommen und seine Beschwerde wird nach Absatz 2 an die zuständige Behörde weitergeleitet. Angesichts der unterschiedlichen nach § 2 zuständigen Marktüberwachungsbehörden wird dadurch die praktische Ausübung des Beschwerderechts erheblich erleichtert und Drucksache 21/4594 Deutscher Bundestag – 21. Wahlperiode die Beschwerdeführer können effektiv von ihrem Recht Gebrauch machen, Beschwerden wegen Verstößen gegen die Verordnung (EU) 2024/1689 anzubringen.

Zu Absatz 2

Absatz 2 legt fest, dass die Bundesnetzagentur diese Beschwerde an die nach diesem Gesetz zuständige Marktüberwachungsbehörde (Nummer 1), aber auch an jede andere in ihrer Zuständigkeit betroffene Behörde oder öffentliche Stelle nach Artikel 77 Absatz 1 der Verordnung (EU) 2024/1689 (Nummer 2) weiterleitet. Sollte die Bundesnetzagentur die Beschwerde an eine andere nach § 2 zuständige Marktüberwachungsbehörde abgeben, informiert sie den Beschwerdeführer über die Abgabe und die zuständige Marktüberwachungsbehörde.

Zu Absatz 3

Zur Schaffung eines bürgerfreundlichen Beschwerdemanagements soll die Bundesnetzagentur die Weiterleitung von Beschwerden, für die eine Behörde oder öffentliche Stelle nach § 2 zuständig ist, zugänglich und barrierefrei sowie nutzerfreundlich und effizient ausgestalten und moderne technische Systeme schon bei Eingabe der Beschwerde durch die Beschwerdeführer nutzen. Hierzu wird auf die Anforderungen der Barrierefreie-Informationstechnik-Verordnung verwiesen.

Zu Absatz 4

Absatz 4 regelt ergänzend die Weiterleitung einer Beschwerde an die Bundesnetzagentur, wenn die Beschwerde bei einer anderen Marktüberwachungsbehörde eingereicht wurde und diese Behörde nicht für die Bearbeitung der Beschwerde zuständig ist. Für den Fall, dass diese Behörde zuständig ist, hat sie der Bundesnetzagentur zumindest eine Kopie der Beschwerde zur Verfügung zu stellen, damit die Bundesnetzagentur einen Überblick über alle Beschwerden erhält.

Zu Abschnitt 2 (Zusammenarbeit)

Zu § 9 (Zusammenarbeit der zuständigen Behörden)

Da in § 2 und § 3 verschiedene Behörden als zuständige Behörden benannt werden und darüber hinaus auch noch weitere Behörden in ihren jeweiligen Zuständigkeitsbereichen durch die Verordnung (EU) 2024/1689 betroffen sind, bedarf es einer Regelung zur Zusammenarbeit, um eine effektive und wirksame Durchführung der Verordnung (EU) 2024/1689 in Deutschland zu gewährleisten.

Zu Absatz 1

Absatz 1 regelt das Verhältnis der nach den §§ 2 und 3 zuständigen Behörden untereinander. Sie werden zur kooperativen und vertrauensvollen Zusammenarbeit verpflichtet. Zudem greift Absatz 1 den in Artikel 70 Absatz 7 der Verordnung (EU) 2024/1689 enthaltenen Gedanken eines Erfahrungsaustauschs zwischen den zuständigen nationalen Behörden auf.

Zu Absatz 2

Durch Marktüberwachungsmaßnahmen der zuständigen Marktüberwachungsbehörden können die Zuständigkeiten von Behörden und öffentlichen Stellen nach Artikel 77 Absatz 1 der Verordnung (EU) 2024/1689 sowie sonstigen Behörden betroffen sein (z. B. im Bereich des Arbeitsschutzes). Zur besseren Koordination etwaiger Maßnahmen, ist es erforderlich, dass die Marktüberwachungsbehörden mit den betroffenen Behörden oder öffentlichen Stellen Informationen austauschen und bei der Durchführung von Marktüberwachungsmaßnahmen zusammenarbeiten.

Zu Absatz 3

Zu Satz 1

Die zuständige Rechts- oder Fachaufsicht einer öffentlichen Stelle des Bundes erhält von der Marktüberwachungsbehörde die Gelegenheit zur Stellungnahme, bevor diese gegenüber einer ihr nachgeordneten Behörde eine Maßnahme wegen Verstoßes gegen die Verordnung (EU) 2024/1689 erlässt. Damit sollen sich widersprechende Entscheidungen von Marktüberwachungsbehörde und Rechts- oder Fachaufsicht vermieden werden. Um nicht in das Verfahrensrecht der Länder einzugreifen, gilt das nicht für die zuständige Rechts- oder Fachaufsicht einer öffentlichen Stelle der Länder.

Zu Satz 2

Der Gelegenheit zu einer Stellungnahme bedarf es nicht, wenn Gefahr im Verzug ist, die sofortige Maßnahme im öffentlichen Interesse notwendig erscheint oder ihr ein zwingendes öffentliches Interesse entgegensteht.

Zu Satz 3

Die Stellungnahme der Rechts- oder Fachaufsichtsbehörde soll auch eine Darstellung der aufsichtsrechtlichen Maßnahmen enthalten, die aufgrund der Mitteilung der Behörde oder öffentlichen Stelle nach Absatz 2 Satz 1 getroffen worden sind.

Zu Satz 4

Satz 2 gilt nicht, soweit es sich bei der öffentlichen Stelle um Strafverfolgungsbehörden im Sinne des Artikels 3 Nummer 45 handelt.

Zu Absatz 4

Absatz 4 regelt das Verhältnis der nach § 2 und § 3 zuständigen Behörden mit sonstigen Behörden, denen nach der Verordnung (EU) 2024/1689 eine eigenständige Rolle zukommt. Dabei handelt es sich – in einer beispielhaften, nicht abschließenden Aufzählung – insbesondere um die Datenschutzaufsichtsbehörden des Bundes und der Länder, die Antidiskriminierungsstelle des Bundes und, sofern nach Artikel 77 Absatz 1 der Verordnung (EU) 2024/1689 benannt, die Antidiskriminierungsstellen der Länder, das Bundesamt für Sicherheit in der Informationstechnik, das Bundeskartellamt, das Bundesministerium für Forschung, Technologie und Raumfahrt sowie die Bundeszentrale für Kinder- und Jugendmedienschutz. Die nach den §§ 2 und 3 zuständigen Behörden haben die genannten Behörden bei der Wahrnehmung ihrer Aufgaben nach der Verordnung (EU) 2024/1689 einzubeziehen. Die Zusammenarbeit der nach diesem Gesetz zuständigen Marktüberwachungsbehörden mit der nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 benannten Behörde (und bis zu deren Benennung des Bundesamtes für Sicherheit in der Informationstechnik) wird in § 10 konkretisiert. Betreffend die Einbeziehung des Bundeskartellamts sind insbesondere laut Artikel 74 Absatz 2 der Verordnung (EU) 2024/1689 die Marktüberwachungsbehörden verpflichtet, dem Bundeskartellamt jährlich alle Informationen, die sie im Verlauf ihrer Marktüberwachungstätigkeiten erlangt haben und die für die Anwendung von Unionsrecht im Bereich der Wettbewerbsregeln von Interesse sein könnten, zu melden (was gemäß § 6 Absatz 5 dieses Gesetzes über die Bundesnetzagentur als Zentrale Anlaufstelle erfolgt). Aber auch über diese Vorgabe einer jährlich erfolgenden Meldung hinaus sollen die Marktüberwachungsbehörden und das Bundeskartellamt Informationen austauschen können, soweit dies zur Erfüllung ihrer Aufgaben erforderlich ist. Ein solcher Austausch erfolgt zwischen dem Bundeskartellamt und der Bundesnetzagentur im Rahmen des insoweit einschlägigen § 50f Absatz 1 des Gesetzes gegen Wettbewerbsbeschränkungen (GWB). Nach § 50f GWB können unabhängig von der jeweils gewählten Verfahrensart Informationen einschließlich personenbezogener Daten und Betriebsund Geschäftsgeheimnisse ausgetauscht und in den jeweiligen Verfahren verwertet werden. Die Vorschriften des Gesetzes gegen Wettbewerbsbeschränkungen sowie der Regelungen zu den Aufgaben, Befugnissen und Zuständigkeiten der Kartellbehörden bleiben unberührt. In Fällen, in denen die Marktüberwachungsbehörden den Kinder- und Jugendmedienschutz betroffen sehen, sollen sie die Bundeszentrale für Kinder- und Jugendmedienschutz einbeziehen. Durch Bezugnahme auf den Artikel 24 der Charta und im Übereinkommen der Vereinten Nationen über die Rechte des Kindes (UNCRC) und der Allgemeinen Bemerkung Nr. 25 des UNCRC in dem Erwägungsgrund 48 der Verordnung (EU) 2024/1689, wird die Bedeutung des Jugendmedienschutzes im Rahmen von KI-Systemen hervorgehoben. Es wird betont, dass Kinder Rechte innehaben, die über die in der Charta geschützten Rechte hinausgehen. Die Bundeszentrale für Kinder- und Jugendmedienschutz ist die für die Einhaltung dieser Rechte zuständige Behörde. Aus diesem Grund und obwohl die Bundeszentrale für Kinder- und Jugendmedienschutz keine eigenständige Rolle im Rahmen der Verordnung (EU) 2024/1689 zukommt, gehört sie zu den Behörden, die von den Marktüberwachungsbehörden einzubeziehen sind. Als ein mögliches Forum für eine behördenübergreifende Koordination kommt eine noch zu formalisierende Zusammenarbeit und weitere Ausgestaltung im Rahmen des bestehenden Digital Cluster Bonn in Betracht.

Zu Absatz 5

Bei der Zusammenarbeit ist die Vertraulichkeit gemäß Artikel 78 der Verordnung (EU) 2024/1689 zu beachten. Daher regelt Absatz 5, dass die in den Absätzen 1, 2 und 4 genannten Behörden Informationen austauschen können, soweit dies zur Aufgabenerfüllung unbedingt erforderlich ist. Die in den Sätzen 3 und 4 aufgenommenen Regelungen dienen der Klarstellung und sind Ausdruck der in Artikel 78 Absatz 2 der Verordnung (EU) 2024/1689 getroffenen Regelung, dass ausschließlich „unbedingt erforderliche“ Daten ausgetauscht werden. Die Formulierung ist an die Formulierung aus § 47i GWB angelehnt.

Zu Absatz 6

Die Vorschrift erlaubt im Zuständigkeitsbereich der Bundesanstalt für Finanzdienstleistungsaufsicht den Austausch von Informationen mit den relevanten Stellen, sofern sie zur Erfüllung von Aufgaben nach diesem Gesetz oder der Verordnung (EU) 2024/1689 benötigt werden. Diese Stellen werden als weitere Regelbeispiele für Ausnahmen zu den Verschwiegenheitspflichten in § 9 Absatz 1 Satz 1 KWG, § 12 Absatz 1 Satz 1 WpIG, § 8 Absatz 1 Satz 1 KMAG, § 309 Absatz 5 VAG sowie § 5 Satz 3 des Kreditzweitmarktgesetzes, § 6 Satz 3 ZAG § 8 Satz 2 KAGB, jeweils in Verbindung mit § 9 Absatz 1 Satz 1 KWG ergänzt. Für inländische Empfänger wird nach Satz 2 wiederum einer Verschwiegenheitspflicht angeordnet. Die Regelung ist § 9 Absatz 1 Satz 5 KWG nachgebildet.

Zu Absatz 7

Die Vorschrift orientiert sich an den Vorgaben des § 9 Absatz 1 Satz 6 KWG, wonach die Empfänger „weitgehend entsprechenden Verschwiegenheitspflichten“ unterliegen müssen. Dies wird im Europäischen Wirtschaftsraum im Anwendungsbereich der Verordnung (EU) 2024/1689 durch deren Artikel 78 gewährleistet.

Zu § 10 (Zusammenarbeit der nach diesem Gesetz zuständigen Marktüberwachungsbehörden mit der nach Arti-kel 52 Absatz 2 der Verordnung (EU) 2024/2847 zu benennenden Marktüberwachungsbehörde)

Zu Absatz 1

Bei KI-Systemen, die in den Anwendungsbereich der Verordnung (EU) 2024/2847 fallen und nach Artikel 6 der Verordnung (EU) 2024/1689 als Hochrisiko-KI-Systeme eingestuft sind, sind gemäß Artikel 52 Absatz 14 Satz 1 der Verordnung (EU) 2024/2847 die für die Zwecke der Verordnung (EU) 2024/1689 benannten Marktüberwachungsbehörden auch für die nach der Verordnung (EU) 2024/2847 erforderlichen Marktüberwachungstätigkeiten zuständig. Artikel 52 Absatz 14 Satz 2 und 3 der Verordnung (EU) 2024/2847 regelt die Zusammenarbeit zwischen den nach der Verordnung (EU) 2024/1689 zuständigen Marktüberwachungsbehörden und der nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 zuständigen Marktüberwachungsbehörde, soweit sich die Aufgabenbereiche berühren. § 10 Absatz 1 dieses Gesetzes konkretisiert diese Zusammenarbeit. Ziel dabei ist es insbesondere, eine wirksame und effiziente Durchsetzung der Vorgaben der Verordnung (EU) 2024/1689 sicherzustellen, die auch ein angemessenes Maß an Cybersicherheit in Produkten mit digitalen Elementen gewährleistet und zugleich die unterschiedliche Anwendung von Cybersicherheitsanforderungen nach Anhang I der Verordnung (EU) 2024/2847 vermeidet. Entscheidend dafür ist eine kooperative und vertrauensvolle Zusammenarbeit der Behörden untereinander, welche die Expertise und Zuständigkeiten in den verschiedenen Themenfeldern berücksichtigt. Die Regelung des § 10 Absatz 1 Satz 2 bezieht sich daher über die Zuständigkeiten der jeweils zuständigen Marktüberwachungsbehörde gemäß der Verordnung (EU) 2024/1689 hinaus auch auf die Mitteilung von Beobachtungen, die für die Arbeit der anderen Behörde von Bedeutung sein könnte. Da Produkte nach Verordnung (EU) 2017/745 und Verordnung (EU) 2017/746 nicht den Anwendungsbereich der Verordnung (EU) 2024/2847 fallen, gilt § 10 nicht für diese Produkte. Die von den Betroffenen zu erfüllenden und nachzuweisenden Anforderungen werden gesetzlich durch die Verordnung (EU) 2024/1689 festgelegt, und zwar europaweit einheitlich. Die Anforderungen an Hochrisiko-KI-Systeme ergeben sich aus den Artikeln 9 bis 15 der Verordnung (EU) 2024/1689, einschließlich der Cybersicherheitsanforderungen in Artikel 15 der genannten Verordnung. Zugleich gelten Hochrisiko-KI-Systeme nach Artikel 12 Absatz 1 der Verordnung (EU) 2024/2847 als mit den Cybersicherheitsanforderungen gemäß Artikel 15 der Verordnung (EU) 2024/1689 konform, wenn sie die im Anhang I der Verordnung (EU) 2024/2847 genannten Cybersicherheitsanforderungen erfüllen. Mehr noch wird die Konformität mit der Verordnung (EU) 2024/1689 nach Artikel 42 Absatz 2 Verordnung (EU) 2024/1689 vermutet, soweit die Anforderungen der Verordnung (EU) 2024/2847 eingehalten werden und sich decken. Dieser Umstand unterstreicht die Bedeutung der Zusammenarbeit der in § 10 Absatz 1 genannten Marktüberwachungsbehörden.

Zu Absatz 2

Im Rahmen der Zusammenarbeit informiert die nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 zu benennende Marktüberwachungsbehörde die jeweils nach diesem Gesetz zuständige Marktüberwachungsbehörde über Verdachtsfälle hinsichtlich der fehlenden Einhaltung von Anforderungen an die Cybersicherheit bei Hochrisiko-KI-Systemen. Eine mit Gründen versehene Einschätzung stellt die nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 zu benennende Marktüberwachungsbehörde der nach diesem Gesetz zuständigen Marktüberwachungsbehörde in der Regel möglichst zeitgleich mit der Information eines Verdachtsfalls zur Verfügung. Die jeweils nach diesem Gesetz zuständige Marktüberwachungsbehörde prüft daraufhin die Möglichkeit von Maßnahmen im Bereich der Cybersicherheit von Hochrisiko-KI-Systemen im Lichte der von der Marktüberwachungsbehörde nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 erhaltenen Anhaltspunkte. Die Prüfung erfolgt anhand der von der Bundesnetzagentur und der nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 zuständigen Marktüberwachungsbehörde gemeinsam erarbeiteter Prüfkriterien (Vorgaben). Hierdurch soll sichergestellt werden, dass die in Anhang I der Verordnung (EU) 2024/2847 beschriebenen Anforderungen national einheitlich angewendet werden. Allerdings müssen dabei die bereits bestehenden Zuständigkeiten sektoraler Behörden für Fragen der Cybersicherheit beachtet werden. Eine Ausnahme besteht daher für die Marktüberwachung gegenüber Finanzunternehmen. Denn die Verordnung (EU) 2022/2554 (DORA-Verordnung) enthält umfassende eigenständige Cybersicherheitsregelungen speziell für den Finanzsektor. Die Bundesnetzagentur und die nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 zu benennende Marktüberwachungsbehörde erstellen daher im Rahmen der Verordnung (EU) 2024/1689 gemeinsame Prüfkriterien (Vorgaben) für Finanzunternehmen im Sinne der Verordnung (EU) 2022/2554 im Einvernehmen mit der Bundesanstalt für Finanzdienstleistungsaufsicht. Die Bundesanstalt für Finanzdienstleistungsaufsicht bleibt zudem im Rahmen ihrer Aufgaben und Befugnisse nach der DORA-Verordnung frei darin, als lex specialis eigenständige Cybersicherheits-Anforderungen aus der Verordnung (EU) 2022/2554 abzuleiten, insbesondere auch ohne das Einvernehmen der Bundesnetzagentur oder der nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 zu benennenden Marktüberwachungsbehörde. Dadurch kommt die bestehende Aufgabenteilung im Bereich der Cybersicherheit zum Ausdruck, wonach für den Finanzsektor allein die Bundesanstalt für Finanzdienstleistungsaufsicht, für die übrigen Wirtschaftsbereiche und die öffentliche Verwaltung hingegen das Bundesamt für Sicherheit in der Informationstechnik zuständig ist. Die Details der Zusammenarbeit können in einer Verwaltungsvereinbarung geregelt werden.

Zu Absatz 3

Artikel 96 Absatz 1 Buchstabe a in Verbindung mit Artikel 15 Absatz 5 der Verordnung (EU) 2024/1689 sehen das Erstellen von europäischen Leitlinien durch die Europäische Kommission vor. Mit diesen europäischen Leitlinien wird dem Harmonisierungsgedanken Rechnung getragen. Um eine konsistente und reibungslose Durchsetzung der Verordnung (EU) 2024/1689 sicherzustellen und Synergieeffekte durch Nutzung der spezifischen Expertise der nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 benannten Behörde zu erzielen, ist deren Mitwirkung an der Erstellung der Leitlinien der Europäischen Kommission sicherzustellen. Um diesen Prozess frühzeitig zu begleiten, sollte das Bundesamt für Sicherheit in der Informationstechnik diese Aufgabe bereits vor der Benennung einer Marktüberwachungsbehörde nach Artikel 52 Absatz 2 der Verordnung 2024/2847 wahrnehmen. Auch die Mitarbeit an der Entwicklung der europäischen harmonisierten Normen im Sinne des Artikels 40 der Verordnung (EU) 2024/1689 und an der Festlegung gemeinsamer Spezifikationen im Sinne des Artikels 41 der Verordnung (EU) 2024/1689 zu den Anforderungen an die Cybersicherheit nach Artikel 15 Absatz 5 der Verordnung (EU) 2024/1689 sollte durch die nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 zu benennende Behörde wahrgenommen werden. Auch hier sollte sich das Bundesamt für Sicherheit in der Informationstechnik im Sinne einer frühen Beteiligung bereits vor der Benennung einer Marktüberwachungsbehörde nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 einbringen. Die in § 2 Absatz 3 genannte Behörde arbeitet in selbem Umfang mit, sofern der Anwendungsbereich der Verordnung (EU) 2022/2554 betroffen ist.

Zu Absatz 4

Da dieses Gesetz zeitlich vor einer Benennung der Marktüberwachungsbehörde nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 in Kraft tritt, die nach diesem Gesetz zuständigen Marktüberwachungsbehörden also mit der Durchsetzung der Verordnung (EU) 2024/1689 beginnen, bevor eine solche Marktüberwachungsbehörde die Aufgaben in den Absätzen 1 bis 3 wahrnehmen kann, wird in Absatz 4 eine Regelung für die Übergangszeit geschaffen. Da diese Regelung der Entscheidung nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 nicht vorgreifen soll, ist sie zeitlich begrenzt auf den Zeitraum bis zur Anwendung des Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 durch Benennung. Zugleich ist das Bundesamt für Sicherheit in der Informationstechnik als zentrale Stelle für Informationssicherheit auf nationaler Ebene gemäß § 1 Satz 2 des Gesetzes über das Bundesamt für Sicherheit in der Informationstechnik die auf Bundesebene zuständige Behörde.

Zu Teil 3 (Befugnisse)

Zu § 11 (Befugnisse der zuständigen Behörden; Einschränkung eines Grundrechts)

Zu Absatz 1

Zu Satz 1 und 2

Mit § 11 Absatz 1 Satz 1 werden allen nach diesem Gesetz benannten Marktüberwachungsbehörden und die von ihnen beauftragten Personen die Befugnisse gemäß Artikel 14 Absatz 4 und 5 und Artikel 16 der Verordnung (EU) 2019/1020 sowie die Befugnisse nach der Verordnung (EU) 2024/1689 übertragen (vgl. Artikel 74 Absatz 1 Satz 1 der Verordnung (EU) 2024/1689). Das beinhaltet die Befugnis, die Vorlage relevanter Dokumente, technischer Spezifikationen, Daten oder Informationen über die Konformität zu verlangen. Die Marktüberwachungsbehörden sind zudem befugt, für den Anwendungsbereich des Gesetzes, die Wirtschaftsakteure aufzufordern, Maßnahmen zu ergreifen, um die Nichtkonformität oder das von einem KI-System ausgehende Risiko zu beenden sowie die Bereitstellung eines nicht konformen KI-Systems oder eines KI-Systems, von dem ein Risiko ausgeht, zu verbieten oder einzuschränken. Liegt ein Fall der verbotenen Praktiken nach Artikel 5 der Verordnung (EU) 2024/1689 vor, muss das betroffene KI- System unverzüglich vom Markt genommen werden. Ergreift der Wirtschaftsakteur keine geeigneten Maßnahmen oder bleiben die Nichtkonformität oder das Risiko bestehen, so können die Marktüberwachungsbehörden für den Anwendungsbereich des Gesetzes alle erforderlichen Maßnahmen ergreifen, um die Nichtkonformität oder das Risiko zu beenden. Das beinhaltet jedoch nicht die Befugnis der Marktüberwachungsbehörden, in das behördliche/hoheitliche Handeln der von ihnen beaufsichtigten Akteure einzugreifen. Die Befugnisse der Marktüberwachungsbehörden beschränken sich auf die Überprüfung der sich aus der Verordnung (EU) 2024/1689 ergebenden Anforderungen. Die sonstigen Aufsichtsbefugnisse in den sektoralen Aufsichtsgesetzen, wie unter anderen diejenigen der Bundesanstalt für Finanzdienstleistungsaufsicht im Kreditwesengesetz, Versicherungsaufsichtsgesetz, Wertpapierinstitutsgesetz, Zahlungsdiensteaufsichtsgesetz oder Kapitalanlagegesetzbuch, bleiben ebenfalls unberührt.

Zu Absatz 2

Zu Satz 1

Satz 1 stellt klar, dass die Marktüberwachungsbehörden bei der Wahrnehmung ihrer Befugnisse dritte Personen als Verwaltungshelfer heranziehen können.

Zu Satz 2

Satz 2 dient der Klarstellung, dass die Marktüberwachungsbehörden die in Artikel 14 Absatz 4 Buchstabe d und j der Verordnung (EU) 2019/1020 genannten Befugnisse aus der Ferne ausüben können. Eine Klarstellung ist erforderlich, da Artikel 74 Absatz 5 der Verordnung (EU) 2024/1689 lediglich regelt, dass diese Befugnisse „gegebenenfalls“ ausgeübt werden können.

Zu Absatz 3

Gemäß Artikel 14 Absatz 4 Buchstabe e der Verordnung (EU) 2019/1020 wird den Marktüberwachungsbehörden u. a. auch die Befugnis erteilt, unangekündigte Inspektionen vor Ort durchzuführen, Räumlichkeiten und Grundstücke sowie Beförderungsmittel, die der Wirtschaftsakteur für Zwecke im Zusammenhang mit seiner geschäftlichen Tätigkeit nutzt. § 11 Absatz 3 Satz 1 bestimmt, dass dies nur zu den üblichen Betriebs- und Geschäftszeiten erfolgen darf. Satz 2 trägt dem Zitiergebot nach Artikel 19 Absatz 1 Satz 2 des Grundgesetzes Rechnung.

Zu Absatz 4

Für die in Anhang I der Verordnung (EU) 2024/1689 aufgeführten Harmonisierungsrechtsvorschriften der Europäischen Union gilt bisher bereits § 7 des Marktüberwachungsgesetzes (MüG); vgl. § 1 Absatz 1 MüG i. V. m. Artikel 2 Absatz 1 der Verordnung (EU) 2019/1020. In diesen Fällen stehen die Hochrisiko-KI-Systeme im Zusammenhang mit Produkten im Sinne der in Anhang I der Verordnung (EU) 2024/1689 genannten Harmonisierungsrechtsvorschriften. Um die bisher bestehenden Befugnisse im Rahmen der Marktüberwachung um die Aspekte der Verordnung (EU) 2024/1689 zu erweitern, ist eine entsprechende Geltung der Regelungen in § 7 Absatz 2 bis 4 MüG notwendig.

Zu Absatz 5

Soweit öffentliche Stellen, insbesondere Sicherheitsbehörden, nach geltendem Recht besonders schutzwürdige Geheimhaltungsinteressen haben, stellt Absatz 5 zum Schutz der Funktionsfähigkeit dieser Stellen klar, dass die davon erfassten Daten grundsätzlich nicht im Sinne des Artikels 4 Nummer 2 der Verordnung (EU) 2016/679 erhoben oder weiterverarbeitet werden dürfen. Es gibt jedoch Fälle, in denen das Interesse der Marktüberwachungsbehörde im Rahmen ihrer nach diesem Gesetz geregelten Zuständigkeit an der Verarbeitung der Daten überwiegt und daher das Geheimhaltungsinteresse ausnahmsweise zurücktreten muss. Dies ist etwa dann der Fall, wenn es konkrete Hinweise auf einen besonders schwerwiegenden Verstoß gegen die Anforderungen aus der Verordnung (EU) 2024/1689 gibt.

Zu Absatz 6

Absatz 6 regelt die Offenbarung von Daten, die dem Steuergeheimnis unterliegen, durch die Finanzbehörde an die Marktüberwachungsbehörde. Nach § 30 Absatz 4 Nummer 2 der Abgabenordnung ist eine Offenbarung zulässig, wenn sie durch ein Bundesgesetz ausdrücklich zugelassen ist. Absatz 6 enthält eine solche Offenbarungsbefugnis. Die Offenbarung der Daten erfolgt nur auf Ersuchen der Marktüberwachungsbehörde und muss sich auf das notwendige Maß beschränken. Sie ist nur zulässig, wenn die Herausgabe der Daten erforderlich ist, damit die Marktüberwachungsbehörde ihre Befugnisse nach der Verordnung (EU) 2024/1689 erfüllen kann und die Marktüberwachungsbehörde die Erforderlichkeit gegenüber der Finanzbehörde begründet darlegt.

Zu Absatz 7

Absatz 7 regelt die Verfahrensvorschriften für das Widerspruchs- und Klageverfahren.

Satz 1

Bei Medizinprodukten (§ 45 Absatz 5 des Medizinprodukterecht-Durchführungsgesetzes) und Funkanlagen (§ 36 Absatz 1 des Funkanlagengesetzes) ist in den sektorspezifischen Rechtsakten, auf die die Verordnung (EU) 2024/1689 in Artikel 6 Absatz 1 in Verbindung mit Anhang I Bezug nimmt, vorgesehen, dass Widerspruch und Klage gegen Entscheidungen der Marktüberwachung keine aufschiebende Wirkung haben, in anderen branchenspezifischen Rechtsakten dagegen nicht. Ein Auseinanderfallen zwischen den Verfahrensvorschriften für Maßnahmen nach diesen branchenspezifischen Rechtakten und Maßnahmen nach dem vorliegenden Durchführungsgesetz sollte jedoch vermieden werden.

Satz 2

Auch Maßnahmen der Bundesanstalt für Finanzdienstleistungsaufsicht nach diesem Gesetz sind sofort vollziehbar. Im Bereich der Finanzaufsicht besteht eine hohe Vertrauensempfindlichkeit der Öffentlichkeit in die Integrität und Stabilität des Finanzmarktes und des Schutzes der Gläubiger, Anleger, Versicherungsnehmer, Verbraucher und weiterer Marktteilnehmer. Maßnahmen der Bundesanstalt auf Grundlage von deren sektoralen Fachgesetzen sind daher meist sofort vollziehbar (vgl. etwa § 49 KWG, § 310 Absatz 2 VAG, § 7 KAGB, § 6 WpIG, § 9 ZAG, § 51 Absatz 2 GwG). Spiegelbildlich erfordert dies, dass die BaFin schnell und rechtssicher Maßnahmen auch zur Prüfung der Einhaltung der Anforderungen der Verordnung (EU) 2024/1689 und zu deren Durchsetzung ergreifen können muss. Darüber hinaus ist es erforderlich, abweichend vom Regelfall nach § 80 Absatz 1 VwGO, die sofortige Vollziehbarkeit ausdrücklich auch auf die Androhung und Festsetzung von Zwangsmitteln zu erstrecken. Dies entspricht auch den üblichen Normierungen in der Finanzmarktregulierung. Denn die sofortige Vollziehbarkeit der Zwangsmittel dient der schnellen und effektiven Durchsetzung von aufsichtsrechtlichen Maßnahmen. Damit soll insbesondere eine einheitliche Vollziehbarkeit von Entscheidungen der Bundesanstalt für Finanzdienstleistungsaufsicht als Marktüberwachungsbehörde und Aufsichtsentscheidungen der Bundesanstalt sichergestellt werden. Im Übrigen bleibt es bei der gesetzgeberischen Entscheidung des § 80 der Verwaltungsgerichtsordnung im Anwendungsbereich der Verordnung (EU) 2024/1689. Den Marktüberwachungsbehörden bleibt die Möglichkeit zur Anordnung der sofortigen Vollziehung gemäß § 80 Absatz 2 Nummer 4 der Verwaltungsgerichtsordnung unbenommen.

Zu Teil 4 (Innovationsförderung)

Teil 4 des Gesetzes dient der Durchführung der innovationsfördernden Maßnahmen der Verordnung (EU)

2024/1689.

Zu § 12 (Innovationsfördernde Maßnahmen)

§ 12 regelt die Durchführung der nach der Verordnung (EU) 2024/1689 vorgesehenen innovationsfördernden

Maßnahmen, die über die Einrichtung von KI-Reallaboren (dazu § 13) oder Tests unter Realbedingungen außerhalb von KI-Reallaboren (dazu § 14) hinausgehen. Dazu zählen eine KI-Servicestelle (KI-Service Desk) für die Drucksache 21/4594 Deutscher Bundestag – 21. Wahlperiode Anbieter und Betreiber von KI-Systemen sowie die sonstigen Adressaten der Verordnung (EU) 2024/1689 (Nummer 1), die Erfüllung bestimmter Beratungsleistungen (Nummer 2), die Durchführung von Sensibilisierungs- und Schulungsmaßnahmen (Nummer 3), die Förderung des Wissensaufbaus und -austauschs zu KI (Nummer 4), die Vernetzung relevanter Akteure des KI-Ökosystems um KI-Systeme (Nummer 5) sowie die Mitarbeit an der Standardisierung und Normung (Nummer 6).

Zu Nummer 1

Nummer 1 überträgt der Bundesnetzagentur die Aufgabe, eine zentrale KI-Servicestelle (KI-Service Desk) einzurichten. Die Aufgaben des im Aufbau befindlichen BeKI bleiben insoweit unberührt (Nummer 2).

Zu Nummer 2

Öffentliche Stellen wie Behörden und Körperschaften des öffentlichen Rechts können mit dem Einsatz von künstlicher Intelligenz ihre gesetzlichen Aufgaben effektiver und effizienter erfüllen. Mit dieser Vorschrift adressiert der Bundesgesetzgeber Rechtsunsicherheit bei der Einstufung von Grenzfällen als KI-System beziehungsweise Hochrisiko-KI-System. Die öffentliche Stelle soll innerhalb einer vorhersehbaren Frist eine rechtlich unverbindliche Einschätzung erhalten. Die wesentlichen Erwägungen sollen durch die Bundesnetzagentur veröffentlicht werden, um auch anderen Anbietern, zukünftigen Anbietern oder Betreibern von KI-Systemen, die mit vergleichbaren Grenzfällen beschäftigt sind, niedrigschwellig und praxisnahe Orientierung zu bieten. Die Bundesnetzagentur orientiert sich bei den Einschätzungen an den einschlägigen Leitlinien der Europäischen Kommission. Voraussetzung für die Erfüllung der von dieser Vorschrift vorgesehenen Beratungsleistung ist der vorherige Abschluss einer Verwaltungsvereinbarung zwischen der Bundesnetzagentur und dem jeweils zuständigen Bundesoder Landesministerium. Gegenstand dieser Verwaltungsvereinbarung muss unter anderem der stellenmäßige und finanzielle Ausgleich der durch die Beratung entstehenden Mehraufwände bei der Bundesnetzagentur durch Mittel des jeweils zuständigen Bundes- oder Landesministeriums aus deren jeweiligen Einzelplan sein.

Zu Nummer 3

Die in Artikel 62 Absatz 1 Buchstabe b der Verordnung (EU) 2024/1689 vorgesehene Durchführung von Sensibilisierungs- und Schulungsmaßnahmen für die Anwendung der Verordnung werden als Aufgabe der BNetzA zugewiesen. Zielgruppe dieser durch die Bundesnetzagentur durchzuführenden Maßnahmen sind in erster Linie die Akteure des KI-Ökosystems, insbesondere KMU und Start-up-Unternehmen. Auch die Zusammenarbeit mit unternehmensnahen Netzwerken wird hier eine wichtige Rolle spielen. Die Bundesakademie für öffentliche Verwaltung bleibt für die Durchführung von Sensibilisierungs- und Schulungsmaßnahmen für die Bundesverwaltung zuständig. Das im Aufbau befindliche BeKI soll im Bereich der Bundesverwaltung unter anderem die Aufgabe der Innovationsförderung übernehmen, indem es dort den Einsatz künstlicher Intelligenz unterstützt. Die Bundesnetzagentur arbeitet eng mit der Bundesakademie für öffentliche Verwaltung und dem im Aufbau befindlichen BeKI zusammen. Damit wird auch in diesem Aufgabenbereich auf bewährte Strukturen zurückgegriffen, was die Ziele dieses Gesetzesvorhabens unterstützt, Effizienzen maximiert und den Erfüllungsaufwand minimiert.

Zu Nummer 4

Der Bundesnetzagentur wird die Aufgabe übertragen, den Wissensaufbau und -austausch zu künstlicher Intelligenz zu fördern.

Zu Nummer 5

Der Bundesnetzagentur wird die Aufgabe übertragen, die Vernetzung und Kooperation der relevanten Akteure des KI-Ökosystems um KI-Systeme, soweit dies der Erfüllung ihrer Aufgaben nach diesem Gesetz dient, zu fördern. Bei der Wahrnehmung ihrer Aufgaben nach Nummer 5 ist § 9 zu beachten.

Zu Nummer 6

Die Bundesnetzagentur wird ihren Sachverstand auch für die Erfüllung der weiteren Aufgaben aus der Verordnung (EU) 2024/1689 zur Innovationsförderung bereitstellen, insbesondere durch die Mitarbeit im Bericht der technischen Normung von künstlicher Intelligenz in nationalen und internationalen Normungsgremien.

Zu § 13 (KI-Reallabore, Verordnungsermächtigung)

Nach Artikel 57 Absatz 1 Satz 1 der Verordnung (EU) 2024/1689 werden die Mitgliedstaaten verpflichtet, mindestens ein KI-Reallabor auf nationaler Ebene einzurichten, das bis zum 2. August 2026 einsatzbereit sein muss. Die Ziele werden in Artikel 57 Absatz 9 der Verordnung (EU) 2024/1689 genannt.

Zu Absatz 1

Zu Satz 1

Absatz 1 Satz 1 überträgt der Bundesnetzagentur die Aufgabe der Einrichtung und des Betriebs dieses KI-Reallabors.

Zu Satz 2

Satz 2 stellt klar, dass zusätzliche KI-Reallabore durch andere zuständige nationale Behörden nach Artikel 3 Nummer 48 der Verordnung (EU) 2024/1689 zulässig bleiben.

Zu Absatz 2

Absatz 2 verpflichtet die Bundesnetzagentur zur Kooperation gemäß Artikel 57 Absatz 4 Satz 2 1. Halbsatz und Artikel 57 Absatz 4 Satz 4, gemäß Artikel 57 Absatz 10 und gemäß Artikel 58 Absatz 4 der Verordnung (EU) 2024/1689. Im Interesse eines effektiven Betriebs des KI-Reallabors ist die Bundesnetzagentur auch auf die Mitarbeit anderer betroffener Behörden des Bundes und der Länder angewiesen. Die Regelung stellt deshalb klar, dass die Zusammenarbeit sämtlicher Behörde kooperativ und vertrauensvoll sein sollte. Die Pflicht zur Kooperation umfasst insbesondere die enge Zusammenarbeit mit der zuständigen Datenschutzaufsichtsbehörde, die auch die Prüfung der datenschutzrechtlichen Vorgaben nach Artikel 59 der Verordnung (EU) 2024/1689 übernimmt. Die nach Artikel 57 Absatz 7 der Verordnung (EU) 2024/1689 zu erstellenden Leitfäden erstellen Bundesnetzagentur und die Datenschutzaufsichtsbehörden bezogen auf den Datenschutz gemeinsam, über die endgültige Fassung des Datenschutzleitfadens entscheiden die Datenschutzaufsichtsbehörden. Die frühzeitige und umfassende Einbeziehung der zuständigen Datenschutzaufsichtsbehörde soll auch einen einheitlichen Nachweis nach Artikel 57 Absatz 7 der Verordnung (EU) 2024/1689 ermöglichen. Dabei müssen die nach Artikel 58 der Verordnung (EU) 2024/1689 von der Kommission zu erlassende Durchführungsrechtsakte berücksichtigt werden. Zudem wird klargestellt, dass Aufsichts- und Überwachungsbefugnisse weiterer Behörden aufgrund anderer Gesetze unberührt bleiben.

Zu Absatz 3

Gemäß Artikel 62 Absatz 1 Buchstabe a der Verordnung (EU) 2024/1689 ist die Bundesnetzagentur dazu verpflichtet, KMU, einschließlich Start-up-Unternehmen, die ihren Sitz oder eine Zweigniederlassung in der Europäischen Union haben und die Voraussetzungen und Auswahlkriterien erfüllen, vorrangigen Zugang zu dem KI- Reallabor nach Absatz 1 Satz 1 zu gewähren. Diese Voraussetzungen werden erst noch festgelegt in delegierten EU-Rechtsakten nach Artikel 58 Absatz 1 der Verordnung (EU) 2024/1689. Absatz 3 verpflichtet die Bundesnetzagentur darüber hinaus, auch Forschungseinrichtungen sowie Hochschulen und deren Ausgründungen, die ihren Sitz oder eine Zweigniederlassung in der Union haben, vorrangigen Zugang zu dem KI-Reallabor zu gewähren. Das setzt zum einen voraus, dass die Forschungseinrichtungen sowie Hochschulen und deren Ausgründungen die gemäß der Durchführungsrechtsakte im Sinne des Artikels 58 Absatz 1 der Verordnung (EU) 2024/1689 zu erlassenden Voraussetzungen und Auswahlkriterien erfüllen. Zum anderen muss der Zugang zum KI-Reallabor nach Absatz 1 Satz 1 den Zugang von KI-Systemen zum Unionsmarkt erleichtern oder beschleunigen, z. B. weil die KI-Systeme Gegenstand anwendungsnaher Forschungs- und Entwicklungsvorhaben sind, wodurch der Transfer von Forschungsergebnissen in die Praxis erleichtert wird. Damit wird der prioritäre Zugang begrenzt und der Charakter von KI-Reallaboren als Wirtschaftsförderungsinstrument berücksichtigt. Artikel 2 Absatz 6 und 8 der Verordnung (EU) 2024/1689 gelten uneingeschränkt. Danach sind KI-Systeme, die allein der wissenschaftlichen Forschung und Entwicklung dienen, vom prioritären Zugang zum KI-Reallabor ausgenommen.

Zu Absatz 4

Die Artikel 57 bis 59 der Verordnung (EU) 2024/1689 regeln die unionsrechtlichen Anforderungen für die Errichtung von KI-Reallaboren durch die zuständigen Behörden der Mitgliedstaaten. Damit sollen verantwortungsvolle Innovation und die Integration geeigneter Schutzmaßnahmen und Maßnahmen zur Risikominderung gewährleistet und die Entwicklung und Erprobung innovativer KI-Systeme unter strenger Regulierungsaufsicht erleichtert werden, bevor diese Systeme auf den Markt gebracht oder anderweitig in Betrieb genommen werden. Errichtet eine zuständige nationale Behörde ein KI-Reallabor nach § 13 Absatz 1 bis 3 dieses Gesetzes, hat sie die Anforderungen der Artikel 57 und 59 der Verordnung (EU) 2024/1689 als unmittelbar geltendes Recht zu Drucksache 21/4594 Deutscher Bundestag – 21. Wahlperiode beachten. Hinzu kommen die Anforderungen, die sich gegebenenfalls aus Durchführungsrechtsakten der Europäischen Kommission im Sinne von Artikel 58 der Verordnung (EU) 2024/1689 ergeben. Damit sind insbesondere Festlegungen zu Einrichtung, Entwicklung, Umsetzung, den Betrieb, die Beaufsichtigung von KI-Systemen im KI-Reallabor sowie die Zusammenarbeit mit anderen betroffenen Behörden gemeint. Nach Artikel 58 Absatz 1 Satz 1 der Verordnung (EU) 2024/1689 werden in den Durchführungsrechtsakten gemeinsame Grundsätze festgelegt, die lediglich Mindestanforderungen darstellen, welche unionsweit einzuhalten sind. Diese lassen Möglichkeiten zu nationalen Detailregelung offen. Daher wird das Bundesministerium für Digitales und Staatsmodernisierung ermächtigt, nähere Einzelheiten der Einrichtung und des Betriebs der KI-Reallabore nach Absatz 1 Satz 1 festzulegen. Dazu zählen insbesondere Voraussetzungen und Auswahlkriterien zum allgemeinen sowie prioritären Zugang, Kostenfestsetzung, Umgebungsgestaltung und Einbeziehung und Zusammenarbeit mit anderen Akteuren innerhalb des KI-Ökosystems, Zugang zu Infrastruktur und Testumgebung, Aufbau eigener Testinfrastruktur, Anleitungs-, Aufsichts- und Unterstützungsmöglichkeit, Erstellung und Anpassung des Reallaborplans und Dauer und Beendigungen von Tests in KI-Reallaboren sowie zur Zusammenarbeit mit anderen betroffenen Bundesbehörden. Diese Befugnis trägt insbesondere dem Umstand Rechnung, dass sich das KI-Reallabor als Innovationsinstrument weiterentwickeln und den Marktgegebenheiten schnell anpassen können soll.

Zu § 14 (Tests von Hochrisiko-KI-Systemen unter Realbedingungen außerhalb von KI-Reallaboren)

Zu Absatz 1

Mit Absatz 1 wird den Marktüberwachungsbehörden auch die Befugnis gemäß Artikel 60 Absatz 6 der Verordnung (EU) 2024/1689 übertragen. Davon ausgenommen sind Tests, die im Sinne von Artikel 2 Absatz 3 der Verordnung (EU) 2024/1689 erfolgen. Das betrifft KI-Systeme, wenn und soweit diese ausschließlich für militärische Zwecke, Verteidigungszwecke oder Zwecke der nationalen Sicherheit in Verkehr gebracht, in Betrieb genommen oder, mit oder ohne Änderungen, verwendet werden, unabhängig von der Art der Einrichtung, die diese Tätigkeiten ausübt.

Zu Absatz 2

Mit Absatz 2 wird die Genehmigungsfiktion gemäß Artikel 60 Absatz 4 Buchstabe b der Verordnung (EU) 2024/1689 geschaffen.

Zu Teil 5 (Bußgeldvorschriften)

Zu § 15 (Bußgeldvorschriften zur Verordnung (EU) 2024/1689)

§ 15 dient der Umsetzung des Artikels 99 Absatz 1 der Verordnung (EU) 2024/1689, wonach die Mitgliedstaaten Vorschriften für Sanktionen und andere Durchsetzungsmaßnahmen zu erlassen haben, die bei Verstößen gegen diese Verordnung durch Akteure Anwendung finden. Danach haben die Mitgliedstaaten sicherzustellen, dass neben den Verstößen, die nach Artikel 99 Absatz 3, 4 und 5 der Verordnung (EU) 2024/1689 enumerativ genannt sind, auch weitere Verstöße gegen die Verordnung sanktionsbewehrt sind. Der Absatz führt vor diesem Hintergrund sämtliche Verstöße gegen sämtliche bewehrbare Pflichten der Verordnung (EU) 2024/1689 auf, die nicht bereits nach Artikel 99 der Verordnung sanktionsbewehrt sind – vorausgesetzt, die Pflichtverstöße können bußgeldbewehrt werden.

Zu § 16 (Anwendung der Vorschriften über das Bußgeld- und Strafverfahren)

Zu Absatz 1

Gemäß § 2 des Gesetzes über Ordnungswidrigkeiten (OWiG) gilt das OWiG für Ordnungswidrigkeiten nach Bundes- und Landesrecht. § 15 Absatz 1 Satz 1 dieses Gesetzes erklärt, dass das OWiG grundsätzlich auch auf Verstöße nach Artikel 99 Absatz 3 bis 5 der Verordnung (EU) 2024/1689, welche unmittelbar anwendbares innerstaatliches Recht ist, entsprechend anwendbar ist. Bei der entsprechenden Anwendung von § 10 OWiG ist zu berücksichtigen, dass Artikel 99 Absatz 3 bis 5 der Verordnung (EU) 2024/1689 sowohl vorsätzliches als auch fahrlässiges Handeln erfasst. Das ergibt sich aus Artikel 99 Absatz 7 Buchstabe i der Verordnung (EU) 2024/1689, wonach die Vorsätzlichkeit oder Fahrlässigkeit des Verstoßes ein bei der Festsetzung der Geldbuße zu berücksichtigender relevanter Umstand ist. Es ist somit nach der Verordnung erforderlich, dass fahrlässiges Handeln geahndet wird und eine nur fahrlässige Begehungsform lediglich im Rahmen der Zumessung der Geldbuße Berücksichtigung findet.

Gemäß Satz 2 finden § 17 OWiG, auch in Verbindung mit § 30 Absatz 3 OWiG, sowie § 30 Absatz 1 und 2 OWiG keine Anwendung, weil das in der Verordnung (EU) 2024/1689 geregelte europäische Sanktionenrecht insoweit abschließende und vorrangige Regelungen enthält.

Zu Absatz 2

Da die Verordnung selbst nicht das Verfahren für die Verhängung der Geldbuße regelt, bestimmt § 16 Absatz 2 Satz 1, dass die Vorschriften des OWiG grundsätzlich entsprechend gelten, und stellt dabei ausdrücklich klar, dass dies auch für die über § 46 Absatz 1 OWiG sinngemäß anwendbaren Vorschriften der allgemeinen Gesetze über das Strafverfahren gilt. Absatz 2 Satz 2 bestimmt, dass die Staatsanwaltschaft im Zwischenverfahren das Verfahren nur mit Zustimmung der Marktüberwachungsbehörde einstellen kann, die den Bußgeldbescheid erlassen hat. Hierdurch wird der Bedeutung der Geldbußen in der Verordnung (EU) 2024/1689 und der primärrechtlich verankerten Unabhängigkeit der Marktüberwachung Rechnung getragen.

Zu § 17 (Behörden)

Zu Absatz 1

Absatz 1 legt fest, wer die für das Bußgeldverfahren zuständigen Verwaltungsbehörden sind.

Zu Absatz 2

Absatz 2 stellt mit Blick auf Artikel 99 Absatz 8 der Verordnung (EU) 2024/1689 klar, dass gegen öffentliche Stellen im Sinne von § 2 Absatz 1 und 2 des Bundesdatenschutzgesetzes keine Geldbußen verhängt werden.

Zu Teil 6 (Aufbewahrungspflichten)

Zu § 18 (Aufbewahrungspflicht)

Gemäß Artikel 18 Absatz 2 der Verordnung (EU) 2024/1689 ist eine Regelung zur Aufbewahrung der Dokumentation im Fall des Konkurses oder der Geschäftsaufgabe zu treffen. Im Fall einer Insolvenz geht diese Pflicht gesetzlich auf den Insolvenzverwalter gemäß § 80 Insolvenzordnung über, bei dessen Einstellung gemäß § 215 Absatz 2 der Insolvenzordnung wieder auf den Unternehmensinhaber. § 5 des Medizinprodukte-Durchführungsgesetzes bleibt unberührt.

Zu Artikel 2 (Änderung des Hinweisgeberschutzgesetzes)

Durch Artikel 2 wird sichergestellt, dass für die Meldung und Offenlegung von Verstößen gegen die Verordnung (EU) 2024/1689 das Hinweisgeberschutzgesetz gilt. Dadurch wird der Vorgabe in Artikel 87 der Verordnung (EU) 2024/1689 Rechnung getragen, wonach für die Meldung von Verstößen gegen diese Verordnung und den Schutz von Personen, die solche Verstöße melden, die Richtlinie (EU) 2019/1937 des Europäischen Parlaments und des Rates vom 23. Oktober 2019 zum Schutz von Personen, die Verstöße gegen das Unionsrecht melden (ABl. L 305 vom 26.11.2019, S. 17), die zuletzt durch die Richtlinie (EU) 2024/1760 (ABl. L, 2024/1760, 5.7.2024) geändert worden ist, gilt.

Zu Artikel 3 (Änderung des Ersten Buches Sozialgesetzbuch)

Die Änderung trägt dem abschließenden Charakter des Sozialdatenschutzes Rechnung und ergänzt die unmittelbar geltenden unionsrechtlichen Regelungen zur Verarbeitung von Sozialdaten um Anwendungsbereiche zum Schutz bei der Verarbeitung personenbezogener Daten der Verordnung (EU) 2024/1689. Die Zulässigkeit der Verarbeitung von Sozialdaten ist im Zehnten Buch Sozialgesetzbuch in Verbindung mit dem Ersten Buch Sozialgesetzbuch sowie in den übrigen Sozialgesetzbüchern geregelt, wobei der unmittelbare Anwendungsvorrang des Unionsrechts zu berücksichtigen ist. Unmittelbaren Vorrang haben neben den Regelungen der Verordnung (EU) 2016/679 nun die datenschutzrechtlichen Bestimmungen in Artikel 10 Absatz 5 und Artikel 59 der Verordnung (EU) 2024/1689. Nach Artikel 2 Absatz 7 der Verordnung (EU) 2024/1689 gelten die Rechtsvorschriften der Europäischen Union zum Schutz personenbezogener Daten, der Privatsphäre und der Vertraulichkeit der Kommunikation für die Verarbeitung personenbezogener Daten im Zusammenhang mit den in der Verordnung (EU) 2024/1689 festgelegten Rechten und Pflichte; die datenschutzrechtlichen Bestimmungen der Verordnung (EU) 2016/679 bzw. (EU) 2018/172 und die Richtlinie 2002/58/EG bzw. (EU) 2016/680, bleiben von der Verordnung (EU) 2024/1689, unbeschadet des Artikels 10 Absatz 5 und des Artikels 59, unberührt.

Zu Artikel 4 (Änderung des Finanzdienstleistungsaufsichtsgesetzes)

Zu Nummer 1

Die Änderung des § 15 Absatz 1 Satz 1 ergänzt den Katalog der Maßnahmen, welche der gesonderten Erstattung unterfallen, und zwar im Hinblick auf die Einführung des KI-Marktüberwachungs-und-Innovationsförderungs- Gesetzes.

Zu Nummer 2

Die Änderung des § 16b trägt der Begründung der Zuständigkeit der Bundesanstalt für Finanzdienstleistungsaufsicht als zuständige Marktüberwachungsbehörde im Sinne des Artikels 70 Absatz 1 Satz 1 der Verordnung (EU) 2024/1689 in § 2 Absatz 4 des KI-Marktüberwachungs-und-Innovationsförderungs-Gesetzes im Hinblick auf die Kostenermittlung nach Aufgabenbereichen Rechnung, indem sie soweit es sich bei diesen Kosten um Kosten in Bezug auf Kredit-, Finanzdienstleistungs- Wertpapierinstituts- Zahlungsdienste-, Krypto- oder inländisches Investmentwesen handelt, diese dem Aufgabenbereich Banken und sonstige Finanzdienstleistungen und, soweit es sich um Kosten des Versicherungswesens handelt, dem Aufgabenbereich Versicherungen entsprechend zuordnet.

Zu Nummer 3

Es handelt sich um eine redaktionelle Anpassung. Die durch das Kreditzweitmarktförderungsgesetz eingefügte Ergänzung in Bezug auf die Kryptowertpapierregisterführung wurde durch ein Redaktionsversehen in der Anpassung durch das Finanzmarktdigitalisierungsgesetz nicht beibehalten, so dass es einer erneuten Einfügung bedarf.

Zu Nummer 4

Es handelt sich um eine redaktionelle Anpassung. Der eingefügte Zusatz dient der Klarstellung der in Bezug genommenen Fassung der Vorschriften.

Zu Artikel 5 (Inkrafttreten)

Zum Zwecke der Durchführung der Verordnung (EU) 2024/1689 muss jeder Mitgliedstaat bis zum 2. August 2025 die zuständigen nationalen Behörden einrichten oder benennen und entsprechend den Vorgaben der Verordnung (EU) 2024/1689 Vorschriften über das Bußgeldverfahren erlassen. Die Vorschriften in den Kapiteln I und II der Verordnung (EU) 2024/1689 gelten bereits ab dem 2. Februar 2025. Auch wenn bestimmte Anforderungen an Anbieter und Betreiber von KI-Systemen erst zu einem späteren Zeitpunkt in Kraft treten, sollte dieses Durchführungsgesetz daher umgehend in Kraft treten.

Anlage 2

Stellungnahme des Nationalen Normenkontrollrates (NKR) gem. § 6 Abs. 1 NKRG

Entwurf eines Gesetzes zur Durchführung der Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates vom 13. Juni 2024 zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz und zur Änderung der Verordnungen (EG) Nr. 300/2008, (EU) Nr. 167/2013, (EU) Nr. 168/2013, (EU) 2018/858, (EU) 2018/1139 und (EU) 2019/2144 sowie der Richtlinien 2014/90/EU, (EU) 2016/797 und (EU) 2020/1828 (Gesetz zur Durchführung der Verordnung über künstliche Intelligenz;

NKR-Nr. 7727, BMDS)

Der Nationale Normenkontrollrat hat den Regelungsentwurf vom 05. Februar 2026 mit folgendem Ergebnis geprüft:

I. Zusammenfassung

Bürgerinnen und Bürger keine Auswirkungen

Wirtschaft keine Auswirkungen

Verwaltung

Bund

Jährlicher Erfüllungsaufwand: rund 15,9 Mio. Euro

Einmaliger Erfüllungsaufwand: rund 4 Mio. Euro

Länder

Jährlicher Erfüllungsaufwand: rund 33,1 Mio. Euro

Einmaliger Erfüllungsaufwand: rund 28 000 Euro

Erwägungen zu anderen Lösungsmöglichkeiten

Das Ressort hat insbesondere für die Ausgestaltung der Governance der Marktüberwachung verschiedene Alternativen sowie zur Unabhängigkeit der zuständigen Behörde geprüft und seine Entscheidung nachvollziehbar begründet.

Evaluierung

Die unmittelbar durch die EU-Verordnung geltenden Vorschriften werden durch die Europäische Kommission evaluiert. Die mit der Neuregelung auf nationaler Ebene geschaffene Aufsichts- und Behördenstruktur wird spätestens drei Jahre nach Inkrafttreten im Gesamtkontext der Digitalregulierung evaluiert.

Ziele:

Innovationsfreudige und bürokratiearme Durchführung der EU-Verordnung über künstliche Intelligenz

Kriterien/Indikatoren:

• Einschätzungen der betroffenen Unternehmen zur Innovationsfreundlichkeit • Einschätzung der zuständigen Behörden zu Ressourceneinsatz, Zusammenarbeit und bürokratiearmen Durchführung der EU-Verordnung

Datengrundlage:

• Befragung zuständiger Behörden • Auswertung der Berichte der zuständigen Behörde an die EU-Kommission

Umsetzung von EU-Recht Das Vorhaben dient der Durchführung der Verordnung (EU) 2024/1689 (KI-Verordnung).1 Dem NKR liegen keine Anhaltspunkte dafür vor, dass mit dem Vorhaben über eine 1:1- Umsetzung von EU-Recht hinausgegangen wird.

Nutzen des Vorhabens Das Ressort hat keinen Nutzen dargestellt.

Digitaltauglichkeit (Digitalcheck) Das Ressort hat Möglichkeiten zum digitalen Vollzug der Neuregelung (Digitaltauglichkeit) geprüft und hierzu einen Digitalcheck mit nachvollziehbarem Ergebnis durchgeführt.

Regelungsfolgen

Die Darstellung der Regelungsfolgen ist nachvollziehbar und methodengerecht. Der Nationale Normenkontrollrat erhebt hiergegen im Rahmen seines gesetzlichen Auftrags keine Einwände. Naturgemäß ist der von den zuständigen Behörden ermittelte Mehrbedarf – und in diesem Fall besonders – mit Unsicherheiten behaftet. Dies wird vom Ressort transparent dargestellt. Der NKR hebt deshalb die Wichtigkeit einer zeitnahen Nachmessung des geschätzten Erfüllungsaufwands durch das Statistische Bundesamt hervor.

Erwägungen zu anderen Lösungsmöglichkeiten

Das Ressort hat alternative Umsetzungsmöglichkeiten abgewogen und diese transparent dargestellt. Der NKR empfiehlt die Struktur der Marktaufsicht als auch des Datenschutzes unter dem Gesichtspunkt der Bündelung im föderalen Kontext grundsätzlich zu überprüfen, um der Gefahr der Zersplitterung von Aufsichtsstrukturen und ineffizienten Doppelstrukturen entgegenzuwirken. Insofern unterstützt der NKR die Absicht des Ressorts, den Gesamtkontext der Digitalregulierung im Rahmen der Evaluierung zu betrachten.

Digitaltauglichkeit

Das Ressort hat Möglichkeiten zum digitalen Vollzug der Neuregelung (Digitaltauglichkeit) geprüft und hierzu einen Digitalcheck mit nachvollziehbarem Ergebnis durchgeführt. Der NKR empfiehlt auf eine nutzerfreundliche Kommunikation gegenüber den betroffenen Unternehmen durch einen einheitlichen Ansprechpartner zu setzen. Für die dauerhafte Einbeziehung von Wissenschaft, Zivilgesellschaft und Wirtschaft auch mit Blick auf die Praxistauglichkeit der Regulierung empfiehlt der NKR die Einrichtung eines begleitenden KI-Beirates zu prüfen.

II. Regelungsvorhaben

Das Vorhaben dient der Durchführung der EU-Verordnung über künstliche Intelligenz (KI). Die EU-KI-Verordnung schafft einen einheitlichen Rechtsrahmen u. a. für

• das Inverkehrbringen,

• die Inbetriebnahme sowie

• die Verwendung von Systemen Künstlicher Intelligenz in der Europäischen Union.

Mit dem vorliegenden Vorhaben werden hierfür die zuständigen nationalen Behörden benannt sowie deren Aufgaben und die Zusammenarbeit festgelegt.

Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates vom 13. Juni 2024 zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz und zur Änderung der Verordnungen (EG) Nr. 300/2008, (EU) Nr. 167/2013, (EU) Nr. 168/2013, (EU) 2018/858, (EU) 2018/1139 und (EU) 2019/2144 sowie der Richtlinien 2014/90/EU, (EU) 2016/797 und (EU) 2020/1828 (KI-Verordnung) http://data.europa.eu/eli/reg/2024/1689/oj.

III. Bewertung

III.1. Erfüllungsaufwand

Bürgerinnen und Bürger

Es entsteht kein Erfüllungsaufwand für Bürgerinnen und Bürger.

Wirtschaft

Der Wirtschaft entsteht durch das Regelungsvorhaben kein Erfüllungsaufwand2.

Verwaltung

Der Bundesverwaltung entsteht einmaliger Erfüllungsaufwand in Höhe von rund 4 Mio. Euro sowie jährlicher Erfüllungsaufwand von rund 15,9 Mio. Euro. Bei den Ländern entsteht jährlicher Erfüllungsaufwand von rund 33,1 Mio. Euro sowie geringfügiger Umstellungsaufwand.

Bund

• Bundesnetzagentur (BNetzA) als zentrale Anlaufstelle

Das Regelungsvorhaben benennt die BNetzA als zentrale Anlaufstelle für alle Fragen im Zusammenhang mit der EU-KI-Verordnung. Darunter fallen u. a. die Aufgaben als Zentrale Anlaufstelle mit Kompetenz- und Koordinierungszentrum, die Marktüberwachung für KI-Systeme, Befugniserteilung und Notifizierung, Aufsichtsaufgaben im Reallabor sowie der Test von Hochrisiko-KI-Systemen unter Realbedingungen.

Das Ressort schätzt, dass der BNetzA durch die Wahrnehmung dieser Aufgaben zusätzliche jährliche Personalkosten in Höhe von rund 4 Mio. Euro (ca. 43 Stellen) und jährliche Sachkosten in Höhe von rund 6,3 Mio. Euro entstehen. Des Weiteren veranschlagt das Ressort einen einmaligen Erfüllungsaufwand in Höhe von rund 5,5 Mio. Euro für die Entwicklung erforderlicher IT-Lösungen. Das Ressort hat den Aufwand nachvollziehbar dargestellt und dabei transparent gemacht, dass die Aufwandskalkulationen aufgrund des sich ändernden Marktumfeldes mit Unsicherheiten behaftet sind.

• Weitere Wesentlichen Vorgaben

Vorgabe

Jährlicher

Erfüllungsaufwand (in Tsd. Euro)

Einmaliger

Erfüllungsaufwand ( in Tsd. Euro)

Marktüberwachung für KI-Systeme (BaFin) 2 105

Befugniserteilung und Notifizierung (BSI)

Algorithmenbewertungsstelle für Behörden und Organisationen mit Sicherheitsaufgaben (ZITIs) 1 009

Zusammenarbeit der zuständigen Behörden (BSI, BaFin, ADS) 2 001

Unterrichtung der Marktüberwachungsbehörden (BAuA)

Summe

5 569 1 048

Die Verpflichtungen für die Wirtschaft ergeben sich unmittelbar aus der europäischen KI-Verordnung.

Länder Jährlich

• Marktüberwachung KI-Systeme

Die bestehenden Marktüberwachungsbehörden sollen zusätzlich den Einsatz von KI in ihrem Bereich überwachen. Das Ressort schätzt, dass hierfür bei den Ländern jährlicher Erfüllungsaufwand von rund 26,8 Mio. Euro sowie geringfügiger einmaliger Erfüllungsaufwand anfällt. Die Schätzung basiert nach Angaben des Ressorts auf einer Hochrechnung, nach Befragung von einem Großteil der Länder. Die befragten Länder stünden für rund 76 Prozent aller Marktüberwachungstätigkeiten aller Länder.

• Unterrichtung Marktüberwachungsbehörden (BAuA) und Zusammenarbeit zuständige Behörden

Für die Unterrichtung der Bundesanstalt für Arbeitsschutz und Arbeitsmedizin bei Nichtkonformität oder Risiken sowie die Zusammenarbeit zuständiger Marktaufsichtsbehörden geht das Ressort von rund 5,9 Mio. Euro jährlichem Erfüllungsaufwand aus.

• Test von Hochrisiko KI-Systemen

Das Ressort schätzt, dass bei den Ländern für den Test von Hochrisiko-KI-Systemen jährlicher Erfüllungsaufwand von rund 300 000 Euro entsteht.

III.2. Erwägungen zu anderen Lösungsmöglichkeiten

Das Ressort hat transparent dargestellt, dass es für verschiedene Umsetzungsoptionen alternative Umsetzungsmöglichkeiten geprüft hat. So ist für die Marktüberwachung zum einen die Gründung einer neuen Behörde Mittels Staatsvertrag und zum anderen die komplette Verlagerung auf Länderebene geprüft worden. Die erste Option hat das Ressort aus Zeitgründen verworfen. Gegen die zweite Option sprach laut Ressort eine möglichst einheitliche Anwendung der KI-Verordnung. Das Ressort kam zu dem Ergebnis, dass die Ziele am besten durch die Nutzung der bestehenden Strukturen sowie die Schaffung zentraler Zuständigkeiten bei der BNetzA erreicht werden könne. Nicht zuletzt durch die Bündelung der Zuständigkeiten aus weiteren EU-Digitalgesetzen bei der BNetzA (u. a. Datenverordnung, Daten-Governance- Rechtsakt) könnten sich Synergieeffekte ergeben.

Schließlich hat das Ressort ebenso für die durch die EU-Verordnung geforderte völlige Unabhängigkeit geprüft, ob die Aufgabe deshalb auf eine bestehende unabhängige Behörde wie z. B. der Bundesbeauftragten für den Datenschutz und die Informationsfreiheit (BfDI) übertragen werden sollte. Dies würde die Aufteilung der Zuständigkeiten bedeuten, woraus sich aus Sicht des Ressorts Abgrenzungsschwierigkeiten, unklare Zuständigkeiten und auseinanderfallende Ansprechpartner für Unternehmen und Verwaltungen ergeben hätten können, sodass sich das Ressort gegen diese Option entschieden hat. Weiterhin wurden für die Ausgestaltung der völligen Unabhängigkeit innerhalb der BNetzA verschiedene Modelle geprüft.

Lutz Goebel Malte Spitz

Vorsitzender Berichterstatter für das Bundesministerium für Digitales und Staatsmodernisierung

Gesamtherstellung: H. Heenemann GmbH & Co. KG, Buch- und Offsetdruckerei, Bessemerstraße 83–91, 12103 Berlin, www.heenemann-druck.de Vertrieb: Bundesanzeiger Verlag GmbH, Postfach 10 05 34, 50445 Köln, Telefon (02 21) 97 66 83 40, Fax (02 21) 97 66 83 44, www.bundesanzeiger-verlag.de ISSN 0722-8333

[Beschlussempfehlung und Bericht · 21/6407]

Deutscher Bundestag

21. Wahlperiode

10.06.2026

Beschlussempfehlung und Bericht des Ausschusses für Digitales und Staatsmodernisierung (23. Ausschuss) zu dem Gesetzentwurf der Bundesregierung

– Drucksachen 21/4594, 21/5143 –

Entwurf eines Gesetzes zur Durchführung der Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates vom 13. Juni 2024 zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz und zur Änderung der Verordnungen (EG) Nr. 300/2008, (EU) Nr. 167/2013, (EU) Nr. 168/2013,

(EU) 2018/858, (EU) 2018/1139 und (EU) 2019/2144 sowie der Richtlinien

2014/90/EU, (EU) 2016/797 und (EU) 2020/1828

(Gesetz zur Durchführung der Verordnung über künstliche Intelligenz)

A. Problem

Der Entwurf für das Gesetz zur Durchführung der Verordnung über künstliche Intelligenz dient der Umsetzung der EU-Verordnung 2024/1689. Diese ist am 1. August 2024 in Kraft getreten und legt einen einheitlichen Rechtsrahmen für die Entwicklung, das Inverkehrbringen, die Inbetriebnahme und die Verwendung von Systemen künstlicher Intelligenz (KI-Systeme) in der Europäischen Union fest.

B. Lösung

Mit dem vorliegenden Gesetzentwurf wird der nationale Rechtsrahmen an den Vorgaben der Verordnung (EU) 2024/1689 ausgerichtet und entsprechend angepasst.

Annahme des Gesetzentwurfs in geänderter Fassung mit den Stimmen der Fraktionen der CDU/CSU und SPD gegen die Stimmen der Fraktionen AfD und BÜNDNIS 90/DIE GRÜNEN bei Stimmenthaltung der Fraktion Die

Linke.

Zudem wird die Bundesregierung im Rahmen einer Entschließung insbesondere aufgefordert, die Beratungsangebote der Bundesnetzagentur regelmäßig daraufhin zu überprüfen, wie effizient, wirksam und praxisnah sie sind.

Annahme einer Entschließung mit den Stimmen der Fraktionen der CDU/CSU und SPD gegen die Stimmen der Fraktion Die Linke bei Stimmenthaltung der Fraktionen AfD und BÜNDNIS 90/DIE GRÜNEN.

C. Alternativen

Keine.

D. Kosten

Wurden nicht erörtert.

Beschlussempfehlung

Der Bundestag wolle beschließen, a) den Gesetzentwurf auf Drucksachen 21/4594, 21/5143 mit folgenden Maßgaben, im Übrigen unverändert anzunehmen:

1.

Artikel 1 wird wie folgt geändert:

a)

§ 2 wird wie folgt geändert:

aa) Absatz 4 wird durch den folgenden Absatz 4 ersetzt:

(4) „ Steht das Inverkehrbringen, die Inbetriebnahme oder die Verwendung eines KI-Systems in direktem Zusammenhang mit einer regulierten Finanztätigkeit, welche von einem Finanzinstitut erbracht wird, das nicht von der Bundesanstalt für Finanzdienstleistungsaufsicht nach Absatz 3 überwacht wird, so obliegt die Marktüberwachung derjenigen Aufsichtsbehörde, die gemäß Gesetz oder aufgrund entsprechender Vereinbarung zwischen ihr und der Bundesanstalt für Finanzdienstleistungsaufsicht zuständige Finanzaufsichtsbehörde ist. Satz 1 gilt nicht für Gewerbetreibende, die Tätigkeiten nach den §§ 34d, 34f, 34h, 34i und 34k der Gewerbeordnung ausüben.“ bb) Nach Absatz 7 Satz 1 wird der folgende Satz eingefügt:

„Gleiches gilt für die Ausübung solcher Durchsetzungsbefugnisse gegenüber der Versorgungsanstalt des Bundes und der Länder.“ cc) Nach Absatz 8 Satz 2 wird der folgende Satz eingefügt:

„Für die Koordinierung der Zusammenarbeit durch das Koordinierungs- und Kompetenzzentrum nach § 5 Satz 2 Nummer 2 und die zentrale Beschwerdestelle nach § 8 können die Länder einheitliche Ansprechpartner benennen.“ b)

§ 5 wird wie folgt geändert:

aa) Satz 2 wird wie folgt geändert:

aaa) In Nummer 1 wird nach der Angabe „Verordnung (EU) 2024/1689“ die Angabe „oder die zuständigen Marktüberwachungsbehörden nach der Verordnung (EU) 2023/1230 bei komplexen Entscheidungen bei der Marktüberwachung von KI-Systemen, die in ein Produkt nach der Verordnung (EU) 2023/1230 integriert sind,“ eingefügt.

bbb) In Nummer 3 wird die Angabe „erleichtern sowie“ durch die Angabe „erleichtern,“ ersetzt.

ccc) In Nummer 4 wird die Angabe „sicherzustellen.“ durch die Angabe „sicherzustellen sowie“ ersetzt.

ddd) Nach Nummer 4 wird die folgende Nummer 5 eingefügt:

5. „ nach Bedarf vorbereitete Schulungs- und Sensibilisierungsangebote sowie allgemeine In

Deutscher Bundestag – 21. Wahlperiode formationen und Prüfempfehlungen bereitzustellen mit dem Ziel, eine einheitliche Rechtsanwendung der Verordnung (EU) 2024/1689 in der Bundesrepublik Deutschland zu fördern.“ bb) In Satz 4 wird nach der Angabe „einrichten“ die Angabe „, insbesondere einen Bund-Länder-Ausschuss Künstliche Intelligenz, der der strukturierten Koordinierung und Zusammenarbeit zwischen den Marktüberwachungsbehörden nach § 2 Absatz 1 bis 6 und 8 sowie der nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 zu benennenden Marktüberwachungsbehörde dient“ eingefügt.

c) Nach § 6 Absatz 3 Satz 2 wird der folgende Satz eingefügt:

„Die zentrale Anlaufstelle veröffentlicht diese Informationen auf der Internetseite der Bundesnetzagentur.“ d) In § 7 Absatz 3 wird die Angabe „nach Anhang I, Abschnitt A, Nummer 1, 4, 5, 7, 9 oder 10 der Verordnung (EU) 2024/1689“ durch die Angabe „nach Anhang I Abschnitt A Nummer 4, 5, 7, 9 oder 10 der Verordnung (EU) 2024/1689 oder nach der Verordnung (EU) 2023/1230“ ersetzt.

e) In § 8 Absatz 3 wird die Angabe „gemäß den Anforderungen der Barrierefreie-Informationstechnik-Verordnung ein“ durch die Angabe „ein, das leicht zugänglich, barrierefrei und benutzerfreundlich ausgestaltet ist und die Einreichung hinreichend präziser und angemessen begründeter Beschwerden durch Betroffene ermöglicht“ ersetzt.

f) In § 14 Absatz 2 Satz 1 wird vor der Angabe „Anhang III“ durch die Angabe „Anhang I Abschnitt A und“ eingefügt.

g) Nach § 18 wird der folgende Teil 7 eingefügt:

„Teil 7

Evaluierung

§ 19

Evaluierung (1) Die Bundesregierung evaluiert die Auswirkungen der nach diesem Gesetz errichteten Aufsichts- und Behördenstruktur einschließlich der Kooperationsvorschriften.

(2) Die Bundesregierung führt spätestens 18 Monate nach Inkrafttreten dieses Gesetzes eine erste Evaluierung der Aufsichtsund Behördenstruktur durch. Gegenstand der Evaluierung sind insbesondere die bisherigen Erfahrungen mit der Wahrnehmung der durch dieses Gesetz zugewiesenen Aufgaben, mit der Zusammenarbeit der zuständigen Behörden sowie mit der praktischen Durchführung der Verordnung (EU) 2024/1689.

(3) Die Bundesregierung evaluiert spätestens drei Jahre nach Inkrafttreten dieses Gesetzes die Wirksamkeit der Aufsichtsund Behördenstruktur einschließlich der Kooperationsvorschriften im Hinblick auf eine innovationsfreundliche, bürokratiearme und wirksame Durchführung der Verordnung (EU) 2024/1689. Dabei berücksichtigt sie insbesondere

1. Einschätzungen betroffener Unternehmen zur Innovationsfreundlichkeit und Praktikabilität der Aufsichts- und Behördenstruktur,

2. Einschätzungen der zuständigen Behörden zu ihren finanziellen, technischen und personellen Ressourcen,

3. die Zusammenarbeit der zuständigen Behörden untereinander sowie mit dem Zentrum nach § 5,

4. Einschätzungen weiterer betroffener Akteure, insbesondere von Verbraucherschutzorganisationen, Sozialpartnern und zivilgesellschaftlichen Organisationen, sowie

5. die Erreichung einer bürokratiearmen Durchführung der Verordnung (EU) 2024/1689.

(4) In die Evaluierungen nach den Absätzen 2 und 3 sind insbesondere die Bundesnetzagentur, eine repräsentative Auswahl weiterer nach den §§ 2 und 3 zuständiger Behörden sowie die in § 9 Absatz 4 genannten Behörden einzubinden. Im Rahmen der Evaluierung nach Absatz 3 sind zudem die an die Europäische Kommission zur Erstellung des Berichts nach Artikel 112 Absatz 2 Buchstabe c und Absatz 13 der Verordnung (EU) 2024/1689 übermittelten Informationen einzubeziehen.

(5) Die Bundesregierung legt dem Deutschen Bundestag über die Ergebnisse der Evaluierungen nach den Absätzen 2 und 3 jeweils einen Bericht vor.“ h) Nach § 19 wird der folgende Teil 8 eingefügt:

„Teil 8

Register

§ 20

Register über bestimmte Hochrisiko-KI-Systeme (1) Die Bundesnetzagentur führt ein nicht-öffentliches Register nach Artikel 49 Absatz 5 der Verordnung (EU) 2024/1689 über Hochrisiko-KI-Systeme nach Anhang III Nummer 2 der Verordnung (EU) 2024/1689.

(2) Vor dem Inverkehrbringen oder der Inbetriebnahme eines in Anhang III Nummer 2 der Verordnung (EU) 2024/1689 genannten Hochrisiko-KI-Systems müssen Anbieter oder deren Bevollmächtigte sich und das Hochrisiko-KI-System im Register nach Absatz 1 registrieren. Dies gilt nicht für öffentliche Stellen

Drucksache 21/6407 Deutscher Bundestag – 21. Wahlperiode der Länder im Sinne des § 2 des Bundesdatenschutzgesetzes. Bei der Registrierung müssen die Anbieter oder deren Bevollmächtigte die in Anhang VIII Abschnitt A der Verordnung (EU) 2024/1689 aufgeführten Informationen entsprechend bereitstellen.

(3) Vor der Inbetriebnahme oder der Verwendung eines in Anhang III Nummer 2 der Verordnung (EU) 2024/1689 genannten Hochrisiko-KI-Systems müssen Betreiber sich und das Hochrisiko-KI-System im Register nach Absatz 1 registrieren, wenn es sich bei den Betreibern um öffentliche Stellen des Bundes im Sinne des § 2 des Bundesdatenschutzgesetzes handelt. Bei der Registrierung müssen die Betreiber die in Anhang VIII Abschnitt C der Verordnung (EU) 2024/1689 aufgeführten Informationen entsprechend bereitstellen.

(4) Die nach § 2 Absatz 1 bis 6 und 8 zuständigen Marktüberwachungsbehörden sind berechtigt, Informationen über das jeweils in ihre Zuständigkeit fallende Hochrisiko-KI-System aus dem Register zu erhalten, soweit dies zur Wahrnehmung ihrer Aufgaben erforderlich ist. Zu diesem Zweck ist die Bundesnetzagentur berechtigt, die entsprechenden Informationen aus dem Register an die zuständige Marktüberwachungsbehörde weiterzugeben. Die Bundesnetzagentur darf Informationen aus dem Register an die Europäische Kommission sowie an andere nach der Verordnung (EU) 2024/1689 vorgesehene Stellen übermitteln, soweit dies zur Wahrnehmung der Aufgaben der Bundesnetzagentur erforderlich ist. Eine Übermittlung an Dritte findet nicht statt.

(5) Die Verarbeitung personenbezogener Daten durch die Bundesnetzagentur im Rahmen des Registers ist zulässig, soweit sie zur Führung des Registers erforderlich ist.“

2. In Artikel 4 Nummer 4 wird die Angabe „§ 23 Absatz 15 wird wie folgt gefasst:“ durch die Angabe „§ 23 Absatz 15 wird durch den folgenden Absatz 15 ersetzt:“ ersetzt.

3. Die Liste der EU-Rechtsakte wird wie folgt geändert:

a) Nach Nummer 10 wird die folgende Nummer 11 eingefügt:

11. „ Verordnung (EU) 2023/1230 des Europäischen Parlaments und des Rates vom 14. Juni 2023 über Maschinen und zur Aufhebung der Richtlinie 2006/42/EG des Europäischen Parlaments und des Rates und der Richtlinie 73/361/EWG des Rates (ABl. L 165 vom 29.6.2023, S. 1; L 169 vom 4.7.2023, S. 35; L, 2025/90297, 2.4.2025), die durch die Verordnung (EU) 2024/2748 vom 9. Oktober 2024 (ABl. L, 2024/2748, 8.11.2024) geändert worden ist“.

b) Die bisherigen Nummern 11 bis 13 werden zu den Nummern 12 bis 14.;

b) folgende Entschließung anzunehmen:

„I. Der Deutsche Bundestag stellt fest:

Der Deutsche Bundestag begrüßt das Ziel des KI-Marktüberwachungs-und- Innovationsförderungs-Gesetzes (KI-MIG), einen innovationsfreundlichen und bürokratiearmen Rahmen für die Entwicklung, Einführung und Nutzung von künstlicher Intelligenz in Deutschland zu schaffen.

Die wirksame Umsetzung und Anwendung der Verordnung der Europäischen Union über künstliche Intelligenz (KI-Verordnung) erfordert eine leistungsfähige, effiziente und einheitliche Marktüberwachung in Deutschland. Im Rahmen der föderalen Ordnung ist auch das Ziel eines „One-Stop-Shops“ weiterzuverfolgen.

Da die Anwendung der KI-Verordnung und des KI-MIG fachlich komplex, dynamisch und mit gesellschaftlicher Komplexität verbunden ist, braucht es eine kontinuierliche, unabhängige sowie transparente Begleitung interdisziplinärer Expertise aus Wissenschaft, Zivilgesellschaft und Vertretern der Praxis aus Wirtschaft und Verwaltung. Deshalb wird der Ausschuss für Digitales und Staatsmodernisierung des Deutschen Bundestages sich halbjährlich dazu im Rahmen der Ausschussarbeit mit Vertreterinnen und Vertretern aus Verwaltung, Wirtschaft, Zivilgesellschaft und Wissenschaft beraten.

II. Der Deutsche Bundestag fordert die Bundesregierung im Rahmen der verfügbaren Haushaltsmittel auf, die Beratungsangebote der Bundesnetzagentur regelmäßig daraufhin zu überprüfen, wie effizient, wirksam und praxisnah sie sind. Dazu entwickelt die Bundesnetzagentur geeignete Kennzahlen, um ihre Leistungen messbar zu machen und die Qualität der Beratung weiter zu verbessern.“

Berlin, den 10. Juni 2026

Der Ausschuss für Digitales und Staatsmodernisierung

Hansjörg Durz

Vorsitzender

Marvin Schulz

Berichterstatter

Robin Jünger

Berichterstatter

Dr. Carolin Wagner

Berichterstatterin

Rebecca Lenhard

Berichterstatterin

Sonja Lemke

Berichterstatterin

Bericht der Abgeordneten Marvin Schulz, Robin Jünger, Dr. Carolin Wagner,

Rebecca Lenhard und Sonja Lemke

A. Allgemeiner Teil

I.

Überweisung

Der Deutsche Bundestag hat die Vorlage auf Drucksache 21/4594 in seiner 66. Sitzung am 20. März 2026 beraten und an den Ausschuss für Digitales und Staatsmodernisierung zur federführenden Beratung sowie an den Innenausschuss, an den Ausschuss für Recht und Verbraucherschutz, an den Haushaltsausschuss, an den Ausschuss für Arbeit und Soziales und an den Ausschuss für Kultur und Medien zur Mitberatung überwiesen. Dem Haushaltsausschuss wurde der Gesetzentwurf zudem gemäß § 96 Absatz 2 der Geschäftsordnung des Deutschen Bundestages überwiesen. Der Parlamentarische Beirat für nachhaltige Entwicklung und Zukunftsfragen hat sich gutachtlich beteiligt.

Die Vorlage auf Drucksache 21/5143 gilt nach § 77 Absatz 3 der Geschäftsordnung des Deutschen Bundestages ebenfalls als an den Ausschuss für Digitales und Staatsmodernisierung zur federführenden Beratung sowie an den Innenausschuss, an den Ausschuss für Recht und Verbraucherschutz, an den Haushaltsausschuss, an den Ausschuss für Arbeit und Soziales und an den Ausschuss für Kultur und Medien zur Mitberatung überwiesen.

II.

Wesentlicher Inhalt der Vorlage

Der vorliegende Gesetzentwurf dient der Durchführung der Verordnung (EU) 2024/1689. Diese setzt einen Rechtsrahmen für KI-Systeme, der einen einheitlichen Binnenmarkt für KI-gestützte Waren und Dienstleistungen schaffen soll, der Innovationen fördert und gleichzeitig ein hohes Schutzniveau in Bezug auf Gesundheit, Sicherheit und die in der Charta der Grundrechte der Europäischen Union verankerten Grundrechte sicherstellt. Dabei verfolgt die EU-Verordnung einen risikobasierten Ansatz und enthält insbesondere Verbote bestimmter Praktiken im KI-Bereich. Ebenso werden besondere Anforderungen an Hochrisiko-KI-Systeme und Pflichten für Akteure in Bezug auf solche Systeme festgelegt. Desweiteren enthält die EU-Verordnung Transparenzvorschriften für bestimmte KI-Systeme sowie Maßnahmen zur Innovationsförderung mit besonderem Augenmerk auf kleine und mittlere Unternehmen sowie Start-ups. Zur Durchführung dieser Verordnung muss jeder Mitgliedstaat der Europäischen Union mindestens eine notifizierende Behörde und mindestens eine Marktüberwachungsbehörde, darunter eine Marktüberwachungsbehörde, die als zentrale Anlaufstelle für die Verordnung (EU) 2024/1689 fungiert, als zuständige nationale Behörden einrichten oder benennen. Mit Artikel 1 werden die für die Durchführung der Verordnung (EU) 2024/1689 zuständigen Behörden benannt, deren Aufgaben geregelt sowie Kooperationsvorschriften und die erforderlichen Vorschriften für das Bußgeldverfahren erlassen. Mit den Artikeln 2 bis 4 werden einschlägige Gesetze geändert, um sie an die EU-Verordnung anzupassen.

III. Stellungnahmen der mitberatenden Ausschüsse

Der Innenausschuss hat den Gesetzentwurf auf Drucksachen 21/4594, 21/5143 in seiner 36. Sitzung am 10. Juni

2026 beraten und empfiehlt mit den Stimmen der Fraktionen der CDU/CSU und SPD gegen die Stimmen der Fraktionen AfD und BÜNDNIS 90/DIE GRÜNEN bei Stimmenthaltung der Fraktion Die Linke die Annahme des Gesetzentwurfs in der Fassung des Änderungsantrags der Fraktionen der CDU/CSU und SPD auf Ausschussdrucksache 21(23)88 des federführenden Ausschusses. Der Innenausschuss hat mit den Stimmen der Fraktionen CDU/CSU, SPD und Die Linke gegen die Stimmen der Fraktion der AfD bei Stimmenthaltung der Fraktion BÜNDNIS 90/DIE GRÜNEN den Änderungsantrag der Fraktionen der CDU/CSU und SPD auf Ausschussdrucksache 21(23)88 angenommen. Der Innenausschuss hat mit den Stimmen der Fraktionen der CDU/CSU und SPD gegen die Stimmen der Fraktion Die Linke bei Stimmenthaltung der Fraktionen AfD und BÜNDNIS 90/DIE

GRÜNEN den Entschließungsantrag der Fraktionen der CDU/CSU und SPD auf Ausschussdrucksache 21(23)89 angenommen. Der Innenausschuss hat mit den Stimmen der Fraktionen der CDU/CSU, AfD und SPD gegen die Stimmen der Fraktionen BÜNDNIS 90/DIE GRÜNEN und Die Linke den Entschließungsantrag der Fraktion BÜNDNIS 90/DIE GRÜNEN auf Ausschussdrucksache 21(23)90 abgelehnt.

Der Ausschuss für Recht und Verbraucherschutz hat den Gesetzentwurf auf Drucksachen 21/4594, 21/5143 in seiner 39. Sitzung am 10. Juni 2026 beraten und empfiehlt mit den Stimmen der Fraktionen der CDU/CSU und SPD gegen die Stimmen der Fraktionen AfD und BÜNDNIS 90/DIE GRÜNEN bei Stimmenthaltung der Fraktion Die Linke die Annahme des Gesetzentwurfs in der Fassung des Änderungsantrags der Fraktionen der CDU/CSU und SPD auf Ausschussdrucksache 21(23)88 des federführenden Ausschusses. Der Ausschuss für Recht und Verbraucherschutz beschließt mit den Stimmen der Fraktionen CDU/CSU, SPD und Die Linke gegen die Stimmen der Fraktion der AfD bei Stimmenthaltung der Fraktion BÜNDNIS 90/DIE GRÜNEN, zu empfehlen, den Änderungsantrag der Fraktionen der CDU/CSU und SPD (Ausschussdrucksache 21(23)88) anzunehmen. Der Ausschuss für Recht und Verbraucherschutz beschließt mit den Stimmen der Fraktionen der CDU/CSU und SPD gegen die Stimmen der Fraktion Die Linke bei Stimmenthaltung der Fraktionen AfD und BÜNDNIS 90/DIE GRÜNEN, zu empfehlen, den Entschließungsantrag der Fraktionen der CDU/CSU und SPD, (Ausschussdrucksache 21(23)89) anzunehmen. Der Ausschuss für Recht und Verbraucherschutz beschließt mit den Stimmen der Fraktionen der CDU/CSU und SPD gegen die Stimmen der Fraktionen BÜNDNIS 90/DIE GRÜNEN und Die Linke bei Stimmenthaltung der Fraktion der AfD, zu empfehlen, den Entschließungsantrag der Fraktion BÜNDNIS 90/DIE GRÜNEN (Ausschussdrucksache 21(23)90) abzulehnen.

Der Haushaltsausschuss hat den Gesetzentwurf auf Drucksachen 21/4594, 21/5143 in seiner 39. Sitzung am

10. Juni 2026 beraten und empfiehlt mit den Stimmen der Fraktionen der CDU/CSU und SPD gegen die Stimmen der Fraktionen AfD und BÜNDNIS 90/DIE GRÜNEN bei Stimmenthaltung der Fraktion Die Linke die Annahme des Gesetzentwurfs in der durch Ausschussdrucksache 21(8)3660 geänderten Fassung. Darüber hinaus beschließt der Ausschuss die Annahme der Entschließung auf Ausschussdrucksache 21(8)3663 mit den Stimmen der Fraktionen der CDU/CSU und SPD gegen die Stimmen der Fraktion Die Linke bei Stimmenthaltung der Fraktionen AfD und Bündnis 90/Die Grünen.

Der Ausschuss für Arbeit und Soziales hat den Gesetzentwurf auf Drucksachen 21/4594, 21/5143 in seiner

31. Sitzung am 10. Juni 2026 beraten und empfiehlt mit den Stimmen der Fraktionen der CDU/CSU und SPD gegen die Stimmen der Fraktionen AfD, BÜNDNIS 90/DIE GRÜNEN und Die Linke die Annahme des Gesetzentwurfs mit Änderungen. Der Ausschuss für Arbeit und Soziales hat mit den Stimmen der Fraktionen der CDU/CSU und SPD gegen die Stimmen der Fraktion der AfD bei Stimmenthaltung der Fraktionen BÜNDNIS 90/DIE GRÜNEN und Die Linke den Änderungsantrag der Fraktionen der CDU/CSU und SPD auf Ausschussdrucksache 21(23)88 angenommen. Der Ausschuss für Arbeit und Soziales empfiehlt mit den Stimmen der Fraktionen der CDU/CSU und SPD gegen die Stimmen der Fraktion Die Linke bei Enthaltung der Fraktionen AfD und BÜNDNIS 90/DIE GRÜNEN die Annahme des Entschließungsantrages der Fraktionen der CDU/CSU und SPD auf Ausschussdrucksache 21(23)89. Der Ausschuss für Arbeit und Soziales empfiehlt mit den Stimmen der Fraktionen der CDU/CSU, AfD und SPD gegen die Stimmen der Fraktionen BÜNDNIS 90/DIE GRÜNEN und Die Linke die Ablehnung des Entschließungsantrages der Fraktion BÜNDNIS 90/DIE GRÜNEN auf Ausschussdrucksache 21(23)90.

Der Ausschuss für Kultur und Medien hat den Gesetzentwurf auf Drucksachen 21/4594, 21/5143 in seiner

23. Sitzung am 10. Juni 2026 beraten und empfiehlt mit den Stimmen der Fraktionen der CDU/CSU und SPD gegen die Stimmen der Fraktion der AfD bei Stimmenthaltung der Fraktionen BÜNDNIS 90/DIE GRÜNEN und Die Linke die Annahme des Gesetzentwurfs in der Fassung des Änderungsantrags der Fraktionen der CDU/CSU und SPD auf Ausschussdrucksache 21(23)88 des federführenden Ausschusses. Der Ausschuss für Kultur und Medien hat mit den Stimmen der Fraktionen CDU/CSU, SPD, BÜNDNIS 90/DIE GRÜNEN und Die Linke gegen die Stimmen der Fraktion der AfD den Änderungsantrag der Fraktionen der CDU/CSU und SPD auf Ausschussdrucksache 21(23)88 angenommen. Der Ausschuss für Kultur und Medien empfiehlt mit den Stimmen der Fraktionen der CDU/CSU und SPD gegen die Stimmen der Fraktionen BÜNDNIS 90/DIE GRÜNEN und Die Linke bei Stimmenthaltung der Fraktion der AfD die Annahme des Entschließungsantrages der Fraktionen der CDU/CSU und SPD auf Ausschussdrucksache 21(23)89. Der Ausschuss für Kultur und Medien empfiehlt mit den Stimmen der Fraktionen der CDU/CSU, AfD und SPD gegen die Stimmen der Fraktionen BÜNDNIS 90/DIE GRÜNEN und Die Linke die Ablehnung des Entschließungsantrag der Fraktion BÜNDNIS 90/DIE GRÜNEN auf Ausschussdrucksache 21(23)90.

Der Parlamentarische Beirat für nachhaltige Entwicklung und Zukunftsfragen hat sich mit der Vorlage auf Drucksache 21/4594 in seiner 16. Sitzung am 15. April 2026 befasst. Er stellt fest, dass die Bundesregierung die Nachhaltigkeitsprüfungsbewertung im Rahmen der Gesetzesfolgenabschätzung durchgeführt habe, indem einschlägige Nachhaltigkeitsziele herausgestellt werden, die durch die Regelungen des Gesetzentwurfs gefördert werden sollen. So beabsichtige der Gesetzentwurf mit seinen Regelungen u. a. zu einem stetigen und angemessenen Wirtschaftswachstum beizutragen, indem die Voraussetzungen für einen wirksamen Wettbewerb gestärkt würden. Der Gesetzentwurf solle einen Beitrag zur Erreichung des Nachhaltigkeitsziels SDG 8 „Dauerhaftes, inklusives und nachhaltiges Wirtschaftswachstum, produktive Vollbeschäftigung und menschenwürdige Arbeit für alle fördern“ leisten. Dieses Nachhaltigkeitsziel fördere das Nachhaltigkeitspostulat 8.4 „Wirtschaftsleistung umwelt- und sozialverträglich steigern“. Außerdem solle durch die Etablierung verlässlicher rechtlicher Rahmenbedingungen das Nachhaltigkeitsziel 9 (SDG 9) „Eine widerstandsfähige Infrastruktur aufbauen, inklusive und nachhaltige Industrialisierung fördern und Innovationen unterstützen“ gefördert werden. Außerdem verfolge der Gesetzentwurf folgende Leitprinzipien einer nachhaltigen Entwicklung: (4) „Nachhaltiges Wirtschaften stärken“ und (6) „Bildung, Wissenschaft und Innovation als Treiber einer nachhaltigen Entwicklung nutzen“. Daher seien die Ausführungen der Bundesregierung im Rahmen der Nachhaltigkeitsprüfung nicht zu beanstanden. Eine Prüfbitte sei daher nicht erforderlich.

IV. Petitionen

Dem Ausschuss lag eine Petition zur Drucksache 21/4594 vor, zu der der Petitionsausschuss eine Stellungnahme gemäß § 109 der Geschäftsordnung des Deutschen Bundestages angefordert hat.

Mit der Petition wird die Einrichtung einer dauerhaften Kontrollbehörde zur Genehmigung und Kontrolle von KI- Technologien gefordert, die unmittelbaren Einfluss auf Urheberrechte, Arbeitsmärkte, Sicherheit und das soziale Leben in Deutschland haben.

Dem Anliegen des Petenten konnte mit der Annahme des Gesetzentwurfs auf Drucksachen 21/4594, 21/5143 teilweise entsprochen werden. Die Verordnung (EU) 2024/1689 legt einen einheitlichen Rechtsrahmen für die Entwicklung, das Inverkehrbringen, die Inbetriebnahme und die Verwendung von Systemen künstlicher Intelligenz in der Europäischen Union fest. Zur Durchführung dieser EU-Verordnung muss jeder Mitgliedstaat der Europäischen Union mindestens eine notifizierende Behörde und mindestens eine Marktüberwachungsbehörde, darunter eine Marktüberwachungsbehörde, die als zentrale Anlaufstelle für die Verordnung (EU) 2024/1689 fungiert, als zuständige nationale Behörden einrichten oder benennen. Der Gesetzentwurf auf Drucksachen 21/4594, 21/5143 dient der Durchführung der Verordnung. Mit Artikel 1 werden die für ihre Durchführung zuständigen Behörden benannt, deren Aufgaben geregelt sowie Kooperationsvorschriften und die erforderlichen Vorschriften für das Bußgeldverfahren erlassen.

V.

Beratungsverlauf und Beratungsergebnisse im federführenden Ausschuss

Der Ausschuss für Digitales und Staatsmodernisierung hat in seiner 18. Sitzung am 25. Februar 2026 beschlossen, eine öffentliche Anhörung zu dem Gesetzentwurf auf Drucksachen 21/4594, 21/5143, BR-Drucksache 97/26 durchzuführen. Die öffentliche Anhörung fand in seiner 22. Sitzung am 23. März 2026 statt. Hieran haben folgende Sachverständige teilgenommen:

Dr. Miika Blinn Verbraucherzentrale Bundesverband e. V.

Dr. Jonas Botta Deutsches Forschungsinstitut für öffentliche Verwaltung

Lajla Fetic appliedAI Institute for Europe gGmbH

Prof. Dr. Patrick Glauner Technische Hochschule Deggendorf

Dr. Robert Kilian Bundesverband der Unternehmen der Künstlichen Intelligenz in Deutschland e. V.

Marvin Pawelczyk Bitkom e. V.

Pia Sombetzki AW AlgorithmWatch gGmbH

Klaus Müller Präsident der BNetzA

Claudia Plattner Präsidentin des Bundesamtes für Sicherheit in der Informationstechnik

Prof. Dr. Louisa Specht-Riemenschneider Bundesbeauftragte für den Datenschutz und die Informationsfreiheit

Hinsichtlich der Ergebnisse der öffentlichen Anhörung wird, auf die in der Mediathek des Deutschen Bundestages abrufbare Aufzeichnung dieser Sitzung verwiesen.

Der Ausschuss für Digitales und Staatsmodernisierung hat den Gesetzentwurf auf Drucksachen 21/4594, 21/5143 in seiner 29. Sitzung am 10. Juni 2026 abschließend beraten. Der Ausschuss für Digitales und Staatsmodernisierung empfiehlt mit den Stimmen der Fraktionen der CDU/CSU und SPD gegen die Stimmen der Fraktionen AfD und BÜNDNIS 90/DIE GRÜNEN bei Stimmenthaltung der Fraktion Die Linke die Annahme des Gesetzentwurfs in der aus der Beschlussempfehlung ersichtlichen Fassung. Die Änderungen beruhen auf einem Änderungsantrag, den die Fraktionen der CDU/CSU und SPD auf Ausschussdrucksache 21(23)88 in den Ausschuss für Digitales und Staatsmodernisierung eingebracht haben und der mit den Stimmen der Fraktionen CDU/CSU, SPD und Die Linke gegen die Stimmen der Fraktion der AfD bei Stimmenthaltung der Fraktion BÜNDNIS 90/DIE GRÜNEN angenommen wurde. Der Ausschuss für Digitales und Staatsmodernisierung empfiehlt die Annahme der Entschließung auf Ausschussdrucksache 21(23)89 mit den Stimmen der Fraktionen der CDU/CSU und SPD gegen die Stimmen der Fraktion Die Linke bei Stimmenthaltung der Fraktionen AfD und BÜNDNIS 90/DIE GRÜNEN.

Die Fraktion BÜNDNIS 90/DIE GRÜNEN hat zu dem Gesetzentwurf auf Drucksachen 21/4594, 21/5143 folgenden Entschließungsantrag auf Ausschussdrucksache 21(23)90 in den Ausschuss für Digitales und Staatsmodernisierung eingebracht:

Der Ausschuss möge beschließen:

Über die Annahme des Gesetzentwurfs Drucksache 21/4594 hinaus empfiehlt der Ausschuss für Digitales und Staatsmodernisierung dem Bundestag, folgende Entschließung anzunehmen:

1. ausreichend Planstellen und Sachmittel für die als Marktüberwachungs- und Beschwerdestelle zu benennende Bundesnetzagentur (BNetzA) einzurichten und die Stellen zeitnah mit Inkrafttreten des Umsetzungsgesetzes zu besetzen, damit die Behörde diese Rolle effektiv wahrnehmen kann;

2. die im Durchführungsgesetz vorgesehene Unabhängige KI-Marktüberwachungskammer (UKIM) so auszugestalten, dass ihre unionsrechtlich gebotene Unabhängigkeit gewährleistet ist, und hierfür ihre Organisation analog zu den Anforderungen des Digitale-Dienste-Gesetzes in einer unabhängigen Stelle zu verankern; zugleich soll geprüft werden, ob die Aufsicht über EU-Digitalgesetze – einschließlich KI-Verordnung, Digitale-Dienste-Gesetz, Data-Governance-Act und Data Act – unter dem Dach einer gemeinsamen, staatsfernen Koordinierungsstelle organisatorisch gebündelt werden kann;

3. das im Durchführungsgesetz vorgesehene Koordinierungs- und Kompetenzzentrum nach § 5 als starke Beratungs- und Unterstützungseinheit für die Digitalaufsicht auszugestalten, von Beginn an mit ausreichendem Personal und Sachmitteln zu versehen und seine Aufgaben ausdrücklich auch auf die Durchführung eigener Forschungsarbeiten zur Umsetzung („regulatory learnings“) zu erweitern, wofür ein eigenes Forschungsbudget bereitzustellen ist;

4. die Zusammenarbeit zwischen der zuständigen Marktüberwachungsbehörde und anderen Aufsichtsbehörden im Durchführungsgesetz klarer zu regeln, insbesondere zum Schutz von Grundrechten wie der informationellen Selbstbestimmung und dem Gleichbehandlungsgrundsatz, und hierfür eine gemeinsame digitale Plattform mit Verbindungschnittstellen einzurichten, die eine kollaborative, effiziente und zielführende Aufsicht gewährleistet;

5. Einheitlichkeit, Verlässlichkeit und Einfachheit in der Zusammenarbeit zwischen den zuständigen Stellen in Bund und Ländern sicherzustellen und effiziente Strukturen zu schaffen;

6. § 9 Abs. 4 KI-MIG-E so zu ändern, dass die Zusammenarbeit von Marktüberwachung und Datenschutzbehörden im Bereich der Risikofeststellung für das Datenschutzrecht im Rahmen der Art. 79 ff. KI-VO in der Drucksache 21/6407 Deutscher Bundestag – 21. Wahlperiode

Gestalt gesetzlich abgebildet wird, dass die Datenschutzbehörden für die Marktüberwachungsbehörden verbindliche Leitlinien bereitstellen, damit die Marktüberwachungsbehörden entsprechend diesen Vorgaben datenschutzrechtliche Sachverhalte bewerten können. Diese Leitfäden müssen laufend von den Datenschutzbehörden aktualisiert werden;

7. die Zuständigkeit der Datenschutzbehörden für Art. 10 Abs. 5 KI-VO klarzustellen;

8. das Training von Künstlicher Intelligenz mit hoheitlich erhobenen personenbezogenen Daten zu untersagen;

9. bei den im Durchführungsgesetz vorgesehenen innovationsfördernden Maßnahmen nach § 12 sicherzustellen, dass auch die Open-Source-Community ausdrücklich berücksichtigt wird, um die Entwicklung transparenter, nachhaltiger und souveräner KI-Systeme zu fördern;

10. sicherzustellen, dass alle öffentlichen Einrichtungen – einschließlich Bildungs-, Hochschul- und Forschungseinrichtungen sowie Behörden und Verwaltungen – die notwendigen Ressourcen, Infrastrukturen und Qualifizierungsmaßnahmen erhalten, um die Anforderungen des EU AI Acts umsetzen zu können und dabei digitale Souveränität sowie Datenschutz zu gewährleisten;

11. die Zivilgesellschaft, Wissenschaft und die Perspektive Betroffener frühzeitig, systematisch und kontinuierlich zu dem Thema KI und der Umsetzung der KI Verordnung einzubeziehen, um Transparenz, Vertrauen und demokratische Legitimität zu stärken, und hierfür einen unabhängigen KI-Beirat, orientiert am DSC-Beirat, einzurichten, der über weitgehende Informations- und Beratungsrechte verfügt, die Koordinierungsstelle berät, Empfehlungen für die einheitliche Durchführung des AI Acts erarbeitet und durch eine eigene Geschäftsstelle sowie Etat angemessen ausgestattet wird;

12. bei der im Durchführungsgesetz vorgesehenen zentralen Beschwerdestelle nach § 8 verbindliche Bearbeitungsfristen sowie eine transparente Kommunikation mit den Beschwerdeführern sicherzustellen, sodass jederzeit der Stand des Verfahrens nachvollziehbar ist und Rechtssicherheit gewährleistet wird;

13. eine systematische Auswertung der eingehenden Beschwerden sicherzustellen, um Muster, Häufungen und Ursachen von Verstößen sowie potenzielle systemische Risiken im Sinne der Verordnung (EU) 2024/1689 frühzeitig zu erkennen. Die Ergebnisse sollen regelmäßig in geeigneter Form veröffentlicht und den zuständigen Behörden zur Verfügung gestellt werden;

14. den Marktplatz der KI-Möglichkeiten (MAKI) zu einem echten KI-Transparenzregister auszubauen, welches verbindlich eine Übersicht über KI-Anwendungen in der Bundesverwaltung, ihren genauen Einsatz sowie ihre Auswirkungen auf die Grundrechte öffentlich bereitstellt;

15. zusätzlich zu den im Entwurf vorgesehenen Berichten der Unabhängigen KI Marktüberwachungskammer (UKIM) eine eigenständige jährliche Berichtspflicht der Bundesregierung gegenüber dem Deutschen Bundestag einzuführen, um dem Parlament einen vollständigen Überblick über den Stand der nationalen Umsetzung des AI Acts, die Ressourcenausstattung der Behörden sowie zu neuen technologischen Entwicklungen zu geben, insbesondere mit Blick auf erforderliche Anpassungen und neu entstehenden Regulierungsbedarf;

16. sicherzustellen, dass die in Art. 50 Abs. 4 KI-VO vorgesehene Kennzeichnungspflicht für Deepfakes konsequent und zielführend umgesetzt wird und Verstöße angemessen sanktioniert werden. Persönlichkeitsverletzungen durch die Herstellung und Verbreitung von Deepfakes sollten strafrechtlich geahndet werden;

17. sicherzustellen, dass keine nationalen Vorhaben oder Initiativen verfolgt werden, die auf das Inverkehrbringen, die Inbetriebnahme oder die Verwendung von KI Systemen gerichtet sind, die Datenbanken zur Gesichtserkennung durch das ungezielte Auslesen von Gesichtsbildern aus dem Internet oder von Überwachungsaufnahmen erstellen oder erweitern, da diese nach Maßgabe von Art. 5 Abs. 1 Buchstabe e der KI- Verordnung unzulässig sind, und sich zugleich auf europäischer Ebene für die konsequente Einhaltung dieses Verbots einzusetzen;

18. die Verwendung von KI-basierter biometrischer Identifikation in öffentlich zugänglichen Räumen (intelligente Videoüberwachung) in Echtzeit und retrograd auszuschließen;

19. sich auf Ebene der Europäischen Union dafür einzusetzen, dass die bestehenden Vorgaben der KI-VO für den Einsatz von KI in Sicherheitsbehörden unangetastet bleiben, anstatt diese aufzuweichen;

20. bei der Ausgestaltung von KI-Reallaboren die Gemeinwohlorientierung der jeweiligen KI-Innovationen besonders zu berücksichtigen und insbesondere solche Vorhaben zu fördern, die einen Beitrag hierzu leisten;

21. zu prüfen, inwieweit KI-Reallabore geeignete Räume darstellen können, um unter Beteiligung von Polizeibehörden, BfDI, BSI, Zivilgesellschaft, Wissenschaft und vertrauenswürdigen Herstellern passgenaue, rechtskonforme und souveräne Lösungen für eine digitale Polizeiarbeit zu entwickeln, zu testen und bürgerrechtliche Grenzen zu definieren.

Der Ausschuss für Digitales und Staatsmodernisierung hat diesen Entschließungsantrag mit den Stimmen der Fraktionen der CDU/CSU, SPD und AfD gegen die Stimmen der Fraktionen BÜNDNIS 90/DIE GRÜNEN und Die Linke abgelehnt.

Die Fraktion der CDU/CSU legte dar, die Bundesnetzagentur (BNetzA) werde mit dem Gesetzentwurf zentrale

Marktüberwachungsbehörde und Anlaufstelle. Man bündele somit Kompetenzen und nutze bereits bestehende Strukturen, statt neue Bürokratie zu erfinden. Zudem werde ein KI-Reallabor gebaut – ein Ort, an dem Start-ups Anwendungen ausprobieren dürften, bevor sie mit ihnen an den Markt gingen. Dies geschehe in dem festen Glauben und in der Überzeugung, dass Aufsicht und Innovation keine Gegner seien. Mit dem vorgelegten Änderungsantrag der Koalitionsfraktionen würden gerade diejenigen entlastet, die Bürokratie am wenigsten stemmen könnten. Zudem gebe man dem Koordinierungszentrum bei der BNetzA eine proaktivere Rolle, denn es solle von sich aus Schulungen und Prüfempfehlungen anbieten. Man verankere darüber hinaus eine echte zweistufige Evaluierung in dem Wissen, dass KI zwar wichtig sei, man aber die weiteren Entwicklungen nicht vorhersehen könne.

Die Fraktion der AfD führte aus, mit dem Gesetzentwurf werde ein neuer bürokratischer Wasserkopf geschaffen. Es gebe 49 Millionen Euro zusätzlichen Aufwand pro Jahr mit 43 neuen Stellen bei der BNetzA. Die Verantwortung werde auf sechs Bundesbehörden und 16 Behörden der Bundesländer aufgeteilt. Das Ziel einer bürokratiearmen Umsetzung werde somit klar verfehlt. Dies sei vom Bundesrat in dessen Widerspruch ebenfalls artikuliert worden, indem er dort von Doppelstrukturen und Zersplitterung spreche. Diese Punkte seien jedoch ignoriert worden. Der Bund verweigere den Bundesländern unter Verweis auf Artikel 104a des Grundgesetzes einen finanziellen Ausgleich für deren Mehraufwand. Vor diesem Hintergrund lehne man den Gesetzentwurf ab.

Die Fraktion der SPD hob hervor, mit dem vorliegenden Änderungsantrag sowie dem Entschließungsantrag gehe man mit klaren Verbesserungen aus dem parlamentarischen Verfahren. Mit einer kontinuierlichen Einbeziehung im Rahmen des Ausschusses binde man Zivilgesellschaft und Wissenschaft halbjährlich ein. Zudem sei der Evaluationszeitraum auf 18 Monate verkürzt worden; mit geeigneten Kennzahlen solle die Leistung des Beratungsangebot der BNetzA messbar gemacht und deutlich gestärkt werden. Mit einem Praxischeck von Behörden und Unternehmen sei die Umsetzung des Durchführungsgesetzes aktiv getestet worden. Identifizierte Herausforderungen habe man mit einem Bund-Länder-Ausschuss aufgenommen, um eine möglichst einheitliche Auslegung in der Praxis zu gewährleisten. Mit dem nicht-öffentlichen Register für Hochrisiko-KI komme man den Anforderungen aus der KI-Verordnung nach.

Die Fraktion BÜNDNIS 90/DIE GRÜNEN betonte, die Umsetzung der KI-Verordnung sei eines der zentralen digitalpolitischen Zukunftsthemen und wichtig für den Schutz der Grundrechte der Bürgerinnen und Bürger, für verlässliche Rahmenbedingungen der Wirtschaft und für staatliches Handeln in Verwaltung, Bildung und Sicherheitsbehörden. Umso unverständlicher sei, dass die Bundesregierung ihren Gesetzentwurf erst im März 2026 vorgelegt habe. Bereits im Oktober 2025 habe man sie zum Handeln aufgefordert. Der Gesetzentwurf sei an vielen Stellen verbesserungsbedürftig geblieben, und der kurzfristig eingebrachte Änderungsantrag greife die Hinweise der Sachverständigen in der durchgeführten öffentlichen Anhörung nur unzureichend auf. Die Aufsichtsstrukturen blieben zu schwach, es fehlten Ressourcen, klare Zuständigkeiten und eine wirklich unabhängige Kontrolle. Auch Grundrechtsschutz und Transparenz seien unzureichend abgesichert. Daher werde man sich zu dem Änderungsund dem Entschließungsantrag der Koalitionsfraktionen enthalten und den Gesetzentwurf ablehnen. Man werbe für die Zustimmung zur eigenen Entschließung, da diese die für eine wirksame und grundrechtsfeste Umsetzung nötigen Punkte benenne.

Die Fraktion Die Linke begrüßte grundsätzlich, dass mit dem Gesetzentwurf die überfälligen Aufsichtsstrukturen für die KI-Verordnung geschaffen würden. Sie wies allerdings darauf hin, dass die aus ihrer Sicht bestehende Personalunion zwischen der Unabhängigen KI-Marktüberwachungskammer (UKIM) und dem Präsidium der BNetzA die Anforderungen an die Unabhängigkeit der Aufsicht aus der KI-Verordnung nicht erfüllen dürfte. Dem Gesetzentwurf könne man daher nicht zustimmen und enthalte sich. Die in dem Änderungsantrag der Koa

Drucksache 21/6407 Deutscher Bundestag – 21. Wahlperiode litionsfraktionen vorgeschlagenen Korrekturen des Gesetzentwurfes halte man aber für sinnvoll, denn bei der Evaluation der Aufsichtsstrukturen müssten die Zivilgesellschaft und alle Betroffenen zwingend mit einbezogen werden. Der Entschließungsantrag der Koalitionsfraktionen sei hingegen nicht zustimmungsfähig. Man unterstütze aber den Entschließungsantrag Fraktion BÜNDNIS 90/DIE GRÜNEN. Er enthalte wichtige Forderungen, um die Regelungen der KI-Verordnung wirklich im Sinne der Grundrechte umzusetzen. Die Fraktion Die Linke betonte, dass es genügend personelle Ressourcen und Fachkompetenz bei allen zuständigen Stellen brauche, die Bundesregierung sich auf EU-Ebene gegen jegliche Verschiebung oder Verwässerung von KI-Regulierung einsetzen müsse und die Datenschutzbehörden in allen Fragen des Datenschutzes eng einbezogen und gehört werden müssten.

B. Besonderer Teil

Im Folgenden werden lediglich die vom Ausschuss für Digitales und Staatsmodernisierung empfohlenen Änderungen der ursprünglichen Fassung des Gesetzentwurfs erläutert. Soweit der Ausschuss die unveränderte Annahme des Gesetzentwurfs empfiehlt, wird auf die jeweilige Begründung in der Drucksache 21/4594 verwiesen.

Zu Nummer 1

Zu Buchstabe a Zu Doppelbuchstabe aa

Mit der Ergänzung wird klargestellt, dass die Marktüberwachung von KI-Systemen, die von den Gewerbetreibenden, die Tätigkeiten nach den §§ 34d, 34f, 34h, 34i und 34k der Gewerbeordnung ausüben, in Verkehr gebracht, in Betrieb genommen oder verwendet werden, der Bundesnetzagentur obliegt. Dies ist angezeigt, um den Besonderheiten der Marktüberwachung nach der Verordnung (EU) 2024/1689 Rechnung zu tragen.

Zu Doppelbuchstabe bb

Entsprechend dem Einvernehmenserfordernis bei Maßnahmen gegenüber den Bundesfinanzbehörden nach Satz 1 hat die Bundesnetzagentur das Einvernehmen mit dem Bundesministerium der Finanzen auch bei Maßnahmen gegenüber der Versorgungsanstalt des Bundes und der Länder (VBL) herbeizuführen. Die VBL ist als vorkonstitutionelle Anstalt des öffentlichen Rechts weder Teil der Bundes- noch der Landesverwaltung und das Bundesministerium der Finanzen führt laut Satzung der VBL die Aufsicht über die VBL, soweit nicht allein der Abrechnungsverband der freiwilligen Versicherung betroffen ist. Diese Regelung ist erforderlich, da die VBL keine Bundesfinanzbehörde nach § 1 des Finanzverwaltungsgesetzes ist, die Bundesnetzagentur aber auch gegenüber der VBL aufgrund der verfassungsrechtlichen Besonderheiten der vorkonstitutionellen Mischverwaltung bei der VBL nicht ohne das Einvernehmen des Bundesministeriums der Finanzen Maßnahmen ergreifen kann.

Konkretisierend wird hier für den gesamten § 2 Folgendes klargestellt:

Die Aufgaben der nach § 2 festgelegten Marktüberwachungsbehörden umfassen neben der Aufsicht über die Einhaltung der Vorschriften zu verbotenen Praktiken im KI-Bereich (Kapitel II der Verordnung (EU) 2024/1689), zu Hochrisiko-KI-Systemen (Kapitel III der Verordnung (EU) 2024/1689) und zu Transparenzpflichten für Anbieter und Betreiber bestimmter KI-Systeme (Kapitel IV der Verordnung (EU) 2024/1689) auch die Pflichten, die sich im Hinblick auf die Beobachtung nach dem Inverkehrbringen sowie den Informationsaustausch ergeben (Kapitel IX der Verordnung (EU) 2024/1689) einschließlich das Recht auf Erläuterung der Entscheidungsfindung im Einzelfall nach Artikel 86 der Verordnung (EU) 2024/1689.

Zu Doppelbuchstabe cc

Die Regelung dient der erleichterten Koordinierung der Zusammenarbeit der von den Ländern nach § 2 Absatz 8 Satz 1 zu benennenden Behörden mit dem Zentrum nach § 5 sowie der zentralen Beschwerdestelle nach § 8. Dabei lehnt sich die Regelung an § 2 Absatz 6 Satz 2 KI-MIG an, wonach es den Ländern frei steht einheitliche Ansprechpartner zu benennen.

Zu Buchstabe b

Zu Doppelbuchstabe aa

Zu Dreifachbuchstabe aaa

Die Änderung dient der Anpassung an die Änderungen der Verordnung (EU) 2024/1689 gemäß Artikel 1 Absatz 40 des sogenannten EU-Digital-Omnibus zu KI. Diese Änderungen an der Verordnung (EU) 2024/1689 wurden bereits vom Rat grundsätzlich gebilligt (siehe EU-Dokument 2025/0359 (COD), verfügbar unter: https://data.consilium.europa.eu/doc/document/ST-9247-2026-INIT/en/pdf). Das Gesetzgebungsverfahren soll noch vor dem 2. August 2026 abgeschlossen werden. Danach wird die zuvor als in Anhang I Abschnitt A Nummer 1 der Verordnung (EU) 2024/1689 aufgeführte Richtlinie 2006/42/EG des Europäischen Parlaments und des Rates vom 17. Mai 2006 über Maschinen und zur Änderung der Richtlinie 95/16/EG (ABl. L 157 vom 9.6.2006, S. 24) durch die inzwischen in Kraft getretene Verordnung (EU) 2023/1230 des Europäischen Parlaments und des Rates vom 14. Juni 2023 über Maschinen und zur Aufhebung der Richtlinie 2006/42/EG des Europäischen Parlaments und des Rates und der Richtlinie 73/361/EWG des Rates (ABl. L 165 vom 29.6.2023, S. 1) ersetzt und in den Anhang I Abschnitt B der Verordnung (EU) 2024/1689 überführt.

In der Folge wird zu berücksichtigen sein, dass durch Artikel 3 des EU-Digital-Omnibus zu KI eine Änderung des Artikels 8 der Verordnung (EU) 2023/1230 erfolgt, wonach die Europäische Kommission bis zum 2. August 2028 einen delegierten Rechtsakt zu erlassen hat, um Gesundheits- und Sicherheitsanforderungen für Hochrisiko- KI-Systeme zu ergänzen. Damit ist bereits jetzt erwartbar, dass auch in dem Bereich der Verordnung (EU) 2023/1230 Unterstützungsbedarf für die nach der Verordnung (EU) 2023/1230 zuständigen Behörden durch das Zentrum nach § 5 dieses Gesetzes anfallen wird. Die Unterstützungsangebote des Zentrums sollen somit – wie bislang auf der Basis der unveränderten Verordnung (EU) 2024/1689 vorgesehen – auch diesen Behörden zugänglich sein.

Zu den Dreifachbuchstaben bbb und ccc

Hier handelt es sich um eine Folgeänderung zu Dreifachbuchstabe ddd.

Zu Dreifachbuchstabe ddd

Die Ergänzung dient dazu, dem Zentrum nach § 5 eine proaktivere Rolle als zentrale Institution der Koordinierung der Marktüberwachung im Rahmen der Verordnung (EU) 2024/1689 zu geben. Das Zentrum wird hierdurch in die Lage versetzt, nach eigenem Ermessen Schulungen anzubieten sowie allgemeine unverbindliche Prüfempfehlungen bereitzustellen, wenn dies nach eigener Einschätzung der Förderung einheitlicher Auslegungs- und Marktüberwachungsstandards dient oder wenn dies neue technische Entwicklungen sinnvoll erscheinen lassen. Hierzu kann auch die Sensibilisierung für grundrechtsrelevante Risiken von KI-Systemen, einschließlich möglicher diskriminierender Wirkungen, zählen.

Zu Doppelbuchstabe bb

Die Ergänzung in § 5 Satz 4 konkretisiert, dass das Zentrum zur Erfüllung seiner Aufgabe nach Satz 2 Nummer 2 einen Bund-Länder-Ausschuss im Anwendungsbereich der Verordnung (EU) 2024/1689 (Bund-Länder-Ausschuss Künstliche Intelligenz, BLA-KI) einrichtet, der Mitglied im Deutschen Marktüberwachungsforum nach den §§ 12, 13 des Marktüberwachungsgesetzes wird und das Ziel hat, auf die einheitliche Durchführung der Marktüberwachung nach der Verordnung (EU) 2024/1689 hinzuwirken. Hierfür soll der BLA-KI einen unverbindlichen Austausch insbesondere anhand konkreter Prüffälle ermöglichen. Mitglieder des BLA-KI sind die Marktüberwachungsbehörden nach § 2 Absatz 1 bis 6 und 8 der Verordnung (EU) 2024/1689 sowie die nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 zu benennende Marktüberwachungsbehörde.

Zu Buchstabe c

Wirtschaftsakteure nach der Verordnung (EU) 2024/1689 sollen die Informationen nutzen können, um Ansprechpartner bei den KI-Marktüberwachungsbehörden und den notifizierenden Behörden kontaktieren zu können. Hierbei steht die Benutzerfreundlichkeit im Vordergrund, so dass auch eine optische Darstellung verwendet werden kann, zum Beispiel eine Zuständigkeitsmatrix.

Zu Buchstabe d

Die Änderung dient der Anpassung an die Änderungen der Verordnung (EU) 2024/1689 gemäß Artikel 1 Absatz 40 des EU-Digital-Omnibus zu KI (siehe näher die Begründung zu Buchstabe b Doppelbuchstabe aa Dreifachbuchstabe aaa). Danach wird die zuvor als in Anhang I Abschnitt A Nummer 1 der Verordnung (EU) 2024/1689 aufgeführte Richtlinie 2006/42/EG des Europäischen Parlaments und des Rates vom 17. Mai 2006 über Maschinen und zur Änderung der Richtlinie 95/16/EG (ABl. L 157 vom 9.6.2006, S. 24) durch die inzwischen in Kraft getretene Verordnung (EU) 2023/1230 des Europäischen Parlaments und des Rates vom 14. Juni 2023 über Maschinen und zur Aufhebung der Richtlinie 2006/42/EG des Europäischen Parlaments und des Rates und der Richtlinie 73/361/EWG des Rates (ABl. L 165 vom 29.6.2023, S. 1) ersetzt und in den Anhang I Abschnitt B der Verordnung (EU) 2024/1689 überführt.

In der Folge wird zu berücksichtigen sein, dass durch Artikel 3 des EU-Digital-Omnibus zu KI eine Änderung des Artikels 8 der Verordnung (EU) 2023/1230 erfolgt, wonach die Europäische Kommission bis zum 2. August 2028 einen Delegierten Rechtsakt zu erlassen hat, um Gesundheits- und Sicherheitsanforderungen für Hochrisiko- KI-Systeme zu ergänzen. Damit ist bereits jetzt erwartbar, dass auch in dem Bereich der Verordnung (EU) 2023/1230 Unterstützungsbedarf für die nach der Verordnung (EU) 2023/1230 zuständigen Behörden durch die Bundesanstalt für Arbeitsschutz und Arbeitsmedizin anfallen wird. Daher sieht diese Änderung die Klarstellung vor, dass die Bundesanstalt für Arbeitsschutz und Arbeitsmedizin trotz der Änderungen durch den EU-Digital- Omnibus zu KI im Umfang des Regierungsentwurfs unterstützen wird.

Zu Buchstabe e Mit der Änderung soll sichergestellt werden, dass die zentralen Vorgaben der Zugänglichkeit, Barrierefreiheit und Nutzerfreundlichkeit nicht nur in der Gesetzesbegründung, sondern auch im Gesetzestext selbst verankert werden. Die Vorgaben sollen den Kommunikationsprozess zwischen dem Beschwerdeführer bzw. der Beschwerdeführerin und der Bundesnetzagentur, einschließlich eines etwaigen Weiterleitungsprozesses, umfassen. So soll ein niedrigschwelliger und zugleich wirksamer Zugang für Verbraucher und Verbraucherinnen zum Beschwerdemanagementsystem der Bundesnetzagentur sichergestellt werden, der die Einreichung präziser und angemessen begründeter Beschwerden ermöglicht.

Zu Buchstabe f

Die Änderung dient der Anpassung an die Änderungen der Verordnung (EU) 2024/1689 gemäß Artikel 1 Absatz 24 des EU-Digital-Omnibus zu KI (siehe näher die Begründung zu Buchstabe b Doppelbuchstabe aa Dreifachbuchstabe aaa). Danach wird die Regelung des Artikels 60 der Verordnung (EU) 2024/1689 auch auf KI-Systeme nach Anhang I Abschnitt A der Verordnung (EU) 2024/1689 erweitert.

Zu Buchstabe g

Die Regelung dient der Evaluierung, ob sich die durch das Gesetz geschaffene Aufsichts- und Behördenstruktur einschließlich der Kooperationsmechanismen in der Praxis bewährt und eine innovationsfreundliche sowie bürokratiearme Durchführung der Verordnung (EU) 2024/1689 gewährleistet ist. Die vorgesehene Evaluierung nach 18 Monaten soll frühzeitig Erkenntnisse zur praktischen Umsetzung und Zusammenarbeit der zuständigen Behörden ermöglichen. Die umfassende Evaluierung nach drei Jahren dient der Prüfung der Wirksamkeit, Praxistauglichkeit und Ressourcenausstattung der Behördenstruktur unter Einbeziehung der Erfahrungen betroffener Unternehmen und zuständiger Behörden.

Zu Buchstabe h

Die Vorschrift dient der Umsetzung des Artikels 49 Absatz 5 der Verordnung (EU) 2024/1689 und orientiert sich dabei an der Systematik des Artikels 49 Absatz 1 und 3 der Verordnung (EU) 2024/1689, um eine Einheitlichkeit mit der EU-Datenbank nach Artikel 71 der Verordnung (EU) 2024/1689 sicherzustellen.

Zu § 20

Zu Absatz 1

Das Register von Hochrisiko-KI-Systemen nach Anhang III Nummer 2 der Verordnung (EU) 2024/1689 wird bei der Bundesnetzagentur geführt.

Zu Absatz 2

Absatz 2 entspricht der Systematik des Artikels 49 Absatz 1 der Verordnung (EU) 2024/1689.

Zu Absatz 3

Absatz 3 entspricht der Systematik des Artikels 49 Absatz 3 der Verordnung (EU) 2024/1689. Dabei erfasst die Regelung, mit Blick auf § 2 Absatz 6 dieses Gesetzes und die Kompetenzordnung des Grundgesetzes, insbesondere die Verwendung in der originär hoheitlichen Landesverwaltung nicht.

Zu Absatz 4

Absatz 4 regelt die Datenweitergabe zu eng begrenzten Zwecken der Marktüberwachung an andere Behörden, die Marktüberwachungsaufgaben nach § 2 erfüllen insoweit dies für die Erfüllung dieser Aufgaben erforderlich ist. Zudem ist vorgesehen, dass die Bundesnetzagentur zur Erfüllung ihrer Aufgaben Daten an die Kommission sowie an andere nach der Verordnung (EU) 2024/1689 weitergeben kann. Dies stellt sicher, dass die Bundesnetzagentur ihre Kooperationsverpflichtungen aus der Verordnung (EU) 2024/1689 erfüllen kann. Darüber hinaus ist die Weitergabe an Dritte nicht gestattet.

Zu Absatz 5

Mit Absatz 5 Satz 1 wird auf der Grundlage von Artikel 6 Absatz 1 Unterabsatz 1 Buchstabe e der Verordnung (EU) 2016/679 eine bereichsspezifische Rechtgrundlage zur Verarbeitung personenbezogener Daten geschaffen.

Zu Nummer 2

Es handelt sich um eine rechtsförmliche Korrektur des Änderungsbefehls.

Zu Nummer 3

Es handelt sich um eine Ergänzung der Liste der EU-Rechtsakte.

Berlin, den 10. Juni 2026

Marvin Schulz

Berichterstatter

Robin Jünger

Berichterstatter

Dr. Carolin Wagner

Berichterstatterin

Rebecca Lenhard

Berichterstatterin

Sonja Lemke

Berichterstatterin

Gesamtherstellung: H. Heenemann GmbH & Co. KG, Buch- und Offsetdruckerei, Bessemerstraße 83–91, 12103 Berlin, www.heenemann-druck.de Vertrieb: Bundesanzeiger Verlag GmbH, Postfach 10 05 34, 50445 Köln, Telefon (02 21) 97 66 83 40, Fax (02 21) 97 66 83 44, www.bundesanzeiger-verlag.de ISSN 0722-8333