Wenn KI schneller ist als der Patch: Überlegungen zum rechtlichen Umgang mit KI-gestützter Schwachstellenanalyse in kritischen und regulierten Sektoren

Künstliche Intelligenz verändert nahezu jeden Bereich öffentlichen Handelns, von der Verwaltungsmodernisierung über die Gesundheitsversorgung bis zur inneren Sicherheit. Über Chancen und Risiken dieser Technologie wird viel diskutiert, und auch wir beschäftigen uns in unserer täglichen Arbeit intensiv damit. Eine Entwicklung verdient dabei aus unserer Sicht jedoch besondere Aufmerksamkeit, weil sie die Schnittstelle von Innovation und Sicherheit in besonderer Intensität offenlegt: die KI-gestützte IT-Schwachstellenanalyse. Gemeint sind KI-Modelle, die Sicherheitslücken in Software und IT-Infrastrukturen zunehmend eigenständig aufzuspüren. Dies gelingt den KI-Modellen zunehmend schneller, umfassender und systematischer, als es bislang menschlichen Sicherheitsforscher:innen möglich war. Für Organisationen und Unternehmen, die kritische Infrastrukturen betreiben oder als wesentliche und wichtige Einrichtungen besonderen regulatorischen Anforderungen unterliegen, ist dies zugleich Risiko, Herausforderung und Chance.

Spannungsfeld Innovation, KI-Regulierung und Sicherheit

Die Regulierungslandschaft zu Cyber und KI in der EU hat sich in den vergangenen Monaten erheblich konkretisiert, denn die rasante technologische Entwicklung benötigt klare Leitplanken. Der EU AI Act schafft einen horizontalen Rechtsrahmen für den Einsatz von KI-Systemen, die NIS2-Richtlinie verschärft die Anforderungen an die Cybersicherheit für in diesem Sinne wesentliche und wichtige Einrichtungen und das KRITIS-DachG führt erstmals Anforderungen an die physische Sicherheit bei KRITIS-Betreibern ein. Gerade die NIS2-Richtlinie bzw. das BSIG erfasst dabei einen deutlich weiteren Kreis an Organisationen und Unternehmen als die bisherige KRITIS-Regulierung – viele Häuser setzen sich derzeit damit auseinander, was das konkret bedeutet.

Die KI-gestützte IT-Schwachstellenanalyse ist ein anschauliches Beispiel dafür, wie diese Felder zusammentreffen und interagieren. Sowohl eine aktive als auch eine passive Perspektive sind dabei relevant: KI kann einerseits ein Werkzeug sein, das die IT-Sicherheit öffentlicher Stellen signifikant verbessert, und andererseits – in den falschen Händen – eine ernsthafte Bedrohung für die IT-Sicherheit darstellen.

In rechtlicher Hinsicht ist vor einem Einsatz unter anderem eine Risikoklassifizierung nach dem EU AI Act vorzunehmen. Diese Einordnung ist in der Praxis alles andere als trivial: Für KI-Systeme, die ausschließlich als Bauteile für Cybersecurity vorgesehen sind, existiert grundsätzlich eine Ausnahme für die Hochrisiko-Einordnung von Sicherheitsbauteilen im Rahmen der Verwaltung und des Betriebs kritischer (digitaler) Infrastrukturen. Gleichzeitig sind Softwaresysteme häufig eng mit physischer Infrastruktur verknüpft, sodass eine sorgfältige Einzelfallbetrachtung erforderlich ist. Wir erleben in unserer Beratungspraxis regelmäßig, wie anspruchsvoll diese Abgrenzungen sein können.

Mit der NIS2 und ihrer deutschen Umsetzung im BSIG haben zudem verschärfte Meldepflichten Einzug in die Cyber-Regulierung gehalten. Das abgestufte Meldesystem sieht bei einem erheblichen Sicherheitsvorfall klare Fristen vor: Eine Erstmeldung ist spätestens innerhalb von 24 Stunden nach Kenntniserlangung an das BSI zu übermitteln, eine qualifizierte Folgemeldung mit erster Bewertung innerhalb von 72 Stunden und ein detaillierter Abschlussbericht innerhalb eines Monats. Bei besonders weitreichenden Vorfällen kann drüber hinaus die Pflicht bestehen, auch betroffene Kunden und Nutzer unverzüglich über den Sicherheitsvorfall zu informieren.

Gerade mit dem Aufkommen autonomer KI-gestützter Angriffe stellt sich eine sehr praktische Frage, die auch uns beschäftigt: Wie lässt sich sicherstellen, dass solche Vorfälle angesichts der deutlich gestiegenen Geschwindigkeit und Dynamik als meldepflichtige Sicherheitsvorfälle zuverlässig und rechtzeitig erkannt werden können? Die schärferen gesetzlichen Meldepflichten treffen hier auf eine Bedrohungsrealität, in der sich Vorfälle und insbesondere Risiken schneller entfalten, als klassische Meldeprozesse mit manueller Erfassung, interner Eskalation und Freigabeschleifen überhaupt greifen können.

Wenn zwischen der Erkennung, Meldung und Behebung kaum noch Zeit bleibt, weil KI-gestützte Angriffe diesen Zeithorizont massiv schrumpfen lassen, stoßen selbst die engen Fristen der NIS2 an praktischen Grenzen. Für viele Unternehmen wächst damit die Aufgabe über eine Art Echtzeit-Compliancereaktion nachzudenken, bei der regulatorische Meldeprozesse nicht mehr nur organisatorisch, sondern auch technisch in die Sicherheitsarchitektur eingebettet werden müssen. Fertige Musterlösungen gibt es dafür aus unserer Sicht bislang nicht; vielmehr handelt es sich um einen fortlaufenden Lern- und Entwicklungsprozess.

Das Problem: Wenn das Zeitfenster auf Minuten schrumpft

Bislang folgte die IT-Sicherheit einem relativ vorhersehbaren Rhythmus. Eine Schwachstelle wurde entdeckt, der Hersteller informiert, ein Patch entwickelt und verteilt. Dabei verstrichen oft Wochen oder gar Monate. Dieses Zeitfenster gab allen Beteiligten oft genug Raum, um entsprechend zu reagieren und Systeme zu aktualisieren und Schutzmaßnahmen zu ergreifen.

Jüngere Entwicklungen zeigen, wie sehr sich dieses Bild verändert. Das neue KI-Modell des KI-Unternehmens Anthropic „Claude Mythos Preview“ eindrücklich die Schwachstellen der herkömmlichen Strukturen auf. Denn das Modell erwies sich nach Unternehmensangaben als außergewöhnlich leistungsfähig bei der eigenständigen Identifikation von IT-Sicherheitslücken und soll in der Lage sein, über Nacht ein funktionsfähiges Angriffsprogramm zu erstellen. Zwar macht Anthropic in diesem Fall das Modell zunächst nicht frei verfügbar, sondern gibt im Rahmen eines Konsortiums „Project Glasswing“ verschiedenen Technologieunternehmen die Möglichkeit, die identifizierten Schwachstellen zu beheben. Allerdings ist davon auszugehen, dass weitere vergleichbare KI-Modelle folgen werden. So hat OpenAI auch ein sicherheitsrelevantes Tool entwickelt, dessen Zugang ebenfalls beschränkt ist.

Diese Entwicklung macht deutlich, wie schwer bestehende Strukturen  mit dem Tempo des technologischen Fortschritts mithalten können. Lange Patchzyklen und aufwändige Abstimmungsprozesse sind nicht darauf ausgelegt, Schutzmaßnahmen innerhalb weniger Minuten ergreifen zu können.

Was bedeutet das für Unternehmen und Organisationen in KRITIS und regulierten Sektoren?

Mythos Preview ist kein Einzelfall, sondern Ausdruck einer strukturellen Verschiebung. Daraus ergeben sich aus unserer Sicht mehrere Handlungsfelder, mit denen sich viele Organisationen und Unternehmen aktuell auseinandersetzen:

1. Governance-Strukturen weiterentwickeln
   
   Wenn KI die erforderliche Reaktionsgeschwindigkeit im Kontext Cybersicherheit fundamental verändert, lohnt es sich Notfallpläne, Eskalationsprotokolle und Meldepflichten kritisch zu prüfen. Zwar wurden durch die NIS2-Richtlinie Reaktionszeiten im Zusammenhang mit Cyber-Sicherheitsvorfällen bereits deutlich verschärft. Allerdings bleibt ein ganzheitlicher Blick sinnvoll, um die Belastbarkeit und Effizienz des gesamten Systems weiterzuentwickelnund Compliancereaktionen nahezu in Echtzeit vornehmen zu können – Perfektion ist hier ohnehin kaum erreichbar, entscheidend ist eher die kontinuierliche Anpassungsfähigkeit.
2. Regulatorische Anforderungen verzahnt denken
   
   Wenn KI Teil der IT-Sicherheitsarchitektur wird, bilden EU AI Act, NIS2-Richtlinie, KRITIS-Verordnung und BSI-Vorgaben kein isoliertes Nebeneinander, sondern ein zusammenhängendes Anforderungsgeflecht. KI als Teil kritischer Infrastruktur kann sowohl Pflichten aus dem AI Act, als auch Nachweispflichten nach dem BSIG (NIS2) auslösen.
   
   Die Risiko-Klassifizierung nach dem AI Act erfordert eine sorgfältige Prüfung und Subsumtion des konkreten Einsatzumfelds. In der Praxis zeigt sich, wie hilfreich es ist, die daraus folgenden Pflichten gemeinsam mit Anforderungen und Meldepflichten aus dem NIS2-Kontext in einem einheitlichen Governance-System und Sicherheitsmanagement zusammenzuführen.
3. KI als Verteidigungsinstrument reflektiert nutzen
   
   Die Technologie, die Angriffe beschleunigt, kann – verantwortungsvoll und regelkonform eingesetzt – ebenso die Verteidigung stärken. Eine entsprechende Beschaffung und Integration von KI-Sicherheitstools werfen dabei anspruchsvolle Fragen auf: Due Diligence, Nutzungsrichtlinien, Governance-Framework. Auch hier gilt: Die Praxis ist selten eindeutig, und Abwägungen sind Teil des Prozesses.
4. Kooperationsmodelle mitdenken
   
   Der Ansatz von „Project Glasswing“ zeigt, dass die Bewältigung KI-induzierter Sicherheitsrisiken nicht im Alleingang gelingen kann. Auch für die deutsche und europäische öffentliche Hand stellt sich die Frage, ob und wie eine Beteiligung an sicherheitssteigernden Initiativen sinnvoll ist und welche rechtlichen Rahmenbedingungen dafür nötig sind.

Ein Blick nach vorn

Die Weiterentwicklung KI-gestützter Schwachstellenanalyse wird die Cybersicherheitslandschaft nachhaltig prägen. Für Organisationen und Unternehmen in kritischen und regulierten Sektoren bedeutet dies: frühzeitig, aufmerksam und lernbereit mit den Entwicklungen umgehen. Die regulatorischen Instrumente, vom EU AI Act bis hin zur NIS2-Richtlinie sind vorhanden. Entscheidend ist aus unserer Sicht weniger der Anspruch auf perfekte Lösungen als vielmehr der bewusste und kontinuierliche Aufbau tragfähiger Governance-Strukturen, damit KI eher zum Schutzschild als zum Einfallstor für kritische (digitale) Infrastruktur wird.