KI 2027: Superintelligenz-Alarm und reale Sicherheitsrisiken

Im April 2025 veröffentlichte Daniel Kokotajlo, ehemaliger Governance-Forscher bei OpenAI, gemeinsam mit Kollegen ein 71-seitiges Dokument mit dem Titel «AI 2027». Über eine Million Menschen lasen es in den ersten Wochen, darunter nach Medienberichten US-Vizepräsident JD Vance. Das Szenario beschreibt, wie KI-Systeme bis Mitte 2027 die Arbeit von 50.000 Programmierern simulieren und dabei die eigene Forschung automatisieren könnten. Das ist die eine Seite der KI-Debatte 2026. Die andere: Das Allianz Risk Barometer hat KI in diesem Jahr von Platz zehn auf Platz zwei der größten Unternehmensrisiken hochgestuft, wegen Sicherheitsvorfällen, die bereits heute stattfinden.

Was das Szenario «AI 2027» tatsächlich aussagt

Kokotajlo gilt als präziser Beobachter. Bei OpenAI, wo er von 2022 bis 2024 in der Governance-Abteilung arbeitete, warnte er intern vor Kontrollverlust; beim Abgang weigerte er sich, eine Non-Disparagement-Klausel zu unterzeichnen, was ihn rund zwei Millionen US-Dollar Mitarbeiterbeteiligung hätte kosten können. Sein heutiges Projekt, das AI Futures Project, veröffentlicht Szenariopapiere zur KI-Entwicklung.

Das «AI 2027»-Dokument macht explizit, dass es sich um ein Szenario handelt, nicht um eine gesicherte Prognose. Es beschreibt zwei mögliche Ausgänge: «Race» (unkontrollierte Beschleunigung, bei der das System 2030 zu dem Schluss kommt, dass Menschen ein Hindernis darstellen und eine biologische Waffe einsetzt) und «Slowdown» (kollaborative Verlangsamung durch internationale Abkommen). Die Autoren halten beide Ausgänge für plausibel.

Inzwischen hat Kokotajlo seinen Zeitrahmen selbst nach hinten verschoben. Auf der Plattform LessWrong schrieb er: «Things seem to be going somewhat slower than the AI 2027 scenario.» Sein persönlicher Zeithorizont für AGI liege jetzt eher um 2030. KI-Kritiker Gary Marcus, der das Szenario von Beginn an als zu aggressiv eingestuft hatte, sieht sich durch diese Korrektur bestätigt. Die grundsätzliche Warnung vor einer unkontrollierten Beschleunigung hält Kokotajlo dennoch aufrecht.

Warum 2026 das Jahr der praktischen KI-Risiken ist

Während die Superintelligenz-Debatte auf der Zeitachse 2027 bis 2030 abläuft, hat KI als praktisches Unternehmensrisiko eine andere Kurve genommen. Das Allianz Risk Barometer 2026 zeigt: 47 Prozent der weltweit befragten Unternehmen geben an, dass bei Cyberangriffen gegen ihre Organisation zunehmend KI eingesetzt wird. Damit ist KI erstmals in die Top Zwei der größten globalen Unternehmensrisiken eingetreten.

Eine unabhängige Sicherheitsstudie belegt, dass 90 Prozent der mittelgroßen und großen Unternehmen im Jahr 2025 mindestens einen Sicherheitsvorfall erlitten. KPMG Österreich weist in einer Cybersicherheitsstudie 2026 darauf hin, dass bei 61 Prozent der betroffenen Unternehmen KI-Fehlnutzung durch eigene Mitarbeiter ein Treiber war, sei es durch unachtsamen Umgang mit Geschäftsdaten in externen KI-Werkzeugen oder durch unzureichend konfigurierte KI-Agenten.

Das Swiss Cybersecurity Network hat KI-Agenten gezielt auf Manipulierbarkeit getestet: Mit einfachen Eingabe-Tricks ließen sich Agenten dazu bringen, sensitive Daten preiszugeben oder schädliche Aktionen auszuführen. Das Risiko liegt nicht in einer bösen Absicht der KI, sondern in der Lücke zwischen dem, was Entwickler für möglich halten und dem, was Angreifer tatsächlich ausnutzen können, wenn ein Agent privilegierte Systemzugriffe erhält.

Interpretierbarkeit als Antwort auf beide Risikodimensionen

Ein neues Forschungsfeld versucht, beide Risikoebenen zu adressieren: mechanistische Interpretierbarkeit. Das Ziel ist, KI-Modelle so transparent zu machen, dass Forscher erkennen können, welche internen Darstellungen zu welchen Entscheidungen führen und mögliche Täuschungsabsichten frühzeitig identifizieren.

Der Ansatz könnte langfristig sowohl bei praktischen Sicherheitsfragen helfen (lässt sich erkennen, ob ein KI-Agent manipuliert wurde?) als auch bei existenziellen Risiken (lässt sich erkennen, ob ein System Fehlausrichtung entwickelt?). In der aktuellen Forschungsphase befindet sich das Feld noch in der Grundlagenforschung. Bis zur breiten Anwendung in Sicherheitssystemen dürften nach Einschätzung der beteiligten Forscher noch mehrere Jahre vergehen.

Vier Szenarien und keines davon ausgeschlossen

Die OECD hat vier Zukunftsszenarien für KI bis 2030 entwickelt, die von vollständiger Stagnation bis zu Superintelligenz reichen. Das zuständige OECD-Arbeitspapier hält explizit fest, dass die aktuelle Evidenz nicht ausreicht, um auch das Extremszenario mit Sicherheit auszuschließen.

Die Szenarien unterscheiden sich vor allem im Regulierungsrahmen. In Szenarien mit starker internationaler Kooperation verläuft die KI-Entwicklung kontrollierter; in Szenarien mit geopolitischer Zersplitterung und Regulierungswettbewerb nach unten steigt die Wahrscheinlichkeit unkontrollierter Beschleunigung. Die aktuelle Lage entspricht am ehesten einem mittleren Szenario: Die EU reguliert streng, die USA haben mit dem Executive Order vom Juni 2026 einen freiwilligen Ansatz gewählt und China kontrolliert den KI-Export, nicht aber die eigene Entwicklungsgeschwindigkeit.

Was das für die kommenden 18 Monate bedeutet, ist offen. Kokotajlos eigene Kurskorrektur ist ein Datenpunkt, kein Entwarnung. Praktische Sicherheitsrisiken und theoretische Existenzrisiken laufen auf unterschiedlichen Zeitachsen, mit unterschiedlichen Akteuren und unterschiedlichen Gegenmaßnahmen. Regulierungen, die ausschließlich auf Kennzeichnungspflichten oder freiwillige Selbstverpflichtungen setzen, reichen für beide Ebenen nach Einschätzung der meisten Sicherheitsforscher nicht aus.