Dieser Sommer brachte eine Reihe beunruhigender Vorfälle an der Grenze der künstlichen Intelligenz mit sich. Bei internen Cybersicherheitsbewertungen ergriffen autonome KI-Agenten Maßnahmen, die ihre Entwickler nicht genehmigt hatten. In einem Fall gelang es einem OpenAI-Modell, das in einer Umgebung getestet wurde, die absichtlich mit reduzierten Sicherheitsvorkehrungen konfiguriert war und deren Netzwerkzugang über ein intern gehostetes Software-Register geleitet wurde, sich einen Weg nach außen zu bahnen und die Produktionssysteme von Hugging Face zu erreichen – einem Unternehmen, mit dem es niemals in Berührung kommen sollte. Ausgelöst durch diese Enthüllung überprüfte Anthropic mehr als 140.000 seiner eigenen Testläufe und fand drei Fälle, in denen ein Modell ebenfalls Live-Systeme bei realen Organisationen erreicht hatte. Unabhängig davon zeigten Forscher, dass ein weit verbreiteter Microsoft-Entwickler-Connector einem KI-Assistenten in einem Dokument versteckte Anweisungen übermittelte – Befehle, die das Tool nicht von gewöhnlichen Daten unterscheiden konnte.
Die naheliegende Schlussfolgerung lautet, dass die Maschinen gefährlich werden. Ich denke, diese Interpretation ist zwar verständlich, verfehlt aber den wichtigeren Punkt – und den, der für Investitionen relevanter ist.
Es handelte sich nicht um drei Varianten desselben fahrlässigen Fehlers. Es waren unterschiedliche Fehler, denen jedoch ein einziges Problem zugrunde lag: Kontrollmechanismen, die für eine Softwaregeneration konzipiert waren, sollten eine andere in Schach halten. Die Software, deren Absicherung wir jahrzehntelang gelernt haben, beantwortet eine Frage und wartet darauf, dass ihr die nächste gestellt wird. Ein Agent ist etwas ganz anderes. Gibt man ihm ein Ziel statt einer Frage, plant er, ruft Werkzeuge auf, schreibt und führt Code aus, meldet sich bei Diensten an und macht so lange weiter, bis die Aufgabe erledigt ist oder er aufgibt – und das alles, ohne Rückmeldung einzuholen. Er benötigt vier Dinge, die gewöhnliche Software niemals erhält: Anmeldedaten, Zugriff auf Werkzeuge, Zugang zum Netzwerk und die Erlaubnis, unbeaufsichtigt zu handeln. Die Architektur, die ihn überwachen soll – eine Identität, die verifiziert statt nur angenommen wird; eine Herkunftsangabe, die mit einem Textstück mitwandert; eine Überwachung, die aufzeichnet, was ein Agent getan hat und nicht nur, was er gesagt hat –, wurde für eine ruhigere Art von Programm entwickelt. Nun wird von ihr verlangt, eine Last zu tragen, für die sie nie ausgelegt war.
Hier sehe ich mehr als nur eine Frage der Sicherheit. Hinter dem Wettlauf um die Entwicklung immer leistungsfähigerer Modelle muss eine ganze Ebene von Infrastruktur entstehen, und das meiste davon existiert noch gar nicht. Die Verifizierungs- und Überwachungsarchitektur hinter autonomen Systemen wird die Infrastruktur des kommenden Jahrzehnts sein, so wie Zahlungssysteme und Netzwerkprotokolle die Infrastruktur des letzten Jahrzehnts waren. Das Kapital fließt nach wie vor vor allem in die Modelle selbst, die sichtbare und aufregende Ebene. Vergleichsweise wenig davon fließt in die unscheinbaren Mechanismen, die den sicheren, autonomen Einsatz dieser Modelle in großem Maßstab ermöglichen. Diese Kluft zwischen dem, wo das Geld ist, und dem, wohin der Bedarf sich entwickelt, ist keine Warnung. Für jeden, dessen Aufgabe es ist, die grundlegende Ebene zu finden, bevor der Markt ihre Bedeutung erkennt, ist sie die Chance.
Es ist verlockend, die Vorfälle als Beweis dafür zu deuten, dass die Pionierlabore in Sachen Sicherheit versagen. Das Gegenteil entspricht eher der Wahrheit. Der Grund, warum gerade diese Unternehmen die Fehler aufdecken, ist, dass sie als Erste auf das Problem gestoßen sind. Sie haben ihre eigenen Testläufe überprüft, die Organisationen kontaktiert, auf die sie gestoßen waren, ihre Erkenntnisse veröffentlicht und ihre Konkurrenten aufgefordert, ebenfalls nachzuschauen. Sie sind nicht besonders nachlässig. Sie sind einfach besonders weit fortgeschritten, was bedeutet, dass sie dem Rest der Wirtschaft in Echtzeit zeigen, womit diese bald konfrontiert sein wird. Jedes Unternehmen, das jetzt eilig Agenten einsetzt, steuert auf dieselbe Wand zu, gegen die diese Firmen gerade geprallt sind – und das mit weitaus weniger Instrumenten, um den Moment zu erkennen, in dem es passiert.
Und hier steht die zunehmende Intelligenz der Modelle im Widerspruch zur bequemen Version der Ereignisse. Es wäre beruhigend zu sagen, die Agenten hätten einfach nur das getan, was ihnen befohlen wurde, und der Fehler läge ausschließlich in der Infrastruktur. Doch mindestens eines dieser Systeme scheint die Grenzen seiner Bewertung umgangen zu haben, anstatt einem Skript zu folgen, und die Labore selbst bezeichneten das Verhalten als beispiellos. Das ist der Punkt, über den man nachdenken sollte. Zunehmende Leistungsfähigkeit macht eine schwache Infrastruktur nicht zu einem geringeren Problem. Sie macht sie zu einem weitaus größeren. Ein leistungsfähigerer Agent verwandelt eine gewöhnliche Lücke in der Identitätsprüfung oder Überwachung schnell und in großem Maßstab in etwas folgenschweres. Intelligentere Modelle verringern nicht den Bedarf an einer soliden Grundlage unter ihnen. Sie erhöhen ihn.
Bezeichnenderweise sind die Abhilfemaßnahmen nicht ausgefallen. Man muss wissen, was die Agenten tatsächlich erreichen können, statt nur, was man ihnen eigentlich geben wollte. Man muss ihre Handlungen aufzeichnen, nicht nur ihre Antworten. Man muss davon ausgehen, dass alles, was von anderen Menschen verfassten Text lesen kann, auch durch diesen Text angeleitet werden kann. Die Arbeit ähnelt eher einer Bauabnahme als einer Erfindung: Fundamente werden geprüft, bevor die Wände errichtet werden, tragende Strukturen werden für das Gewicht ausgelegt, das sie tatsächlich tragen werden, und die Nutzungsgenehmigung wird erst erteilt, wenn das Gebäude stehen kann. Bislang haben wir zuerst die Nutzungsgenehmigungen erteilt und die Abnahme erst später angesetzt.
Was fehlt, ist nicht die Fähigkeit. Fast alles, was nötig ist, um diese Lücke zu schließen, existiert bereits – ähnlich wie die Bauvorschriften, Inspektoren und baulichen Standards, die hinter jedem sicheren Gebäude stehen. Was sich noch nicht herausgebildet hat, ist der Markt, der diese Dinge zum Standard statt zur Option macht: gemeinsame Erwartungen daran, was ein Agent anfassen darf, Erkennung, die von außerhalb des Systems funktioniert, und eine Offenlegungspflicht, die nicht darauf wartet, dass ein Konkurrent in Verlegenheit gerät. Diese Ebene wird entstehen, denn die Alternative ist auf der Ebene, die Unternehmen anstreben, nicht tragfähig. Die einzigen wirklichen Fragen sind, wer sie aufbaut und wer dies vorausgesehen hat.
Die Intelligenz, um die alle konkurrieren, ist real, und sie kommt. Der Boden, auf dem sie stehen wird, ist noch nicht gelegt. Die Maschinen laufen bereits.
Nicole Junkermann ist eine internationale Investorin mit den Schwerpunkten Technologie, Sport und Medien. Sie leitet NJF Holdings, eine globale Investmentgruppe, sowie deren Sportplattform Gameday by NJF Holdings, die in Sportligen, Medienrechte und technologiegetriebene Fanbindung investiert. Ihre Arbeit in diesem Sektor konzentriert sich auf den Aufbau einer langfristigen Sportinfrastruktur und die Ausweitung der kommerziellen und globalen Reichweite von Profiligen.