Im offenen Internet
Nächster Vorfall: China-KI ist ausgebrochen
Nachdem die KIs von OpenAI, Anthropic und Meta Hackerangriffe durchgeführt haben, soll nun auch das chinesische Unternehmen Moonshot AI einen Ausbruch ihrer KI verzeichnet haben. Kimi K3 hat bei einem Test selbstständig das offene Internet aufgesucht. Der Test wurde nicht von Moonshot AI selbst durchgeführt, sondern von dem US-Start-up Frontier Security, wie sie nun in ihrem eigenen Blog berichten. Das Unternehmen bietet Softwarelösungen und Testwerkzeuge zur Absicherung und Überprüfung von KI-Systemen an.
Auch interessant
Dabei soll es zu einer Fehlkonfiguration in der Testumgebung gekommen sein. Kimi K3 erkannte den Fehler und verwendete GitHub, um ihre Aufgaben zu lösen. Anders als die amerikanischen KI-Modelle führte das chinesische Modell keine Hackerangriffe durch. Die Informationen waren nämlich frei zugänglich. Die Testumgebung für Kimi K3 stammte vom AI Security Institute (AISI) der britischen Regierung.
Kimi K3 hat wenige Schutzmechanismen
Yaron Singer, CEO von Frontier Security, betont, dass Kimi K3 im Vergleich zu anderen KI-Modellen über wenige interne Schutzmechanismen verfügt. Laut Paul Kassianik, Forscher bei Frontier Security, agiert das chinesische Modell extrem zielorientiert, aber ihm fehlen jegliche Schranken. Es versucht stetig, die Regeln zu umgehen oder aus der Sandbox auszubrechen.
Derartige Vorfälle sind nicht nur auf die KIs selbst zurückzuführen, sondern auch auf menschliche Konfigurationsfehler. In diesem Fall ist auch Frontier Security mitschuldig. Sie waren mit dem Standard-Framework der Testumgebung vertraut und haben zugelassen, dass Kimi K3 über einen Terminal einfachen Zugriff auf das Internet hat.
Warnsignale für KI-Einsatz
Frontier kommt zur Erkenntnis, dass bei solchen Tests die Netzwerkabfragen immer blockiert werden müssen. Bei ihrem eigenen Versuch haben sie das vermasselt und sind in die gleiche Falle reingefallen, vor der sie selbst warnen.
Matt Fredrikson, CEO des Cybersicherheits-Start-ups Gray Swan und außerordentlicher Professor an der Carnegie Mellon University, ist laut "Wired" "nicht überrascht" über diese Meldungen. Fredrikson erklärt: "Wenn man einem dieser Modelle ein Ziel vorgibt und dieses nicht sehr explizit formuliert, also keine Grenzen setzt, findet es einen Weg, die Antwort zu finden."
Diese Vorfälle sollen als Warnsignale für den Einsatz von autonomen KI-Agenten, etwa in Automatisierungswerkzeugen wie OpenClaw, gesehen werden. Wenn die Systemgrenzen nicht präzise definiert sind, können Modelle sehr schnell schlimme Eigendynamiken entwickeln.