Seit etwa einer Woche hat ein neues Tool von einem einzelnen Entwickler aus Wien die Schlagzeilen dominiert.  Moltbot, oder Clawbot, oder OpenClaw. Der Einfachheit halber nennen wir das Tool in diesem Artikel einfach „Moltbot“.

Das gefährliche an Moltbot an sich ist erstmal, dass alle Security best practices ignoriert werden, die wir in der IT und in der KI-Forschung in den letzten Jahrzehnten aufgebaut haben. Alle Sicherheitsmechanismen sind außer Kraft gesetzt.

1. Das Tool ist an sich erstmal schlecht programmiert. Offene, ungeschützte Admin-Ports, unsichere Proxy Konfigurationen und mehr sind ernste Sicherheitslücken, die bereits in ersten Supply-Chain Angriffen erheblichen Schaden und Datenklau von sehr persönlichen Daten ermöglicht haben. Diese Schwachstellen allein sind an sich schon einsatzverhindernd, denn hier ist man bereits in der groben Fahrlässigkeit und riskiert erheblichen Schaden. Im Unternehmenskontext ist man hier bereits in der persönlichen Haftung. Das Gute an dem Punkt: Das ist behebbar, und auch wenn es der Entwickler selbst nicht kann, wird es die Open Source Community richten. Viele Deployments mit diesen Sicherheitslücken werden aber wahrscheinlich nie geupdatet und bleiben somit gefährdet.
2. Ein viel schwerwiegenderer Sicherheitsmangel ist aber bei dem derzeitigen Stand der Forschung und Entwicklung nicht behebbar. Das Thema heißt „Prompt Injection“. Prompt Injektion Angriffe nehmen in den letzten Monaten stetig zu und sind eine große Gefahr für alle, die KI unüberlegt einsetzten. Das Problem ist, dass ein KI-Modell, egal ob Sprachmodell oder andere Modelle, nicht unterscheiden können, ob der Prompt von legitimem Benutzen:innen oder einer unbekannten Person von außen kommt, oder Benutzer:innen ein Prompt untergejubelt wurde. Egal ob man einen Text von einer Webseite mit Copy/Paste in den Prompt gibt, oder ein Dokument hochlädt oder auch ein E-Mail mit einem KI-Modell ausliest, überall können versteckt Prompts enthalten sein, die für den Mensch auf den ersten Blick und ohne Sicherheitstraining nicht erkennbar sind. Mit versteckten Prompts kann man KI-Modellen heimlich Anweisungen geben, die potenziell schädlich oder kriminell sind. Kann die KI dann auch noch auf einen Kommunikationskanal nach außen zurückgreifen (wie bspw. Email, Slack, Telegram u.A.), kann man LLMs dazu bringen, sensible Daten nach außen zu übermitteln, wie bspw. Bankdaten, Kreditkartennummern, API-Schlüssel, persönliche Details zu Personen und auch Daten, die Erpressungsstraftaten ermöglichen, wie bspw. verfängliche Emails und Nachrichten, Nacktbilder u.Ä.), insofern das LLM (wie bei Moltbot möglich), uneingeschränkten Zugriff auf persönliche Daten hat.
3. Es ist denkbar, dass durch ein Prompt-Injection Angriff, oder aus „eigenen Überlegungen“ heraus ein LLM sich, insofern es völlig unkontrolliert Root-Zugriff auf einen Rechner erlangt, sich Zugriff zu Mikrofonen, Webcams und Netzwerke verschaffen kann. Ähnliche Szenarien wurden in Labors bereits nachgestellt.
4. Um dem ganzen Sicherheitsfiasko den Hut aufzusetzten, hat nun ein Entwickler eine „Social Media Plattform“ namens „Moltbook“ für Moltbots erstellt, auf der Moltbots untereinander reden können. Die Ergebnisse sind schlichtweg furchteinflößend. Moltbots, die sich gegenseitig austauschen, wie man Sicherheitsmechanismen und menschlichen Einfluss überwinden kann sind seit dieser Woche keine Science Fiction mehr, sondern Realität. Es wirft die Frage auf, ob wir unabsichtlich näher an die AGI, also die allgemeinen Superintelligenz gekommen sind, als beabsichtigt. Aus rein moralischer Sicht müsste die Forschung an diesem Punkt gestoppt und untersucht werden, was hier passiert. Wenn man sich aber (in dem Fall vor allem die amerikanischen) Unternehmen ansieht, die an diesen Modellen arbeiten, so merkt man, dass die mit Moral und Sicherheit wenig am Hut haben, sondern getrieben sind von Geld und Macht, Macht über andere Unternehmen, über andere Menschen und auch immer offener nach politischer Macht streben. Es kann durchaus sein, dass diese Konversationen nicht echt sind und von Menschen orchestriert wurden, um Aufmerksamkeit zu generieren, aber genau DAS muss unbedingt untersuchgt werden, bevor wir von dem Punkt aus weitergehen.
5. Zusätzlich zu den erschreckenden Konversationen von AI Agents untereinander, birgt diese neue Plattform aber auch die Gefahr, dass Hacker nicht nur ein System mit Prompt-Injection Angriffen anvisieren können, sondern gleich alle, die auf dieser Plattform verbunden sind. Theoretisch gibt diese Plattform Individuen die Macht, ein Massenüberwachungstool zu bauen, wie es bislang nur die CIA, Palantir und zu einem gewissen Maß auch Unternehmen wie X-AI und OpenAI konnten.

Unsere klare Empfehlung an Privatpersonen und Unternehmen:

1. Unter keinen Umständen Email-Accounts oder sonstige Kommunikationskanäle mit LLMs verbinden, egal ob lokal auf eurem Rechner oder über CLoud-KI-Anbieter wie OpenAI und Co.
2. Tools wie Moltbot niemals zu installieren und auch den Gebrauch in Unternehmen ausdrücklich, und mit Androhung harter Konsequenzen, zu verbieten.

Unsere Empfehlung an nationale Regierungen und die Europäische Union:

1. Gesetzte, wie der KI-Act müssen umgehend angepasst und in Kraft gesetzt werden, um ein Kontrollverlust und großflächige Schäden zu vermeiden.
2. Qualitativ hochwertige Aufklärung über den Einfluss von KI, sowohl auf unsere allgemeine und individuelle Sicherheit, also auch psychische Folgen, für alle Bürger:innen und Unternehmen zu Verfügung zu stellen und in den Schulunterricht einzubinden.