#59 Wenn KI Modelle hacken, was als sicher galt

Ein einzelner Entwickler baut mit KI kostenlose Nachbauten von sieben Adobe-Programmen, und kurz danach stuft die Bank HSBC die Adobe-Aktie herab. Brandon Thomas aus Atlanta nennt sein Projekt ArtCraft. Geht es jetzt den Softwareunternehmen an den Kragen? Wir ordnen ein, was wirklich passiert ist. ArtCraft ist noch in einer frühen Alpha-Phase, und es gibt bisher keine geprüften Zahlen zu abgewanderten Adobe-Kunden. Wir fragen uns, was Softwarefirmen noch schützt, wenn der Code kaum noch etwas wert ist. Wer haftet, wenn in KI-Code eine Sicherheitslücke steckt? Und folgt nach den Entlassungen jetzt der Druck auf die Produkte? Außerdem geben wir euch einen Einblick in unsere Vorträge auf der NeulandPro Connect: Sarah sprach über KI Future Skills, Inken über lokale KI und KI-Sicherheit. Inkens Takeaway: Sichere KI gibt es nicht von selbst. Sie entsteht durch Menschen, die Rückrufe über bekannte Nummern machen, für jeden Dienst ein eigenes Passwort nutzen und in Familie und Team ein Codewort vereinbaren. 🔎 Begriff im Fokus: Open Source (quelloffen): Der Bauplan eines Programms ist öffentlich. Alle dürfen ihn ansehen, nutzen und verändern. Spear-Phishing: Ein Angriff, der auf eine einzelne Person zielt. KI-Agenten suchen vorher im Netz alles über sie zusammen, deshalb wirken die Mails so persönlich. Credential Stuffing: Ein gestohlenes Passwort wird automatisch bei vielen Diensten ausprobiert. Mit KI-Agenten geht das in Sekunden. 🔗 Links: PetaPixel: Kostenlose Open-Source-Nachbauten von Photoshop, Premiere und Lightroom Yahoo Finance: HSBC stuft Adobe herab Bloomberg: Analysten waren gegenüber Adobe noch nie so skeptisch Gulf News: Rund 154.000 gestrichene Stellen in der Tech-Branche Wikipedia: Der OpenAI-Hugging-Face-Vorfall Al Jazeera: Cyberangriff auf französische Supermärkte Notebookcheck: Bitkom warnt vor 202 Milliarden Euro Cyber-Schaden vely.ai 📲 Media-Kanäle: 🔗 Sarah’s Instagram: @sarah_rojewski (https://www.instagram.com/sarah_rojewski) 🔗 Inken’s Instagram: @askinkenai (https://www.instagram.com/askinkenai)

In den letzten Wochen haben gleich drei große Firmen persönliche KI-Agenten gestartet. Muse von Meta, Dots von OpenAI und Grok Bot von xAI sollen nicht nur antworten, sondern selbst Aufgaben erledigen. Dazu kommt OpenClaw als Open-Source-Alternative, die ihr selbst betreiben könnt. Gleichzeitig fällt auf, dass Muse und Dots ein ziemlich niedliches Gesicht bekommen haben und Meta mit Muse Charm sogar ein Gerät zeigt, das an ein Tamagotchi erinnert. Wir sortieren, was die vier Agenten können, was sie kosten, wo sie verfügbar sind und worin sie sich unterscheiden. Wir klären, was Muse von Meta AI unterscheidet, und schauen darauf, warum Tech-Konzerne ihre Agenten gerade jetzt so süß aussehen lassen. Dazu kommen Forschung zum Kindchenschema, Studien zu Vertrauen in niedliche Roboter und die Kritik von Jugendschutzgruppen und Fachleuten. Unser Fazit lautet, dass Vertrauen an Zugriffsrechten, Transparenz und Sicherheit hängen sollte und nicht an großen Augen. Prüft also, welchen Zugriff ihr einem Agenten gebt, auch wenn er noch so freundlich aussieht. 🔎 Begriff im Fokus: KI-Agent: Ein Chatbot antwortet auf Fragen. Ein Agent bekommt ein Ziel und arbeitet es selbst ab, zum Beispiel einen Flug buchen, eine Mail schreiben oder etwas einkaufen. Dafür hat er einen eigenen Computer in der Cloud und Zugriff auf eure Apps. Kindchenschema: Große Augen, ein runder Kopf und runde Wangen. Diese Merkmale wirken niedlich und wecken bei uns Fürsorge. Konrad Lorenz hat das in den 1940er Jahren beschrieben. Tamagotchi-Effekt: Menschen bauen eine emotionale Bindung zu digitalen Wesen auf, wenn sie das Gefühl haben, sich um sie kümmern zu müssen. Media Equation: Menschen behandeln Computer und Medien ganz automatisch wie echte Gegenüber. Das haben Byron Reeves und Clifford Nass in den 1990er Jahren gezeigt.

Nach unserer Doppelfolge „KI Stop“ über Weltuntergangs-Stimmung und Doomsday-Schlagzeilen wird es heute ganz praktisch. Unsere Gästin Viviana arbeitet als Cybersecurity Software Engineer bei Google in München. Mit ihr klären wir: Wie werden KI-Agenten gehackt, und wie können sie selbst hacken? Viviana erzählt, wie sie eher zufällig in der Cybersecurity gelandet ist und warum der Job so kreativ ist. Sie erklärt an einem Beispiel aus dem Alltag, was eine Prompt Injection ist. Wir sprechen darüber, wie ihr Team Angriffe automatisch gegen Googles KI-Produkte laufen lässt und warum die Sicherheitsteams dafür in München und Zürich sitzen. Außerdem geht es darum, warum die Cybersecurity mehr Frauen braucht. Pünktlich zum Start des Cybersecurity Awareness Month lautet unser Fazit: Lasst euch keine Angst machen. Bleibt wachsam und prüft, welche Zugriffe euer KI-Agent hat. 📌 Begriff im Fokus: Prompt Injection: Jemand schmuggelt einen versteckten Befehl in Inhalte, die eine KI liest, zum Beispiel in eine E-Mail, eine Webseite oder ein Profil. Der Befehl kann etwa in weißer Schrift auf weißem Hintergrund stehen. Die KI hält ihn für eine Anweisung von euch und führt ihn aus. CIA-Prinzip: Die drei Grundziele der Cybersecurity. Confidentiality (Vertraulichkeit): Unbefugte können eure Daten nicht lesen.

Nach den jüngsten Sicherheitsvorfällen fordern ausgerechnet führende Köpfe der Tech-Branche, die Entwicklung besonders leistungsfähiger KI zu verlangsamen. Doch was soll eigentlich gebremst werden und wer kontrolliert, ob sich Unternehmen und Staaten daran halten? Wir schauen auf den Drei-Stufen-Plan von Anthropic-CEO Dario Amodei: unabhängige Prüfer innerhalb der KI-Unternehmen, gemeinsame Sicherheitsstandards in demokratischen Staaten und internationale Vereinbarungen mit China. Außerdem fragen wir, ob die neuen Warnungen echte Verantwortungsübernahme sind oder ob große KI-Unternehmen versuchen, Regeln zu ihrem eigenen Vorteil mitzugestalten. Zwischen Sicherheitsrisiken, geopolitischem Wettbewerb und wirtschaftlichen Interessen wird deutlich: Ein KI-Slowdown ist keine einfache Pause-Taste. Entscheidend ist, ob Kontrolle, Transparenz und internationale Zusammenarbeit mit dem Entwicklungstempo Schritt halten können. Quellen zur Folge Dario Amodei: „We Must Pace the Frontier“

Jahrelang lieferten sich OpenAI, Anthropic und Google ein Wettrennen um immer leistungsfähigere KI. Doch plötzlich warnen ausgerechnet Menschen aus diesen Unternehmen vor den möglichen Folgen. Auslöser der aktuellen Debatte sind unter anderem ein folgenreicher Sicherheitsvorfall bei Hugging Face und der öffentliche Rücktritt des ehemaligen OpenAI- und Anthropic-Forschers Jacob Coxon. Was zeigen diese Ereignisse wirklich? Können KI-Agenten bereits eigenständig Grenzen überschreiten und zusammenarbeiten? Und wo beginnt die spekulative Erzählung von AGI, Superintelligenz und einer KI, die sich selbst verbessert? Wir sortieren Fakten und Zukunftsszenarien, sprechen über Silicon Valleys Echo Chambers und fragen: Sind die neuen Warnungen ein glaubwürdiger Alarm oder auch ein strategisches Instrument im Wettbewerb um Geld, Macht und Regulierung? In Teil zwei untersuchen wir, wie ein KI-Slowdown konkret aussehen könnte und warum dabei kein Weg an China vorbeiführt. Generative AI: Erstellt Texte, Bilder, Code und andere Inhalte.