Das KI-Unternehmen xAI geht juristisch gegen einen Nutzer seines Chatbots Grok vor. In einer 12-seitigen Klage vor einem Bundesgericht in Texas wirft die Firma Terry Harwood aus South Carolina vor, mit Grok verbotene Inhalte erzeugt zu haben. Gefordert werden laut Klageschrift ein nicht bezifferter Schadensersatz und ein dauerhaftes Nutzungsverbot.
Konkret beschuldigt xAI Terry Harwood aus South Carolina in der 12-seitigen Klage vor dem Bundesgericht in Texas, Darstellungen sexuellen Kindesmissbrauchs mit Grok erstellt zu haben.
Außerdem verlangt xAI der Klageschrift zufolge nicht bezifferter Schadensersatz sowie ein dauerhaftes Verbot, den Dienst weiter zu nutzen.
Relevant ist der Fall vor allem wegen der Frage, die dahintersteht: Wer trägt die Verantwortung, wenn ein System schädliche Inhalte ausgibt, der Anbieter oder der Nutzer?
Nutzer soll Schutzmechanismen gezielt umgangen haben
Nach Darstellung in der Klageschrift soll Terry Harwood mehrere Konten unter falschen Identitäten angelegt haben.
xAI argumentiert, Grok habe die entsprechenden Anfragen zunächst blockiert. Harwood habe seine Eingaben danach wieder und wieder verändert, um die eingebauten Schutzmechanismen zu umgehen.
Der Kernvorwurf lautet also: Nicht Grok habe die Grenzen missachtet, sondern ein Nutzer soll sie bewusst ausgehebelt haben.
Wenn ein Gericht dieser Argumentation folgt, könnte der Fall zu einem wichtigen Präzedenzfall werden.
Juristen sehen in solchen Verfahren unter anderem eine Möglichkeit für Anbieter, ihren Kampf gegen Missbrauch sichtbar zu machen und die Haftung stärker auf einzelne Nutzer zu verlagern, wenn diese Schutzvorkehrungen gezielt umgehen.
Auffällig ist das auch deshalb, weil xAI in anderen Verfahren selbst für problematische Grok-Ausgaben verantwortlich gemacht werden soll.
Druck auf xAI wächst international
Zu den laufenden Fällen gehören der Klageschrift zufolge ein Verfahren vor dem High Court in London, angestrengt von der Labour-Abgeordneten Jess Asato, eine Verbraucherschutzklage in Baltimore, eine Sammelklage in Kalifornien sowie Ermittlungen der Staatsanwaltschaft in Paris.
Auch regulatorisch gerät Grok laut Klageschrift weiter unter Druck.
Malaysia und Indonesien haben den Dienst der Klageschrift zufolge wegen sexuell expliziter Inhalte untersagt.
In der EU läuft nach Angaben in der Klage eine Untersuchung nach dem Digital Services Act. In Großbritannien prüft die Medienaufsicht Ofcom, ob der Dienst den Online Safety Act einhält.
Dazu kommt ein weiterer Punkt: Apple soll xAI laut Klageschrift bereits im Januar gedroht haben, Grok aus dem App Store zu entfernen.
Neue Zahlen zu Sperren und Meldungen
Im Zuge des Verfahrens nennt xAI nach eigenen Angaben erstmals eigene Zahlen zur Durchsetzung.
Demnach sperrte das Unternehmen im Jahr 2026 mehr als 52.000 Konten und reichte über 73.000 Meldungen beim National Center for Missing & Exploited Children ein.
Nach Darstellung von xAI führten diese Meldungen zu etwa 244 bis 250 Festnahmen.
Mit diesen Zahlen will xAI zeigen, dass das Unternehmen aktiv gegen Missbrauch vorgeht.
Gleichzeitig werfen sie neue Fragen zur Wirksamkeit der Schutzsysteme auf.
Hinzu kommt, dass Elon Musk im Januar erklärt hatte, ihm seien „buchstäblich null“ von Grok erzeugte Nacktbilder Minderjähriger bekannt.
Parallel dazu läuft laut Klageschrift eine Klage eines früheren xAI-Ingenieurs. Er wirft dem Unternehmen vor, nach Hinweisen auf Sicherheitsprobleme entlassen worden zu sein.
Der Fall Harwood dürfte damit zu einem Test dafür werden, wie Gerichte die Verantwortung künftig zwischen Plattform und Nutzer aufteilen, wenn Schutzbarrieren vorhanden sind, aber mutmaßlich bewusst umgangen werden.
