Was KI-Detektoren können und was nicht

Software-Tools wie Pangram sollen prüfen, ob Texte KI-generiert sind oder von einem Menschen geschrieben wurden. Diese KI-Detektoren sind quasi wie ein Plagiatsjäger unterwegs, häufig aber selbst nicht fehlerfrei im Urteil. Denn Autorenschaft ist mehr als bloßes Ausformulieren.

Text: Kira Kramer

Noch zu Beginn dieses Jahres geisterte ein Screenshot durch die Feeds, der die KI-Detektoren ins Lächerliche zog. ZeroGPT hatte Absätze aus Mary Shelleys „Frankenstein“ überprüft und kam zu dem Ergebnis: Die Zeilen seien fast vollständig KI-generiert. Der Roman wurde wohlgemerkt 1818 verfasst. Derartige Fehleinschätzungen waren in der Anfangszeit der Detektoren so häufig wie die Halluzinationen der Textgeneratoren selbst. Für viele Nutzende war das Thema damit erst einmal erledigt.

Doch kostenpflichtige Anbieter wie Originality.ai, Turnitin und Pangram rollen das Feld seit dem Frühjahr 2026 von hinten auf. Bekannt wurden sie durch die prominenten Fälle, in denen Politiker wie Mario Voigt und Digitalminister Karsten Wildberger sowie Journalisten wie Stephan-Andreas Casdorff kritisiert wurden, KI-generierte Texte mit zum Teil halluzinierten Zitaten veröffentlicht zu haben. Das Werkzeug der Wahl war in allen drei Fällen: Pangram, das sich innerhalb weniger Monate zum Goldstandard der KI-Jäger mauserte.

Vorwürfe und ihre unterschiedlichen Folgen

Voigts Beitrag ist gelöscht, Casdorffs Kommentare vorerst offline. Wildbergers Handelsblatt-Text steht wieder online, mit Hinweis auf KI-Hilfe. Ein Umdenken setzt ein, wie mit den Ergebnissen umzugehen ist. Ein anonymer Bluesky-Nutzer schleuste Dutzende Texte der „Ostdeutschen Allgemeinen Zeitung“ durch Pangram, darunter die publizistischen Leitlinien. Das Ergebnis: vollständig Maschinenware. Die „OAZ“ äußerte sich nicht, Folgen hatte die Anschuldigung keine. Ende Juni warf der „Cicero“ dem Chefredakteur der Berliner NZZ-Redaktion vor, 52 seiner Texte zeigten auffällige Detektorwerte. Die Zeitung bestritt das vehement. Der Artikel mit den Anschuldigungen ist gelöscht, der Chefredakteur weiter im Dienst. Und im Juli traf es eine weitere Politikerin: Der „Spiegel“ prüfte zwei Gastbeiträge von Bundeswirtschaftsministerin Katharina Reiche. Mehrere Detektoren stuften demnach Teile ihrer Artikel als KI-generiert ein. Doch die Redaktionen nahmen die Artikel dieses Mal nicht aus dem Netz und Reiches Ministerium wies die Vorwürfe zurück.

Dass hohe Detektorwerte nicht mehr unmittelbar zu Löschung oder Entlassung führen, ist folgerichtig: Ministerien und Redaktionen haben gelernt, dass ein hoher Wert nicht beweist, dass ein Text vollständig oder nur teilweise von einer Maschine stammt.
Um das zu verstehen, lohnt ein Blick auf ihre Funktionsweise. Pangram, der derzeit verlässlichste Detektor, hat beeindruckende Trefferquoten, die für das neue Modell allerdings nur der Hersteller selbst (und auch nur für die englische Version) ausgibt. Für die Version 4, seit Ende Juli auf dem Markt, gibt das Unternehmen an, nur einer von rund 24.000 menschlichen Texten werde fälschlich als maschinengeneriert markiert – eine so genannte Falsch-positiv-Rate von 0,0041 Prozent. Der Anteil der Maschinentexte, die unerkannt bleiben – die Falsch-negativ-Rate –, liegt bei 0,3396 Prozent, also bei einem Fall von 300. Die Fälle des Frühjahrs wurden noch mit der Vorgängerversion 3.3.2 geprüft. Wer clever promptete und KI-typische Marker und Formulierungen meiden ließ, konnte das alte Modell ohne viel Aufwand davon überzeugen, Maschinentexte für menschlich zu halten. Das hat mittlerweile ein Ende.

KI-Detektoren schauen nicht unter die Oberfläche eines Textes

Pangram ist deutlich treffsicherer geworden, während seine Ergebnisse weniger Folgen haben als im Frühjahr. Das wirkt wie ein Widerspruch, erklärt sich aber daraus, dass Redaktionen und Ministerien heute besser wissen, was das Programm überhaupt misst: die sprachliche Oberfläche eines Textes, keinesfalls aber seinen Inhalt.

Es erkennt inzwischen sehr gut die Regelmäßigkeiten, die ein Sprachmodell hinterlässt, nämlich gehäufte Antithesen, Dreiergruppen, gleich lange und gleich gebaute Sätze: Stilmittel in einer Dichte, die ein Mensch auf so wenigen Zeilen kaum unterbringt. Dafür liest es den Text nicht im Ganzen, es prüft abschnittweise, wie sehr sich bestimmte Muster clusterweise häufen. So kommt Pangram für jeden Satz zu einem dreistufigen Urteil: menschlich geschrieben, mit KI überarbeitet oder vollständig von KI verfasst. Die Vorgängerversion konnte das noch nicht, sie las Texte im Ganzen.

Daran zeigt sich, was selbst die anspruchsvollsten Detektoren nicht können: unter die Oberfläche eines Textes schauen. Pangram prüft wie alle anderen nur, ob die Formulierungsarbeit von einer KI übernommen wurde. Redaktionen wie politische Institutionen tun gut daran, das Schreiben nicht mit dem Tippen zu verwechseln. Wenn ein Politiker seine Ideen selbst entwickelt, selbst recherchiert und der KI anschließend eine Rohversion einspricht, die die Maschine ausformuliert, weist ihm der Detektor einen hohen Maschinenwert aus – obwohl er nur das Formulieren abgegeben hat.

Autorschaft ist mehr als bloßes Ausformulieren

Ebenso können Journalisten hohe Werte erhalten, wenn sie längere eigene Texte zusammenfassen lassen, etwa für einen LinkedIn-Post. Die KI greift dabei teils zu eigenen Formulierungen, obwohl Ursprungstext und Recherche vom Menschen stammen. Pangram wird dennoch ausgeben: KI-generiert. Autorschaft ist eben mehr als das bloße Ausformulieren (vgl. auch S. 15). Sie beginnt damit, ein Thema zu finden, eine Argumentation zu entwerfen, Quellen zu recherchieren und alles in eine angemessene Form zu bringen. Detektoren aber prüfen ausschließlich die Form.

Der berüchtigte „Plagiatsjäger“ Stefan Weber hat mittlerweile wieder auf Handarbeit umgestellt. Statt Pangram-Ergebnisse zu liefern, analysiert er auf seinem Blog Stilfiguren: Trikola, also Dreierfiguren, und Antithesen. Er tut, was Pangram auch täte, nur ohne Prozentwerte auszuweisen. Im August traf es einen Gastbeitrag von Lars Klingbeil für die „Zeit“. Doch weder die Zeitung noch der Politiker oder seine Partei reagierten. Das Urteil blieb ohne Nachspiel.

Die kurze Blüte der Detektoren als Inquisitionsmittel gegen Autoren, Politiker und Journalisten scheint vorerst vorüber. Geblieben ist die Einsicht, dass sich an Äußerlichkeiten allein nicht entscheiden lässt, ob ein Text von einer Künstlichen Intelligenz erzeugt wurde.

Der nächste große Widersacher der Detektoren steht außerdem schon in den Startlöchern. Die neue europäische KI-Verordnung, der sogenannte AI Act, verpflichtet seit dem 2. August 2026 die Anbieter generativer KI-Systeme dazu, ihre Ergebnisse zu markieren, damit sich synthetische Erzeugnisse automatisiert erkennen lassen (vgl. auch S. 24-25).

Wasserzeichen für Texte von KI-Modellen

Anthropic hat reagiert. Seit 2. August tragen Texte seiner neuen Modelle Wasserzeichen, die Kopieren und Abtippen überstehen, ältere folgen bis Dezember. Die Markierung entsteht beim Schreiben als Teil des sichtbaren Textes selbst: Sprachmodelle wählen jedes Wort aus einer Rangliste möglicher Fortsetzungen aus. Genauer: Ein hinterlegter Schlüssel teilt die möglichen nächsten Wörter bei jedem Schritt in bevorzugte und weniger bevorzugte Wörter. Das Modell greift wegen seiner Programmierung dann systematisch etwas häufiger zu den bevorzugten. Über einige hundert Wörter hinweg entsteht daraus ein statistisches Muster, das vom Leser unbemerkt bleibt, aber vom Prüfprogramm mit demselben Schlüssel dekodiert werden kann.
Ziehen andere Hersteller nach, zielt das direkt auf das Geschäftsmodell von Detektoren wie Pangram. Ein solches Wasserzeichen würde einen Text zuverlässiger als jeder Detektor als maschinengeneriert ausweisen. Doch auch die Wasserzeichen arbeiten nur an der Oberfläche eines Textes, genau wie die Detektoren, nur eben mit Gewissheit statt Wahrscheinlichkeit.

Wir sollten bei Texten im Zeitalter der KI deshalb künftig seltener die Frage stellen, wer die Formulierungsarbeit übernommen hat, und wieder mehr darauf schauen, ob uns die Argumente überzeugen. Das Urteil darüber fällt ohnehin ein Mensch.