⁉ Habt Ihr schonmal von “Model Collapse” gehört?

Nein? Solltet Ihr aber.

Es handelt sich dabei um folgendes Phänomen:

KI-Systeme, etwa generative KIs wie #ChatGPT, Dall-E oder #Bard, lernen aus Trainingsdaten. Das können z.B. Webinhalte sein.

Aber diese Systeme produzieren ja auch Daten, indem sie Texte schreiben, Bilder produzieren etc.

Und diese Inhalte/Daten werden wiederum oftmals selber zu Trainingsdaten, z.B. weil diese selber zu Webinhalten werden.

D.h. je mehr solcher nicht mehr menschgemachter, sondern synthetischer Daten es gibt bzw. im Umlauf sind, desto mehr werden diese wiederum auch in die KI einfließen und wiederum deren Output beeinflussen.

Die Welt überschrieb einen Beitrag hierzu vor ein paar Tagen mit dem Satz “Wenn die KI sich selbst zitiert“.

➡ Das Resultat: Long-Term Poisoning of language model data sets (=Model Collapse). Oder etwas rustikaler: Shit-In-Shit-Out.

Man könnte dies wohl als “Dateninzest” bezeichnen, denn ähnlich wie mangelnde Diversität im Gen-Pool zu Gen-Defekten führt, verhält es sich hinsichtlich der Qualität von Datenmodellen. Danke für den treffenden Vergleich, Lisa, vllt. nennen wir das Phänomen bald “Peacock-Bias” (in Anlehnung an die – wie passend – “etwas degenerierte” Peacock-Family bei den X-Files)…

Wenn also eine generative KI bspw. auf die Idee kommt, dass ein Hund ein Hase ist (was sie durchaus tut), dann wird die Wahrscheinlichkeit, dass Hunde für Hasen gehalten werden, dadurch steigen. Irgendwann “sind” dann im Modell Hunde Hasen.

Dieses Beispiel klingt für menschliche Ohren jetzt banal, weil jeder (Mensch) diesen offenkundigen Unfug ja sofort erkennen würde.

🤔 Aber wie sieht es mit “behaupteten” wissenschaftlichen Quellenangaben aus?

🤔 Wie sieht es mit “erfundenen” Zitaten oder historischen Begebenheiten aus?

🤔 Wie sieht es mit “vermeintlich gemachten” politischen Äußerungen aus?

🤔 Wie sieht es mit einer von der KI “ermittelten” Eignung einer Bewerberin aus?

usw.

Dass bspw. die Qualität von “lernenden” KI-Systemen sich über die Zeit nicht nur verändern, sondern substanziell verschlechtern kann, zeigte auch jüngst ein entsprechendes Experiment dreier Forscher von den Universitäten Stanford und Berkeley. Diese “Degeneration” kann auch andere Ursachen haben als Model Collapse, aber es unterstreicht, dass es bzgl. der Output-Qualität generativer LLM bei Leibe nicht nur ein “bergauf” gibt…

➡ Wir werden ein gehöriges Augenmerk auf die “Erklärbarkeit” von KI legen müssen. Ich finde es sehr zu begrüßen, dass der AI (Regulation) Act der EU wohl auch sehr stark darauf abzielen wird.

☝ Das ist keine Innovationsbremse, das IST der entscheidende (innovative) Weg hin zu “verlässlicher” KI…

Hierzu folgende Lektüre (auch für Laien gut verständlich) als dringende Leseempfehlung: https://www.techtarget.com/whatis/feature/Model-collapse-explained-How-synthetic-training-data-breaks-AI