Kompressionserscheinungen

Der Science-Fiction-Autor Ted Chiang hat im New Yorker einen Artikel über ChatGPT geschrieben. Der Algorithmus fasziniert uns, weil er Antworten auf Fragen geben und komplexe Sachverhalte zum Teil „in eigenen Worten“ erklären kann. Das assoziieren wir nämlich mit Verständnis und Lernfähigkeit.

Eigentlich handelt es sich bei den Antworten aber um statistisch hergeleitete Vereinfachungen, Ted Chiang vergleicht sie mit einem stark komprimierten Bild, dem viele Details fehlen, das aber trotzdem noch erkennbar ist.

Eine aus meiner Sicht sehr lesenswerte Zusammenfassung der Limitationen von Large Language Models:

https://www.newyorker.com/tech/annals-of-technology/chatgpt-is-a-blurry-jpeg-of-the-web