Generative KI-Modelle basieren auf einer Netzwerkarchitektur, die der Struktur des menschlichen Gehirns ähnelt, der sogenannten Transformer-Architektur.

Diese Netzwerkarchitektur besteht aus künstlichen Neuronen, die miteinander verbunden sind und Informationen verarbeiten.

Dafür kommen Deep-Learning-Techniken zum Einsatz, um komplexe Muster oder Wahrscheinlichkeiten zu erkennen und neue Ergebnisse bei der Verarbeitung von Text, Bildern etc. zu generieren.

Die Funktionsweise generativer KI-Modelle basiert auf der Idee, dass Wörter, die in ähnlichen Kontexten vorkommen, ähnliche Bedeutungen haben. Hierfür kommen Transformer-Architekturen zum Einsatz.

Diese bilden die Grundlage für die mathematische Abbildung der Beziehung zwischen einem Wort und seinem Kontext in Form eines Vektors.

Zuerst werden Wörter in Vektoren (sog. Embeddings) umgewandelt, die ihre Bedeutung darstellen.
Durch die Anordnung der Vektoren lassen sich Ähnlichkeiten zwischen Wörtern messen: Ähnliche Wörter haben ähnliche Vektordarstellungen.
Anhand der Vektordarstellungen werden im Weiteren spezifische Aufgaben zur Generierung neuer Inhalte von den einzelnen Schichten der Transformer-Architektur ausgeführt.

Die unteren Schichten erkennen Wortbestandteile und setzen sie zu ganzen Wörtern zusammen.

Die höheren Schichten erkennen komplexere Beziehungen zwischen Wörtern und Sätzen.

Beispiel: Ich gehe heute schwimmen, da das Wetter… Mit hoher Wahrscheinlichkeit würden die meisten Menschen aus ihrer Erfahrungswelt heraus eher “schön ist” als “schlecht ist” ergänzen.

Bei generativen KI-Modellen ermöglicht es die Transformer-Architektur, verschiedene Bedeutungsaspekte von Wörtern in unterschiedlichen Kontexten einzuteilen, zu klassifizieren und somit zu lernen.

Generative KI: Zusammenfassung

Generative KI-Systeme können verschiedene Arten von Daten gleichzeitig verarbeiten, wodurch sie eine Vielzahl von Aufgaben ausführen können:

Text-to-Text
Text-to-Video
Text-to-Image
Text-to-Music
Image-to…

Das erklärt auch die Abkürzung „GPT“: Diese steht für „generative pre-trained transformer“ und bedeutet, dass diese KI-Modelle darauf trainiert wurden, Inhalte aller Art automatisch zu erzeugen und hierfür auf bereits gesammelte Erfahrungen zurückgreifen.

Beispiel

ChatGPT: Das Sprachmodell kann

... natürlich klingende Konversationen führen
Texte aller Art erstellen (Aufsätze, Gedichte, Zusammenfassungen, Kochrezepte etc.)
gewünschten Stil imitieren (sachlich, poetisch etc.)
Programmcode generieren
Texte übersetzen u. v. m.

Es basiert auf

… Textdaten aus dem Internet (Wikipedia etc.)Büchern Funktioniert … auf Basis von Wahrscheinlichkeitenmittels KI-Algorithmen und mit aufwändigem Training unter Nutzung menschlicher Bewertungen von generierten Inhalten

Es hat aber auch Grenzen:

Liefert immer eine Antwort (auch wenn die Datenbasis nicht ausreichend Informationen zur Anfrage enthält)
Erfindet bisweilen Inhalte oder Quellen („halluziniert“)
Und weitere …