Gemeinsamkeiten zwischen Großen Sprachmodellen und Markow-Prozessen

Große Sprachmodelle wie ChatGPT oder Claude haben einige Gemeinsamkeiten mit Markow-Prozessen:

  • Sie "lernen" aus vorhandenen Texten, was eine passende Fortsetzung eines Textes ist.
  • Sie erzeugen neue Texte Wort für Wort, hängen jeweils ein neues Wort an den bisherigen Text an.
...Und die Unterschiede
Markow-Prozesse Große Sprachmodelle
Feste Länge der Eingabesequenz: Bei Grad 3 werden nur die letzten 3 Wörter berücksichtigt. Bei Grad 4 nur die letzten 4 Wörter etc.  Die Eingabesequenz kann im Prinzip beliebig lang sein.
Nur Sequenzen, die exakt so im Trainingsmaterial vorgekommen sind, können fortgesetzt werden. Jede beliebige Sequenz wird fortgesetzt.

Sinn und Bedeutungen werden nicht erkannt:
"In einen Obstsalat gehören:"
"Zutaten für einen Obstsalat sind:"
"Folgende Früchte werden gern in einen Obstsalat geschnippelt:"
werden nicht als gleich oder ähnlich behandelt, jedes Beispiel müsste separat behandelt werden.

 Sätze mit ähnlicher Bedeutungen werden auch als ähnlich "erkannt" und behandelt.

Zuletzt geändert: Freitag, 14. März 2025, 06:34