Bestärkendes Lernen
Zugbasierte Spiele
Wir haben im ersten Teil unseres Kurses KIs kennengelernt, die zugbasierte Spiele wie Fruchtkräsch oder Reversi spielen können.
Diese lassen sich mit klassischen KI-Verfahren, also ohne maschinelles Lernen, gut lösen.
Letztlich können wir die Lösung als ein Suchproblem verstehen: Alle denkbaren Spielverläufe bilden eine Baumstruktur. Und diese Baumstruktur wird durchsucht nach dem bestmöglichen zukünftigen Spielzustand. Der erste Zug, der zu diesem Spielzustand führt, ist der aktuell beste Zug!
Der Suchbaum eines Fruchtkräsch Spiels
Der Suchbaum eines Spiels für zwei Personen (wie Reversi oder Schach...)
Computerspiele...
Wie sieht es aber mit Computerspielen aus, bei denen es weniger auf das kluge Abwägen von Zügen, sondern auf Schnelligkeit und Geschicklichkeit ankommt? Können KIs auch lernen, solche Spiele zu spielen? Können Computerprogramme etwa klassische Spiele wie Space Invaders, Breakout oder Video Pinball spielen?
Die Spieleklassiker Space Invaders, Breakout und Video Pinball
Beispiel Breakout
Das Video zeigt, wie ein Computer lernt, Breakout zu spielen:
Es ist schwer vorstellbar, dass diese erstaunliche Leistung die Lösung eines Suchproblems ist, wie wir es bei Fruchtkräsch und Reversi gesehen haben! Zwischen zugbasierten Spielen wie Reversi auf der einen Seite und Computerspiele wie Breakout gibt es nämlich erhebliche Unterschiede:
Reversi | Breakout |
Alle Zustände und Züge sind ganzzahlig und aufzählbar. |
Nicht ganzzahlige Zustände möglich |
Zeit spielt keine Rolle Egal, wie lange du über einen Zug nachgedacht hast: Gleiche Züge führen zu gleichen Ergebnissen. |
Zeit spielt eine wichtige Rolle |
Kurzfristige Belohnungen kommen häufig vor Auch wenn es eigentlich um die langfristige Belohnung geht: Einzelne Züge können die Spielsituation stark zu deinen Gunsten verändern, indem sie zum Beispiel eine große Menge gegnerischer Steine umdrehen oder eine Ecke besetzen. |
Kurzfristige Belohnungen sind sehr selten |