D. Lenz
Erstmals ist es einer künstlichen Intelligenz gelungen Profispieler im Pokerspiel Heads-Up No-Limit Texas Hold’em zu schlagen. Dabei gewann das Computerprogramm mit dem Namen DeepStack haushoch gegen seine menschlichen Gegner da das Programm gelernt hat, sich auf seine Intuition zu verlassen.
Alberta (Kanada). Pokerspiele, gerade die Variante Heads-Up No-Limit Texas Hold’em, sind seit einigen Jahren wieder sehr beliebt. Ob bei einem gemütlichen Abend mit Freunden, beim Online-Poker, als Profispieler auf Turnieren oder als kostenlose Variante das beliebte Kartenspiel Poker wird von Menschen auf der ganzen Welt gespielt – und jetzt auch mit einer künstlichen Intelligenz, die gelernt hat sich auf ihre Intuition zu verlassen.
Matej Moravcik und seine Kollegen von der University of Alberta in Kanada haben eine künstliche Intelligenz (kurz: KI) entwickelt, die ganz andere Fähigkeiten besitzt als bisherige Programme: DeepStack, wie die Forscher ihre künstliche Intelligenz getauft haben, ist in der Lage intuitiv zu handeln.
In den letzten Jahren haben neuronale Netzwerke rasante Sprünge in ihrer Entwicklung gemacht. Sie sind in der Lage sich gegenseitig etwas beizubringen oder besiegen bereits Menschen in den komplexen Brettspielen Schach und Go. Jedoch sind diese Spiele nicht mit Poker zu vergleichen: „Die Erfolge erzielten die Programme in Spielen mit Informationssymmetrie“, erklärt Moravcik. „Alle Mitspieler haben die gleichen Informationen über den Stand des Spiels.“ Diese Ausgangssituation ist aber nur bei wenigen Spielen der Fall. Beim Kartenspiel Poker beispielsweise verfügt jeder Spieler über andere Informationen, welche wiederum für andere Spieler teilweise unbekannt sind – ein klassisches Beispiel für ein Spiel mit unvollständigen Informationen.
Bei der Spielvariante Heads-Up No-Limit Texas Hold’em bekommt jeder Spieler zwei Karten die für andere Spieler nicht sichtbar sind. Fünf weitere Karten werden in drei Folgerunden offen auf den Tisch gelegt. Diese Gemeinschaftskarten und die zwei eigenen Karten ergeben dann das persönliche Pokerblatt. Durch Reaktionen der Gegner und durch sogenannte Bluffs muss der Spieler dann versuchen, diese Runde für sich zu gewinnen.
Wie die Forscher im Fachmagazin Science schreiben, erfordert ein solches Spiel mit unvollständigen Informationen viel komplexere Überlegungen als Spiele mit einer Informationssymmetrie. „Das Pokerspiel Heads-Up No-Limit Texas Hold’em ist in der Anzahl der möglichen Spielentscheidungen vergleichbar mit dem Brettspiel Go. Es gibt mehr als 10 hoch 160 Entscheidungspunkte“, so die Forscher. „Wollte ein Computer diese Möglichkeiten im Vorfeld berechnen, hätte er keine Chance.“
Aus diesem Grund programmierten die Forscher DeepStack anders: „Unser neuronales Netzwerk betrachtet jede Situation des Spiels für sich und denkt in diesem Moment nicht über den Rest der Partie nach“, erklärt Moravcik. Anders als beim Brettspiel Schach oder Go jede Folge eines Zuges bis zum Ende durchzugehen, begnügt sich DeepStack mit einer Art groben Schätzung des Spielverlaufes.
Der Seniorautor Michael Bowling erklärt, das jede Spielsituation für DeepStack wie ein Mini-Pokerspiel sei. „Anstatt das komplette Spiel lösen zu wollen, bewältigt die künstliche Intelligenz viele kleine Mini-Pokerrunden – und jede hilft ihr dabei intuitiv zu erfassen, wie Poker funktioniert.“ Ermöglicht wurde DeepStack dies, durch ein neuronales Netzwerk, das als Basis für seine Intuition dient und rund zehn Millionen Poker-Partien, in dem dies trainiert wurde.
Es ist genau diese Art Intuition, die DeepStack zu einer ganz besonderen Software macht. Natürlich sind neuronale Netzwerke die Poker spielen nicht neu – aber die Art und Weise wie es DeepStack macht, ist im Bereich der Forschung etwas ganz neues. DeepStack kann beispielsweise so überzeugend bluffen und intuitiv handeln, dass er von einem menschlichen Spieler nicht zu unterscheiden ist. „Würde der Turing Test aus einem Pokerspiel bestehen, würde DeepStack ihn bestehen“, so sind sich die Forscher sicher.
Um herauszufinden, wie sich DeepStack gegen echte menschliche Pokerprofis schlägt, trat die künstliche Intelligenz gegen 33 Pokerspieler aus 17 Ländern an. Im Laufe mehrerer Wochen sollte jeder der 33 Spieler 3.000 Partien Online-Poker gegen DeepStack absolvieren. Aus Zeitgründen kamen 44.852 Pokerpartien zusammen – von denen DeepStack die meisten gewann. Im Bezug auf die Gesamtzahl aller Pokerpartien gewann die künstliche Intelligenz mit einem Vorsprung von 492 Millibinds per Game (mbb/g). Millibinds geben an welchen Anteil der Einsätze ein Pokerspieler gewinnt. Wirklich gute Pokerspieler gewinnen üblicherweise mit Vorsprüngen von mindestens 50 Millibinds. DeepStack besiegte zudem zehn der elf bis zum Ende mitspielenden Gegner überlegen, bei seinem elften Gegner lag sein Vorsprung bei nur 70 Millibinds.
„Poker war eine lange Zeit eine echte Herausforderung für künstliche Intelligenzen“, betont Bowling. Aber DeepStack hat nun auch diese Hürde gemeistert und dazu beigetragen, dass neuronale Netzwerke immer besser werden.
Moravcik und seine Kollegen sprechen sogar von einem Meilenstein für die künstliche Intelligenz. „DeepStack präsentiert einen Paradigmenwechsel für die Lösung von umfangreichen, sequenziellen Spielen mit unvollständigen Informationen.“
Die Software, die beiläufig erwähnt auf einem gewöhnlichen Laptop läuft, könnte den Menschen in Zukunft bei Entscheidungen mit unvollständigen Informationen unterstützend zur Seite stehen. Denkbar wäre beispielsweise ein Einsatz in der Medizin, wo häufig nicht alle Informationen zur Verfügung stehen.
