Aufbau der Netze

Generelle Überlegungen zum Aufbau der Netze

Für die Realisierung unseres Pokerbots haben wir uns entschieden vier verschiedene Neuronale Netze zu konstruieren, da sich ein Pokerspiel (wie in Punkt 2 beschrieben) aus vier verschiedenen Spielphasen zusammensetzt. Dabei ist es sehr wichtig in nachfolgenden Spielphasen (Netzen) alle Informationen zu verarbeiten, die in vorangegangenen Spielphasen und Netzen bereits ermittelt oder gesammelt wurden. Beim Entwurf der Netze ist es sehr wichtig zu wissen, dass Poker ein Spiel von unvollständigen Informationen ist, die über die verschieden Spielphasen gesammelt werden, so dass in der ersten Spielphase (Preflop) die wenigsten Informationen vorliegen, in der letzten Spielphase (Postriver) die meisten.
Als Konsequenz ergaben sich die folgenden Netze mit ihren charakteristischen Werten:

Struktur der Netze

Allen Netzen ist ein charakteristischer Aufbau gemeinsam: sie bilden sensorische Felder aus bestimmten Gruppen von Eingabeinformationen. Solche Felder setzen verschiedene Funktionen (in unserem Fall Informationen) in einen gemeinsamen Zusammenhang. Wichtig zu beachten ist, dass ein einzelnes Feld nicht alleine für die Funktion des Netzes zuständig ist, sondern dass die Gesamtfunktionalität des Netzes erst durch das korrekte Zusammenspiel mehrerer solcher Gruppen möglich wird.

Eingabeinformationen

Betrachten wir also im Folgenden die Eingabeinformationen der vier Netze und ihre semantischen Gruppen, die sie bilden. Bitte beachten sie, dass jedes Folgenetz auch die Eingabeinformationen des oder der vorangegangenen Netze verarbeitet. Diese sind aus Gründen der Übersichtlichkeit hier nicht nochmals aufgeführt.

PreFlop

PostFlop:

PostTurn

PostRiver

Ausgabeinformationen

Aus den genannten Eingabeinformationen sollten durch das Netz folgende Ausgabeinformationen gewonnen werden:

Hidden-Schichten und Neuronen

Um eine geeignete Anzahl an Hidden-Neuronen für das jeweilige Netz zu ermitteln, wurde (unter der Strukturvorgabe der Nutzung von sensorischen Feldern) folgende Faustregel verwendet:
(„Anzahl der Neuronen in einer Informationsgruppe“ + „Anzahl der Ausgabeneuronen des Netzes“) / 2

Als Beispiel soll hier das PreFlop Netz dienen, da es von der Menge an verarbeiteten Informationen das kleinste aller Netze ist und damit am überschaubarsten ist:

Wie in der Abbildung zu sehen, gibt es vor dem Austeilen des Flops vier Informationsgruppen (siehe Tabelle 4.2.1.1). In der zweiten Gruppe von links werden die Informationen eingelesen, die sich mit den Chipständen befassen: die Stakegröße des Gegners, die eigene Stakegröße und die Größe des Gewinnpots. Insgesamt besitzt das Netz sechs Ausgabeneuronen, so dass die Summe aus der Gruppe der Eingabeneuronen und den Ausgabeneuronen neun ergibt. Teilt man diese Anzahl durch zwei erhält man die Kennzahl für die Anzahl der Neuronen für die Hiddenschicht (für eben diese Gruppe). Anschließend wurden alle Neuronen der Eingabeschicht mit allen der Hiddenschicht (für diese Gruppe) verbunden. Die Hidden-Neuronen einer Gruppe wurden ihrerseits wiederum mit allen Ausgabeneuronen in Beziehung gesetzt.

Wertebereiche der Ein- und Ausgabeinformationen (Normalisiserung)

Die folgende Übersicht zeigt die Wertebereiche auf, nach denen die Netze ihre Eingabedaten erwarten und ihre Ausgabeinformationen ausgeben. Dabei wird nicht auf alle Neuronen einzeln eingegangen, sondern sie werden zu logischen Gruppen zusammengefasst.

Die Normalisierung der Werte auf einen Wertebereich zwischen 0 und 1 wird von Membrain selbständig durchgeführt.

Die nebenstehende Abbildung zeigt ein Beispiel für den Wert der eigenen Stakegröße vor dem Flop. Aufgerechnet in BigBlinds liegt dieser zwischen 1 und 1000 und wird von Membrain selbstständig normalisiert.

Aktivierungsfunktionen

Eingabeneuronen

Alle Eingabeneuronen besitzen die Identitätsfunktion als Aktivierungsfunktion. Sie reicht aus, da die Werte in den Neuronen zunächst auf einen Wertebereich zwischen 0 und 1 normalisiert werden, bevor eben genau diese normalisierte Information an die Hidden-Schicht weiter gegeben wird.

Hidden- und Ausgabe-Neuronen

Alle Hidden- und Ausgabe-Neuronen besitzen als Aktivierungsfunktion die Logistische Funktion. Sie ist neben dem Tan Hyp die am häufigsten genutzte Aktivierungsfunktion. Tests mit verschiedenen Aktivierungsfunktionen zeigten, dass die Logistische die besten Resultate für die Ausgabe in unserem Beleg liefert.
Der gekennzeichnete Parameter stellt die Steilheit der Kurve ein. Je höher der Parameter desto steiler wird die Kurve. Ist der Parameter recht klein, führt dies zu einer größeren Varianz in den Ergebnissen des Netzes. Ist der Parameter dagegen steiler eingestellt, sind die Ergebnisse schärfer und für unsere Zwecke besser geeignet.