Unabhängigkeit und Unkorreliertheit

Unabhängigkeit und Unkorreliertheit#

Definitionen#

Wir kennen schon Unabhängigkeit von Ereignissen. Wie Ereignisse, können auch Zufallsvariablen unabhängig voneinander sein. Hier ist die Definition dafür:

Definition

Zwei Zufallsvariablen \(X\) und \(Y\) heißen (stochastisch) unabhängig, falls für alle \(x,y\in\mathbb R\) gilt:

\[\mathbb P(X\leq x, Y\leq y) = \mathbb P(X\leq x)\cdot \mathbb P(Y\leq y) \]

Die Zufallsvariablen \(X_1,X_2,\dots \) heißen (stochastisch) unabhängig, falls, sobald man \(n\) davon auswählt, die folgende Gleichung gilt:

\[\mathbb P(X_{i_1}\leq x_1, \dots , X_{i_n}\leq x_n) = \mathbb P(X_{i_1}\leq x_1)\cdot\dots\cdot \mathbb P(X_{i_n}\leq x_n) \]

Dies bedeutet, dass Zufallsvariablen genau dann unabhängig sind, wenn alle Ereignisse die man mit ihnen bilden kann unabhängig sind.

Bemerkung zur Schreibweise

Der Ausdruck \(\mathbb P(X\leq x, Y\leq y)\) beschreibt die Wahrscheinlichkeit, dass \(X\leq x\) und \(Y\leq y\) eintritt. Das Komma ist also hier gleichbedeutend mit dem \(\cap\) bei Ereignissen und meint, dass beide Ereignisse eintreten.

Dies tritt in der Praxis auf, wenn die Zufallsvariablen Vorgänge beschreiben, die keinerlei Einfluss aufeinander haben und es auch keine dritte Größe gibt, durch welche beide beeinflusst werden. Die Kenntniss der Realisierung der einen Zufallsvariable, sagt uns nichts über die Realsierung der anderen Zufallsvariable. Beispielsweise könnte eine Zufallsvariable das Ergebnis eines Würfels sein (1,2,3,4,5 oder 6) und die andere könnte das Ergebnis eines Münzwurfs sein. Münzwurf und Würfelwurf haben offensichtlich keinen Einfluss aufeinander. Wir können davon ausgehen, dass die zugehörigen Zufallsvariablen unabhängig sind und dürfen die obige Gleichung beim Rechnen nutzen.

Ein weiterer wichtiger Begriff ist die Unkorreliertheit von Zufallsvariablen. Sie beschreibt wie stark der lineare Zusammenhang von Zufallsvariablen ist. Es wird also eine spezielle Art von Zusammenhang geprüft und quantifiziert.

Definition

Seien \(X\) und \(Y\) zwei Zufallsvariablen. Dann

  • ist \( \mathrm{Cov}(X,Y):= \mathbb E( (X-\mathbb E(X)) (Y- \mathbb E(Y)) )=\mathbb E(XY)-\mathbb E(X)\mathbb E(Y)\) die Kovarianz von \(X\) und \(Y\)

  • ist \(\rho_{X,Y}:=\frac{\mathrm{Cov}(X,Y)}{\sqrt{\mathrm{Var}(X)\cdot\mathrm{Var}(Y)}}\) der Korrelationskoeffizient von \(X\) und \(Y\)

  • heißen \(X\) und \(Y\) unkorreliert, falls \(\mathrm{Cov}(X,Y)=0\).

Unabhängige Zufallsvariablen sind immer auch unkorreliert sind:

\[ X \text{ und } Y \text{ sind unabhängig }\qquad\Rightarrow\qquad X \text{ und } Y \text{ sind unkorreliert}\]

Man beachte, dass die Rückrichtung im Allgemeinen nicht richtig ist.

Rechenregeln#

Es folgen eine paar Rechenregeln für Varianz und Kovarianz. Diese gelten für beliebige Zufallsvariablen (solange sich die entsprechenden Größen berechnen lassen).

Rechenregeln

Für Zufallsvariablen \(X\), \(Y\) und \(Z\) gilt

  • \(\mathrm{Var}(X+Y) =\mathrm{Var}(X) +\mathrm{Var}(Y) + 2\mathrm{Cov}(X,Y)\)

  • \(\mathrm{Var}(X-Y) =\mathrm{Var}(X) +\mathrm{Var}(Y) - 2\mathrm{Cov}(X,Y)\)

  • \(\mathrm{Cov}(X,Y) = \mathrm{Cov}(Y,X)\)

  • \(\mathrm{Cov}(aX,Y) =\mathrm{Cov}(X,aY) = a\mathrm{Cov}(X,Y)\)

  • \(\mathrm{Cov}(X+Y,Z) = \mathrm{Cov}(X,Z) + \mathrm{Cov}(Y,Z)\)

  • \(\mathrm{Cov}(X,Y+Z) = \mathrm{Cov}(X,Y) + \mathrm{Cov}(X,Z)\)

Außerdem gilt noch folgendes:

  • \(X\) und \(Y\) unabhängig \(\Rightarrow\) \(\mathbb E(XY)=\mathbb E(X)\mathbb E(Y)\)

  • \(X\) und \(Y\) unkorreliert \(\Rightarrow\) \(\mathrm{Var}(X+Y) =\mathrm{Var}(X) +\mathrm{Var}(Y)\)

  • \(X\) und \(Y\) unkorreliert \(\Rightarrow\) \(\mathrm{Var}(X-Y) =\mathrm{Var}(X) +\mathrm{Var}(Y)\)

Beispiele#

Beispiel: 3 Würfel

Wir werfen nacheinander 3 Würfel und definieren die drei Zufallsvariablen:

  • \(X\) … das Ergebnis vom ersten Würfel

  • \(Y\) … das Ergebnis vom zweiten Würfel

  • \(Z\) … das Ergebnis vom dritten Würfel

Jede der Zufallsvariablen kann die Werte \(1,2,\dots,6\) annehmen und alle haben die gleiche Wahrscheinlichkeit, z.B. \(\mathbb P(X=4) = \mathbb P(Z=2) = \frac16\).

Außerdem haben die Würfel keinen Einfluss aufeinander, die Zufallsvariablen \(X\), \(Y\) und \(Z\) sind unabhängig.

  1. Frage: Wie groß ist die Wahrscheinlichkeit, dass man zuerst eine 3, dann eine 4 und dann eine 5 würfelt?

    Antwort: Gesucht ist \(\mathbb P(X=3, Y=4, Z=5)\)

    Wegen der Unabhängigkeit gilt:

    \[\mathbb P(X=3, Y=4, Z=5) = \mathbb P(X=3)\cdot \mathbb P( Y=4)\cdot\mathbb P(Z=5)=\left(\frac16\right)^3\]

  2. Frage: Wie groß ist die Wahrscheinlichkeit, dass man zuerst eine Zahl größer 1, dann eine Zahl größer 2 und dann eine Zahl größer 3 würfelt?

    Antwort: Gesucht ist \(\mathbb P(X>1, Y>2, Z>3)\)

    Wegen der Unabhängigkeit gilt:

    \[\mathbb P(X>1, Y>2, Z>3) = \mathbb P(X>1)\cdot \mathbb P( Y>2)\cdot\mathbb P(Z>3)=\frac56\cdot \frac46\cdot \frac36=0.2\bar7\]

Unabhängigkeit liegt natürlich nicht immer vor.

Beispiel: Ziehung von Karten ohne Zurücklegen

Sei \(X\) die Farbe der ersten gezogenen Karte aus einem Standardkartenspiel und \(Y\) die Farbe der zweiten gezogenen Karte. Da die Karten nicht zurückgelegt werden, beeinflusst die erste Ziehung die Wahrscheinlichkeitsverteilung der zweiten, wodurch \(X\) und \(Y\) nicht unabhängig sind.

Wir können das auch nachrechnen:

Es gibt 32 Karten, jede der 4 Farben kommt auf 8 Karten vor. Wir nummerieren die Farben mit 1 bis 4 durch. Farbe 1 bedeutet bespielsweise „Rot“ bzw „Herz“. Wir fragen uns nach den Wahrscheinlichkeiten „Rot“ zu ziehen. Es gilt für die Wahrscheinlichkeit beim ersten Ziehen „Rot“ zu ziehen:

\[\mathbb P(X=1)=\frac{8}{32}=\frac14\]

Genauso ist die Wahrscheinlichkeit beim zweiten Ziehen „Rot“ zu ziehen:

\[\mathbb P(Y=1)=\frac{8}{32}=\frac14\]

da wir in diesem Fall nichts über die erste Gezogene wissen.

Allerdings ist die Wahrscheinlichkeit zwei mal „Rot“ hintereinander zu ziehen nicht gleich dem Produkt der Einzelwahrscheinlichkeiten:

\[\mathbb P(X=1,Y=1)=\frac{8}{32}\cdot \frac{7}{31}= 0.05645161 \neq \frac14\cdot\frac14=\mathbb P(X=1)\mathbb P(Y=1)\]

Daher \(X\) und \(Y\) keine unabhängigen Zufallsvariablen.

Und nun noch ein Beispiel in welchem die Kovarianz berechnet wird:

Beispiel

Wir betrachten zwei diskrete Zufallsvariablen \(X\) und \(Y\) mit folgender (gemeinsamer) Wahrscheinlichkeitsverteilung:

X \ Y

1

2

Summe

1

0.1

0.2

0.3

2

0.3

0.4

0.7

Summe

0.4

0.6

1

Das heißt:

\[\mathbb P(X=1, Y=1)=0.1,\qquad\mathbb P(X=1, Y=2)=0.2\]
\[\mathbb P(X=2, Y=1)=0.3,\qquad\mathbb P(X=2, Y=2)=0.4\]
\[\mathbb P(X=1)=0.3,\qquad\mathbb P(X=2)=0.7\]
\[\mathbb P(Y=1)=0.4,\qquad\mathbb P(Y=2)=0.6\]

Schritt 1: Erwartungswerte berechnen

\[ \mathbb E(X) = 1 \cdot 0.3 + 2 \cdot 0.7 = 0.3 + 1.4 = 1.7 \]
\[ \mathbb E(Y) = 1 \cdot 0.4 + 2 \cdot 0.6 = 0.4 + 1.2 = 1.6 \]
\[\begin{split} \mathbb E(XY) = 1 \cdot 1 \cdot 0.1 + 1 \cdot 2 \cdot 0.2 + 2 \cdot 1 \cdot 0.3 + 2 \cdot 2 \cdot 0.4 \\ = 0.1 + 0.4 + 0.6 + 1.6 = 2.7 \end{split}\]

Schritt 2: Kovarianz berechnen

\[ \mathrm{Cov}(X, Y) = \mathbb E(XY) - \mathbb E(X) \cdot \mathbb E(Y) = 2.7 - (1.7 \cdot 1.6) = 2.7 - 2.72 = -0.02 \]

Ergebnis: Die Kovarianz zwischen X und Y beträgt -0.02.

Beachte: \(X\) und \(Y\) sind folglich auch nicht unabhängig (denn sonst müssten sie unkorreliert sein, was ein Widerspruch zum Ergebnis wäre).

Gemeinsame Verteilung und Randverteilung#

Im letzten Beispiel haben wir bereits gesehen, dass man die gemeinsame Verteilung zweier Zufallsvariablen kennen muss um die Kovarianz zu berechnen. Diese wollen wir hier noch einmal abschließend sauber definieren.

Definition

Sind \(X\) und \(Y\) diskrete Zufallsvariablen wobei \(X\) die Trägermenge \(a_1,a_2,\dots\) und \(Y\) die Trägermenge \(b_1,b_2,\dots\) hat. Die Menge der Wahrscheinlichkeiten

\[p_{i,j}:=\mathbb P(X=a_i, Y=b_j)\]

heißt gemeinsame Verteilung der beiden Zufallsvariablen.

Sind die Trägermengen endlich, so lässt sich die gemeinsame Verteilung in einer Tabelle darstellen:

X \ Y

\(b_1\)

\(b_2\)

…

\(b_n\)

Summe

\(a_1\)

\(p_{1,1}\)

\(p_{1,2}\)

…

\(p_{1,n}\)

\(\mathbb P(X=a_1)\)

\(a_2\)

\(p_{2,1}\)

\(p_{2,2}\)

…

\(p_{2,n}\)

\(\mathbb P(X=a_2)\)

\(\vdots\)

\(\vdots\)

\(\vdots\)

\(\vdots\)

\(\vdots\)

\(\vdots\)

\(a_m\)

\(p_{m,1}\)

\(p_{m,2}\)

…

\(p_{m,n}\)

\(\mathbb P(X=a_m)\)

Summe

\(\mathbb P(Y=b_1)\)

\(\mathbb P(Y=b_1)\)

…

\(\mathbb P(Y=b_n)\)

1

Dabei enthält die letzte Spalte (bezeichnet mit Summe) die Wahrscheinlichkeiten für die Zufallsvariable \(X\). Diese ergeben sich indem man über die Werte der gesamten Zeile summiert. Entsprechend kann man in der letzten Zeile die Wahrscheinlichkeiten für \(Y\) ablesen. Man nennt dies die Randverteilungen der gemeinsamen Verteilung. Der Aufbau der Tabelle und die Begriffe (Randverteilung vs Randhäufigkeiten) erinnern dabei stark an die Kontingenztafeln.