Punktschätzer#
In diesem Kapitel lernen wir den Begriff Punktschätzer kennen.
Was sind Punktschätzer?#
Das zu untersuchende Merkmal sei \(X\) und \(X_1,\dots,X_n\) die zugehörige mathematische Stichprobe. Außerdem sei \(x_1,\dots, x_n\) die konkrete Stichprobe. Ist \(\theta\in\mathbb R\) die unbekannte, zu schätzende Größe/Kennzahl der Verteilung von \(X\), so heißt eine Funktion \(g:\mathbb R^n\to\mathbb R\) Punktschätzer für \(\theta\).
Setzt man in die Funktion \(g\) die mathematische Stichprobe ein, so nennt man die resultierende Zufallsvariable
\[T=g(X_1,\dots, X_n)\]Schätzfunktion oder Schätzstatistik.
Setzt man in die Funktion \(g\) die konkrete Stichprobe ein, so nennt man den resultierenden Wert
\[t=g(x_1,\dots, x_n)\](konkreter) Schätzwert.
Bemerkung
Was wird geschätzt?
Geschätzt wird typischerweise
der Parameter einer Verteilung (oder mehrere Parameter) oder
wichtige Kennzahlen einer Verteilung (z.B. Erwartungswert oder Varianz)
Bezeichnungen
Wird eine Parameter einer Verteilung geschätzt, so bezeichnet man den Schätzwert oder die Schätzstatistik oft mit dem selben Buchstaben, kennzeichnet diesen dann aber durch einen „Hut“. Schätzt man zum Beispiel den Parameter \(\lambda\) der Exponentialverteilung, so bezeichnet man den Schätzer mit \(\hat\lambda\).
Eigenschaften von Punktschätzern#
Tatsächlich enthält die Definition von Punktschätzer, Schätzstatistik und Schätzwert keine Verbindung zur zu schätzenden Größe \(\theta\). Einfach ausgedrückt: jede Funktion die aus einer Stichprobe einen Wert macht, den wir als Schätzung für \(\theta\) verwenden, ist ein Punktschätzer.
Es ist daher dringend nötig anhand geeigneter Eigenschaften zu klären, ob ein „guter“ Schätzer vorliegt. Es muss definiert werden was einen Schätzer „gut“ macht.
Erwartungstreue#
Der konkrete Wert eines Punktschätzers hängt von der Stichprobe ab. Er wird also in den seltensten Fällen genau den richtigen Wert treffen. Eine zentrale Forderung an einen Punktschäzter ist daher, dass er „wenigestens im Mittel“ den richtigen Werte trifft. Diese Eigenschaft heißt Erwartungstreue:
Definition
Ist \(T=g(X_1,\dots,X_n)\) eine Schätzfunktion für \(\theta\), so heißt \(T\) erwartungstreu oder unverzerrt, falls
Eine Schätzfunktion für \(\theta\) heißt asymptotisch erwartungstreu, falls
Bemerkungen:
Punktschätzer hängt von Stichprobe ab. Er liefert in zu jeder Stichprobe einen (meist anderen) Wert. Mal ist der Wert größer als der zu schätzende, mal kleiner. Ist der Punktschätzer erwartungstreu, so schwanken alle diese Werte um den richtigen Wert.
Einen Punktschätzer für \(\theta\) der nicht erwartungstreu ist, nennt man auch verzerrt. Er hat einen systematischen Fehler indem er den zu schäztenden Wert \(\theta\) im Mittel überschätzt, oder im Mittel unterschätzt. Dieser systematische Fehler ist
\[ \mathrm{Bias}(T)= \mathbb E(T) - \theta\]und heißt Bias.
Ist ein Punktschätzer nicht erwartungstreu, aber asymptotisch erwartungstreu, so nähert sich der Punkt um den die konkreten Schätzwerte verschiedener Stichproben schwanken mit wachsender Stichprobengröße immer weiter dem richtigen Wert an. Die Stärke der Verzerrung nimmt also mit wachsender Stichprobengröße ab.
Ein erwartungstreuer Punktschätzer ist immer auch asymptotisch erwartungstreu.
Konsistenz#
Wir stellen uns vor es gibt 2 verschiedene Schätzer für die gleiche Größe, welche sogar beide erwartungstreu sind. Dann schwanken die konkreten Schätzerwerte beider Schätzer beim Ziehen immer neuer Stichproben um den gleichen (und richtigen) Wert. Wir benötigen dann ein weiteres Kriterium um zwischen den Schätzer zu entscheiden. Hier möchten wir den Schätzer nehmen, der die geringer Varianz hat, also weniger stark um den richtigen Wert streut.
Definition
Ist \(T\) eine Schätzfunktion für \(\theta\), so nennt man
die erwartete mittlere quadratische Abweichung.
Gilt für den Schätzer
so nennt man \(T\) konsistent (im quadratischen Mittel).
Bemerkungen:
Die Konsistenz eines Schätzer ist eine asymptotische Eigenschaft. Sie sagt etwas darüber aus, wie sich ein Schätzer verhält, wenn der Stichprobenumfang immer größer wird. Im Falle der Konsistnenz wird dann der erwartete mittlere quadratische Abstand zum wahren Wert immer kleiner.
Es gilt
\[ \mathrm{MSE}(T) = \mathbb E((T-\theta)^2) = \mathrm{Var}(T) + \mathrm{Bias}(T)^2\]Ein erwartungstreuer oder asymptotisch erwartungstreuer Schätzer ist also genau dann konsistent, wenn \(\mathrm{Var}(T)\) mit wachsender Stichprobengröße gegen Null konvergiert.
Es gibt noch weitere Arten von Konsitenz. Im Kontext dieser Vorlesung ist mit Konistenz immer die Konsistenz im quadratische Mittel gemeint.
Beispiele#
Beispiel: Mittelwert als Punktschätzer für den Erwartungswert
Sei \(X\) ein Merkmal mit (unbekanntem) Erwartungswert \(\mu\) und (unbekannter) Varianz \(\sigma^2\). Es sei \(X_1,\dots,X_n\) eine zugehörige mathematische Stichprobe. Wir definieren den Punktschätzer
für den Parameter \(\mu\).
Ist \(T\) erwartungstreu?
Ja, denn
\[\mathbb E(T)= \mathbb E\left(\frac{1}{n} \sum_{i=1}^n X_i \right) = \frac{1}{n} \mathbb E\left(\sum_{i=1}^n X_i\right) = \frac{1}{n} \sum_{i=1}^n \mathbb E( X_i) = \frac{1}{n} \sum_{i=1}^n \mu = \frac{1}{n} \cdot n\cdot \mu= \mu\]Beachte: Hier haben wir die Rechenregeln zum Erwartungswert ausgenutzt und die Tatsache, dass die Zufallsvariablen \(X_i\), \(i=1,\dots,n\) alle wie \(X\) verteilt sind und daher inbesondere den gleichen Erwartungswert haben.
Ist \(T\) konsistent?
Ja, denn
\[\mathrm{Var}(T)= \mathrm{Var}\left(\frac{1}{n} \sum_{i=1}^n X_i \right) = \frac{1}{n^2} \mathrm{Var}\left(\sum_{i=1}^n X_i\right) = \frac{1}{n^2} \sum_{i=1}^n \mathrm{Var}( X_i) = \frac{1}{n^2} \sum_{i=1}^n \sigma^2 = \frac{1}{n^2} \cdot n\cdot \sigma^2= \frac{\sigma^2}{n} \stackrel{n\to\infty}{\longrightarrow} 0\]Beachte: Hier haben wir die Rechenregeln zur Varianz ausgenutzt und die Tatsache, dass die Zufallsvariablen \(X_i\), \(i=1,\dots,n\) unabhängig sind und alle wie \(X\) verteilt sind und daher inbesondere die gleiche Varianz haben.
Fazit: Der Mittelwert einer Stichprobe ist ein erwartungstreuer und konsistenter Schätzer für den Erwartungswert.
Beispiel: Punktschätzer für die Varianz
Sei \(X\) ein Merkmal mit (unbekanntem) Erwartungswert \(\mu\) und (unbekannter) Varianz \(\sigma^2\). Es sei \(X_1,\dots,X_n\) eine zugehörige mathematische Stichprobe. Wir definieren den Punktschätzer
für den Parameter \(\sigma^2\), wobei \(\overline{X} = \frac{1}{n} \sum_{i=1}^n X_i\) den Stichprobenmittelwert bezeichnet.
Ist \(T\) erwartungstreu?
Nein, \(T\) ist im Allgemeinen nicht erwartungstreu für \(\sigma^2\). Stattdessen gilt
\[\mathbb E(T) = \frac{n-1}{n} \sigma^2.\]Das bedeutet, dass \(T\) im Mittel systematisch etwas kleiner ist als die wahre Varianz \(\sigma^2\). Wegen \(\lim_{n\to\infty}\frac{n-1}{n} \sigma^2=\sigma^2\) ist \(T\) jedoch asymptotisch erwartungstreu.
Ist \(T\) konsistent?
Ja, \(T\) ist ein konsistenter Schätzer für \(\sigma^2\), denn \(T\) ist asymsptotisch erwartungstreu und
\[\mathrm{Var}(T) = \frac{n-1}{n^2}\cdot 2\sigma^4 \stackrel{n\to\infty}{\longrightarrow} 0\]
Fazit: Der Stichprobenvarianzschätzer \(T\) für \(\sigma^2\) ist nicht erwartungstreu, aber konsistent.
Beachte: Mit einer leichten Korrektur erhalt man mit
einen erwartungstreue und konsistenten Schätzer für \(\sigma^2\).