Sei X eine Zufallsgröße, deren Verteilung einen unbekannten Parameter ϑ enthält. Zu dieser Zufallsgröße liegt eine große Anzahl Realisierungen vor. Aus praktischen Gründen können jedoch nur wenige Realisierungen näher untersucht werden um den unbekannten Parameter zu bestimmen.
Der zu schätzende Wert ϑ muss nicht zwingend ein direkter Parameter der Verteilung sein, sondern kann die Verteilung auch indirekt beschreiben. Beispielsweise kann ϑ der Erwartungswert oder die Varianz der Verteilung sein, auch wenn diese nicht direkt in den Formeln für Verteilungs- oder Dichtefunktion vorkommen.
Die Menge aller verfügbaren Realisierungen wird als Grundgesamtheit bezeichnet. Die zur Bestimmung des unbekannten Parameters näher betrachteten Realisierungen werden als Stichprobe bzeichnet. Aus der Untersuchung der Stichprobe möchte man Schlüsse über einen Verteilungsparameter der der Grundgesamtheit zugrundeliegenden Verteilung ziehen.
Aus mathematischer Sicht ist eine Stichprobe ein Zufallsvektor (X1,…,Xn), bei dem jeder Eintrag der gleichen Verteilung folgt und die Einträge sich in ihrem Zufallsverhalten nicht gegenseitig beeinflussen. Man spricht hier auch von unabhängig und identisch Verteilten Zufallsgrößen (kurz: i.i.d. für “independendly and identically distributed”).
Jede konkret aus der Grundgesamtheit entnommene Stichprobe ist eine Realisierung dieses Zufallsvektors. Die Zahl n wird als Stichprobenumfang bezeichnet.
Wie sehen wir einer Schätzfunktion an, ob sie für das Schätzen des gesuchten Parameters ϑ überhaupt geeignet ist? Sind zwei Schätzfunktionen grundsätzlich geeignet, muss auch die Frage geklärt werden, ob die eine bessere Schätzungen (in welchem Sinne?) als die andere liefert.
Zur Beantwortung der Frage nach der prinzipiellen Brauchbarkeit einer Schätzfunktion führen wir zwei Begriffe ein.
Erwartungstreue sichert, dass die Schätzfunktion im Mittel über viele Stichproben den tatsächlichen Wert des Parameters liefert. Konsistenz sichert, dass die Schätzung durch Wahl einer hinreichend großen Stichprobe beliebig genau gemacht werden kann.
Für die konkrete Umsetzung der Konsistenzidee in Formeln gibt es verschiedene Varianten. Bei der hier gewählten spricht man von Konvergenz (der Schätzfunktion gegen den gesuchten Parameter) in Wahrscheinlichkeit. Eine von mehreren alternativen Formulierungen ist die Konvergenz im quadratischen Mittel:
(IDV 815).
Die unterschiedlichen Varianten von Konsistenz können in einigen Fällen zu unterschiedlichen Ergebnissen führen, ob eine Schätzfunktion konsistent ist oder nicht.
Für den Erwartungswert (und auch für andere Parameter) existiert also eine Vielzahl an brauchbaren Schätzfunktionen.
Schätzfunktionen mit kleiner Varianz liefern bei verschiedenen Stichproben ähnliche Schätzwerte für den gesuchten Parameter. Bei großer Varianz der Schätzfunktion können aus verschiedenen Stichproben berechnete Schätzwerte stark voneinander abweichen.
Für weitere Schätzfunktionen sei auf die Literatur verwiesen. Dort findet man auch Verfahren zur systematischen Konstruktion von Schätzfunktionen, z.B. die Maximum-Likelihood-Methode.