Sei X eine Zufallsgröße, deren Verteilung einen unbekannten Parameter ϑ enthält. Zu dieser Zufallsgröße liegt eine gewisse Anzahl Realisierungen vor (Stichprobe), aus denen der unbekannte Parameter bestimmt werden soll.
Der zu schätzende Wert ϑ muss nicht zwingend ein direkter Parameter der Verteilung sein, sondern kann die Verteilung auch indirekt beschreiben. Beispielsweise kann ϑ der Erwartungswert oder die Varianz der Verteilung sein, auch wenn diese nicht direkt in den Formeln für Verteilungs- oder Dichtefunktion vorkommen.
Wie sehen wir einer Schätzfunktion an, ob sie für das Schätzen des gesuchten Parameters ϑ überhaupt geeignet ist? Sind zwei Schätzfunktionen grundsätzlich geeignet, muss auch die Frage geklärt werden, ob die eine bessere Schätzungen (in welchem Sinne?) als die andere liefert.
Zur Beantwortung der Frage nach der prinzipiellen Brauchbarkeit einer Schätzfunktion führen wir zwei Begriffe ein.
Erwartungstreue sichert, dass die Schätzfunktion im Mittel über viele Stichproben den tatsächlichen Wert des Parameters liefert. Konsistenz sichert, dass die Schätzung durch Wahl einer hinreichend großen Stichprobe beliebig genau gemacht werden kann.
Für die konkrete Umsetzung der Konsistenzidee in Formeln gibt es verschiedene Varianten. Bei der hier gewählten spricht man von Konvergenz (der Schätzfunktion gegen den gesuchten Parameter) in Wahrscheinlichkeit. Eine von mehreren alternativen Formulierungen ist die Konvergenz im quadratischen Mittel:
Die unterschiedlichen Varianten von Konsistenz können in einigen Fällen zu unterschiedlichen Ergebnissen führen, ob eine Schätzfunktion konsistent ist oder nicht.
Für den Erwartungswert (und auch für andere Parameter) existiert also eine Vielzahl an brauchbaren Schätzfunktionen.
Schätzfunktionen mit kleiner Varianz liefern bei verschiedenen Stichproben ähnliche Schätzwerte für den gesuchten Parameter. Bei großer Varianz der Schätzfunktion können aus verschiedenen Stichproben berechnete Schätzwerte stark voneinander abweichen.
Für weitere Schätzfunktionen sei auf die Literatur verwiesen. Dort findet man auch Verfahren zur systematischen Konstruktion von Schätzfunktionen, z.B. die Maximum-Likelihood-Methode.