Empirisches Gesetz der großen Zahlen

Beispiel 1: Beim Werfen einer „normalen“ Münze kann man davon ausgehen, dass sowohl Wappen als auch Zahl die gleiche Chance besitzen, beim Auffallen der Münze oben zu liegen, d.h., die Wahrscheinlichkeit für das Ereignis $W=\left\{Wappenfällt\right\}$ beträgt 0,5.

Aber wie groß ist diese Wahrscheinlichkeit, wenn es sich um eine gezinkte Münze handelt und wenn über Art und Umfang der Anomalität nichts bekannt ist? (Für praktische Versuche kann statt einer gezinkten Münze der Kronenverschluss einer geöffneten Flasche verwendet werden.)

Aus der Erfahrung weiß man, dass bei einer langen Serie unabhängiger Versuche des zufälligen Vorgangs „Werfen einer gezinkten Münze“ die relative Häufigkeit des Ereignisses $W=\left\{Wappenfällt\right\}$ stabil wird.

Beispiel 2: Durchgeführt werden n unabhängige Simulationen des Werfens einer gezinkten Münze, wobei angenommen wird, dass die gewählte „Zinkung“ (infolge ihres internen Auswürfelns durch einen Zufallsgenerator) nicht bekannt sei. Dazu kann man z.B. das Programm sigezm(n,m,x) verwenden.

Die graphische Darstellung der relativen Häufigkeiten $h_n\left(\left\{Wappenfällt\right\}\right)=h_n\left(W\right)$ in Abhängigkeit von n ergibt dann folgendes Bild:

Führt man das Experiment mehrmals (sowohl mit der gleichen Anzahl n von Realisierungen als auch mit einer wachsenden Anzahl n von Realisierungen) interaktiv durch, so kann man folgende Beobachtungen machen:

1. Trotz konstantem n nehmen die relativen Häufigkeiten $h_n\left(W\right)$ nicht bei allen Versuchsserien mit derselben Münze denselben Wert an, d.h., die relativen Häufigkeiten $h_n\left(W\right)$ hängen nicht nur von W und n ab.
2. Mit zunehmender Anzahl n von Realisierungen des Zufallsexperiments mit derselben Münze schwanken die relativen Häufigkeiten in der Tendenz immer weniger, wenngleich auch immer wieder einmal etwas größere Abweichungen auftreten können.

Diese Erfahrungen finden ihre mathematische Fassung als empirisches Gesetz der großen Zahlen. Es besagt Folgendes:

• Ist A ein Ereignis eines Zufallsexperiments, so stabilisieren sich bei einer hinreichend großen Anzahl n von Durchführungen dieses Experiments die relativen Häufigkeiten $h_n\left(A\right)$.

Bisher wurde der Begriff des Stabilwerdens relativer Häufigkeiten nur anschaulich umschrieben. Eine Möglichkeit, ihn mathematisch exakt zu fassen, ergibt sich, wenn man die relative Häufigkeit $h_n\left(A\right)$ selbst als Zufallsgröße auffasst.

Für das Stabilwerden relativer Häufigkeiten wäre dann zu fordern, dass der Erwartungswert der Zufallsgröße $h_n\left(A\right)$ die betreffende Wahrscheinlichkeit $P\left(A\right)$ ist und dass für große n die Streuung der Zufallsgröße $h_n\left(A\right)$ null wird.

Dies lässt sich tatsächlich nachweisen.
Dazu stellen wir die folgenden Überlegungen an:

1. Ein Zufallsexperiment werde n-mal unabhängig voneinander realisiert. Man beobachtet dabei jeweils, ob das Ereignis A eintritt oder nicht. Dieses Zufallsexperiment kann durch eine BERNOULLI-Kette der Länge n und mit der Erfolgswahrscheinlichkeit $p=P\left(A\right)$ modelliert werden.
   Die Zufallsgröße X, die die zufällige Anzahl der Erfolge angibt, kann zugleich als die Zufallsgröße der absoluten Häufigkeiten $H_n\left(A\right)$ aufgefasst werden. Somit lässt sich die relative Häufigkeit $h_n\left(A\right)$ als Zufallsgröße $\frac{1}{n}\cdot X$ interpretieren.
2. X ist binomialverteilt mit dem Erwartungswert $EX=n\cdot p$ und der Streuung $D^{2}X=n\cdot p\cdot \left(1-p\right)$.
   Daraus ergibt sich:
   $E\left(h_n\left(A\right)\right)=E\left(\frac{1}{n}\cdot X\right)=\frac{1}{n}\cdot EX=\frac{1}{n}\cdot n\cdot p=p=P\left(A\right)$
   und
   $\begin{array}{l}{D}^2\left(h_n\left(A\right)\right)=D^2\left(\frac{1}{n}\cdot X\right)=\frac{1}{n^2}\cdot D^{2}X=\frac{1}{n^2}\cdot n\cdot p\cdot \left(1-p\right)\\ mit\underset{n\to \infty }{\lim }\frac{1}{n}\cdot p\cdot \left(1-p\right)=0\end{array}$

Damit erhält das empirische Gesetz der großen Zahlen eine theoretische (auf dem kolmogorowschen Axiomensystem basierende) Interpretation und Rechtfertigung.

Es reicht aber nicht zu wissen, dass die relativen Häufigkeiten $h_n\left(W\right)$ für große n nicht mehr um die unbekannte Wahrscheinlichkeit $P\left(W\right)$ streuen.

Zu klären bleibt, wie groß n gewählt werden muss, damit man mit „ruhigem Gewissen“ $h_n\left(W\right)$ als Näherungswert für die gesuchte Wahrscheinlichkeit benutzen kann. Mathematisch gesprochen heißt das:

Die Wahrscheinlichkeit dafür, dass die Abweichung der relativen Häufigkeit $h_n\left(W\right)$ von der unbekannten Wahrscheinlichkeit $P\left(W\right)$ kleiner als ein beliebiges $\epsilon$ sei, möge sehr groß sein. Das heißt:

$P(|h_\text{n}(W)-P(W)|<\varepsilon)\geq1-\beta$
$\left(z.B.\beta =\mathrm{0,99}\right)$

Dabei gilt:

$$\beta=1-\frac{pq}{n\varepsilon^2}=1-\frac{p(1-p)}{n\varepsilon^2} \Leftrightarrow n=\frac{p(1-p)}{\varepsilon^2(1-\beta)}$$Die tschebyschewsche Ungleichung gestattet damit die Herleitung folgenden Zusammenhangs zwischen den Größen $n,\epsilon und\beta$mit der Näherung $p(1-p) \leq \frac{1}{4}$ für alle $p\in[0;1]$:
$$n\leq\frac{1}{4\varepsilon^2(1-\beta)}$$(Diese Beziehung ist unabhängig von dem hier betrachteten Ereignis W; sie gilt für beliebige Ereignisse A.)

Beispiel 3: Wir betrachten als Beispiel $\beta =\mathrm{0,99}$:

Hiermit kann man dasjenige n bestimmen, welches das eigene Gewissen bei der Bestimmung der Wahrscheinlichkeit für das Ereignis „Wappen fällt“ beim „Werfen“ einer gezinkten (Taschenrechner-)Münze beruhigt.