Definición: Las variables aleatorias \(X_1, ..., X_n\) se denominan muestra aleatoria de tamaño \(n\) de la población \(f(x)\) si \(X_1, ..., X_n\) son variables aleatorias mutuamente independientes y la pdf marginal o pmf de cada \(X_i\) es la misma función \(f(x)\). Alternativamente, \(X_1, ..., X_n\) se denominan variables aleatorias independientes e idénticamente distribuidas con pdf o pmf \(f(x)\). Esto se abrevia comúnmente como variables aleatorias iid.
El modelo de muestreo aleatorio describe un tipo de situación experimental en la que la variable de interés tiene una distribución de probabilidad descrita por \(f(x)\). Si solo uno Se hace la observación \(X\) sobre esta variable, entonces se pueden calcular las probabilidades con respecto a \(X\) usando \(f(x)\). En la mayoría de los experimentos hay \(n > 1\) (un entero positivo fijo) observaciones repetidas hechas en la variable, la primera observación es \(X_1\), la segunda es \(X_2\) y así sucesivamente. Bajo el modelo de muestreo aleatorio, cada \(X_i\) es una observación en la misma variable y cada \(X_i\) tiene una distribución marginal dada por \(f(x)\). Es más, las observaciones se toman de tal manera que el valor de una observación no tiene efecto o relación con cualquiera de las otras observaciones; es decir, \(X_1, ..., X_n\) son mutuamente independientes.
\[ f\left(x_{1}, \ldots, x_{n}\right)=f\left(x_{1}\right) f\left(x_{2}\right) \cdots f\left(x_{n}\right)=\prod_{i=1}^{n} f\left(x_{i}\right) \]
Este pdf o pmf conjunto se puede utilizar para calcular las probabilidades que involucran la muestra. Dado que \(X_1, ..., X_n\) se distribuyen de manera idéntica, todas las densidades marginales \(f(x)\) tienen la misma función. En particular, si la población pdf o pmf forma parte de una familia parmétrica, con pdf o pmf dado por \(f\left(x_{i} \mid \theta\right)\), entonces el pdf o pmf conjunto es
\[ f\left(x_{1}, \ldots, x_{n} \mid \theta\right)=\prod_{i=1}^{n} f\left(x_{i} \mid \theta\right) \]