Ước lượng hợp lý cực đại (Maximum Likelihood Estimation – MLE) cho phân phối Poisson

Spread the love

Phân phối Poisson mô tả số lần xảy ra của một sự kiện ngẫu nhiên trong một khoảng thời gian hoặc không gian cố định, với tham số $\lambda$ , biểu thị số lần xảy ra trung bình (rate). Ví dụ, $\lambda$ là số trung bình khách đến một quán phở trong 1 giờ.

Tình huống vui: Bạn là chủ quán phở, muốn đoán số khách trung bình mỗi giờ ( $\lambda$ ) dựa trên số lượng khách đến trong 10 giờ quan sát: $X = {x_1, x_2, \dots, x_n}$ , với $x_i$ là số khách đến trong giờ thứ $i$ .

Bước 1: Hàm hợp lý (Likelihood Function)

Phân phối Poisson có hàm khối xác suất:
$f(x_i | \lambda) = \frac{\lambda^{x_i} e^{-\lambda}}{x_i!}, \quad x_i = 0, 1, 2, \dots$
Giả sử các quan sát $x_i$ độc lập và cùng phân phối (i.i.d.), hàm hợp lý cho dữ liệu $X = {x_1, x_2, \dots, x_n}$ là:
$L(\lambda | X) = \prod_{i=1}^n \frac{\lambda^{x_i} e^{-\lambda}}{x_i!} = \frac{\lambda^{\sum_{i=1}^n x_i} e^{-n\lambda}}{\prod_{i=1}^n x_i!}$
Vì $\prod_{i=1}^n x_i!$ không phụ thuộc vào $\lambda$ , ta có thể bỏ qua khi tối ưu. Log-hàm hợp lý:
$\ell(\lambda | X) = \log L(\lambda | X) = \log \left( \lambda^{\sum_{i=1}^n x_i} e^{-n\lambda} \right) - \log \left( \prod_{i=1}^n x_i! \right)$
$= \left( \sum_{i=1}^n x_i \right) \log \lambda - n\lambda - \sum_{i=1}^n \log (x_i!)$
Bỏ hằng số $\sum_{i=1}^n \log (x_i!)$ :
$\ell(\lambda | X) = \left( \sum_{i=1}^n x_i \right) \log \lambda - n\lambda$

Bước 2: Tìm ước lượng MLE

Tối ưu $\ell(\lambda | X)$ bằng cách lấy đạo hàm và đặt bằng 0:
$\frac{\partial \ell}{\partial \lambda} = \frac{\sum_{i=1}^n x_i}{\lambda} - n = 0$
Giải:
$\frac{\sum_{i=1}^n x_i}{\lambda} = n \implies \hat{\lambda} = \frac{\sum_{i=1}^n x_i}{n}$
Kết quả: $\hat{\lambda}$ là trung bình mẫu của số khách mỗi giờ. Ví dụ, nếu bạn ghi nhận số khách trong 10 giờ là $X = {3, 5, 2, 4, 6, 3, 7, 4, 5, 1}$ , thì:
$\hat{\lambda} = \frac{3 + 5 + 2 + 4 + 6 + 3 + 7 + 4 + 5 + 1}{10} = \frac{40}{10} = 4$

Bước 3: Kiểm tra cực trị bằng đạo hàm bậc hai

Để xác nhận $\hat{\lambda}$ là cực đại, ta tính đạo hàm bậc hai:
$\frac{\partial \ell}{\partial \lambda} = \frac{\sum_{i=1}^n x_i}{\lambda} - n$
Tính đạo hàm bậc hai:
$\frac{\partial^2 \ell}{\partial \lambda^2} = \frac{\partial}{\partial \lambda} \left( \frac{\sum_{i=1}^n x_i}{\lambda} - n \right) = -\frac{\sum_{i=1}^n x_i}{\lambda^2}$
Tại $\hat{\lambda} = \frac{\sum_{i=1}^n x_i}{n}$ :
$\frac{\partial^2 \ell}{\partial \lambda^2} \bigg|{\hat{\lambda}} = -\frac{\sum{i=1}^n x_i}{\left( \frac{\sum_{i=1}^n x_i}{n} \right)^2} = -\frac{\sum_{i=1}^n x_i}{\frac{(\sum_{i=1}^n x_i)^2}{n^2}} = -\frac{n^2}{\sum_{i=1}^n x_i}$
Vì $n > 0$ và $\sum_{i=1}^n x_i \geq 0$ , nên:

Nếu $\sum_{i=1}^n x_i > 0$ (có ít nhất một khách), thì $\frac{\partial^2 \ell}{\partial \lambda^2} < 0$ , xác nhận $\hat{\lambda}$ là cực đại cục bộ.

Kết luận

MLE cho phân phối Poisson cho ra $\hat{\lambda} = \frac{\sum_{i=1}^n x_i}{n}$ , là trung bình mẫu. Đạo hàm bậc hai xác nhận đây là điểm cực đại khi $\sum_{i=1}^n x_i > 0$ .

Ví dụ minh họa

Quay lại quán phở, bạn quan sát số khách trong 10 giờ: $X = {3, 5, 2, 4, 6, 3, 7, 4, 5, 1}$ .

Tổng: $\sum_{i=1}^n x_i = 40$ , $n = 10$ .
Ước lượng MLE: $\hat{\lambda} = \frac{40}{10} = 4$ (trung bình 4 khách/giờ).
Đạo hàm bậc hai tại $\hat{\lambda} = 4$ :
$\frac{\partial^2 \ell}{\partial \lambda^2} \bigg|_{\hat{\lambda}=4} = -\frac{10^2}{40} = -\frac{100}{40} = -2.5 < 0$
Xác nhận $\hat{\lambda} = 4$ là cực đại.

Discover more from Cùng Học Cùng Mơ

Subscribe to get the latest posts sent to your email.

Ước lượng hợp lý cực đại (Maximum Likelihood Estimation – MLE) cho phân phối Poisson

Like this:

Related

Discover more from Cùng Học Cùng Mơ

Leave a Reply Cancel reply