MLE cho phân phối chuẩn

Spread the love

Giả sử dữ liệu $X = {x_1, x_2, \dots, x_n}$ từ phân phối chuẩn $N(\mu, \sigma^2)$ , và bạn muốn ước lượng $\theta = (\mu, \sigma^2)$ .

Hàm mật độ:
$f(x_i | \mu, \sigma^2) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x_i - \mu)^2}{2\sigma^2}\right)$

Log-hàm hợp lý:
$\ell(\mu, \sigma^2 | X) = -\frac{n}{2} \log(2\pi\sigma^2) - \frac{1}{2\sigma^2} \sum_{i=1}^n (x_i - \mu)^2$

Tối ưu hóa:

Đối với $\mu$ :
$\frac{\partial \ell}{\partial \mu} = \frac{1}{\sigma^2} \sum_{i=1}^n (x_i - \mu) = 0 \implies \hat{\mu} = \frac{1}{n} \sum_{i=1}^n x_i$
(Trung bình mẫu).
Đối với $\sigma^2$ :
$\frac{\partial \ell}{\partial \sigma^2} = -\frac{n}{2\sigma^2} + \frac{1}{2(\sigma^2)^2} \sum_{i=1}^n (x_i - \mu)^2 = 0 \implies \hat{\sigma}^2 = \frac{1}{n} \sum_{i=1}^n (x_i - \hat{\mu})^2$
(Phương sai mẫu).

Kết quả: $\hat{\mu}$ và $\hat{\sigma}^2$ là các ước lượng hợp lý cực đại, giống như tìm ra công thức phở với 2.5 thìa muối và 5 lát thịt bò!

Bây giờ, ta tính đạo hàm bậc hai theo $\mu$ và $\sigma^2$ , sau đó đánh giá tại $\hat{\mu}, \hat{\sigma}^2$ để xác định tính chất cực trị.

Đạo hàm bậc hai theo $\mu$

Lấy đạo hàm của $\frac{\partial \ell}{\partial \mu}$ theo $\mu$ :
$\frac{\partial^2 \ell}{\partial \mu^2} = \frac{\partial}{\partial \mu} \left[ \frac{1}{\sigma^2} \sum_{i=1}^n (x_i - \mu) \right] = \frac{1}{\sigma^2} \sum_{i=1}^n (-1) = -\frac{n}{\sigma^2}$
Đạo hàm bậc hai này không phụ thuộc vào $\mu$ , nên tại $\hat{\mu}$ :
$\frac{\partial^2 \ell}{\partial \mu^2} \bigg|_{\hat{\mu}} = -\frac{n}{\sigma^2}$
Vì $n > 0$ và $\sigma^2 > 0$ , nên $\frac{\partial^2 \ell}{\partial \mu^2} < 0$ , tức là log-hàm hợp lý đạt cực đại theo $\mu$ tại $\hat{\mu}$ .

Đạo hàm bậc hai theo $\sigma^2$

Lấy đạo hàm của $\frac{\partial \ell}{\partial \sigma^2}$ theo $\sigma^2$ :
$\frac{\partial \ell}{\partial \sigma^2} = -\frac{n}{2\sigma^2} + \frac{1}{2(\sigma^2)^2} \sum_{i=1}^n (x_i - \mu)^2$
Tính đạo hàm:

Phần thứ nhất: $\frac{\partial}{\partial \sigma^2} \left( -\frac{n}{2\sigma^2} \right) = \frac{n}{2(\sigma^2)^2}$
Phần thứ hai: $\frac{\partial}{\partial \sigma^2} \left[ \frac{1}{2(\sigma^2)^2} \sum_{i=1}^n (x_i - \mu)^2 \right] = -\frac{1}{(\sigma^2)^3} \sum_{i=1}^n (x_i - \mu)^2$
Kết hợp:
$\frac{\partial^2 \ell}{\partial (\sigma^2)^2} = \frac{n}{2(\sigma^2)^2} - \frac{1}{(\sigma^2)^3} \sum_{i=1}^n (x_i - \mu)^2$
Tại $\hat{\sigma}^2$ và $\hat{\mu}$ :
$\sum_{i=1}^n (x_i - \hat{\mu})^2 = n \hat{\sigma}^2$
Thay vào:
$\frac{\partial^2 \ell}{\partial (\sigma^2)^2} \bigg|_{\hat{\sigma}^2} = \frac{n}{2(\hat{\sigma}^2)^2} - \frac{n \hat{\sigma}^2}{(\hat{\sigma}^2)^3} = \frac{n}{2(\hat{\sigma}^2)^2} - \frac{n}{(\hat{\sigma}^2)^2} = -\frac{n}{2(\hat{\sigma}^2)^2}$
Vì $n > 0$ và $\hat{\sigma}^2 > 0$ , nên $\frac{\partial^2 \ell}{\partial (\sigma^2)^2} < 0$ , tức là log-hàm hợp lý đạt cực đại theo $\sigma^2$ tại $\hat{\sigma}^2$ .

Discover more from Cùng Học Cùng Mơ

Subscribe to get the latest posts sent to your email.

Like this:

Related

Discover more from Cùng Học Cùng Mơ

Leave a Reply Cancel reply