Ước lượng hợp lý cực đại (Maximum Likelihood Estimation - MLE)

Hãy tưởng tượng bạn là một đầu bếp tài ba, đang cố nấu món phở bò ngon nhất nhưng không biết công thức gia truyền. Bạn chỉ có phản hồi từ thực khách: “Mặn quá!”, “Thiếu ngọt!”, “Gần ngon rồi!”. MLE giống như cách bạn đoán tỷ lệ hoàn hảo của muối, thời gian hầm xương, và thịt bò để thực khách hài lòng nhất, dựa trên dữ liệu (phản hồi) có được.

Trong toán học, MLE là phương pháp tìm tham số $\theta$ của một mô hình xác suất sao cho xác suất xảy ra của dữ liệu quan sát $X = {x_1, x_2, \dots, x_n}$ là lớn nhất. Nói đơn giản, ta tìm $\theta$ để mô hình “giải thích” dữ liệu tốt nhất.

Cách hoạt động của MLE

Mô hình (công thức phở): Bạn giả định món phở ngon nhất phụ thuộc vào các tham số $\theta$ (như lượng muối, thời gian hầm). Trong thống kê, đây là một phân phối xác suất (ví dụ: chuẩn, Bernoulli) với hàm mật độ xác suất $f(x_i | \theta)$ .
Dữ liệu (phản hồi thực khách): Dữ liệu là các quan sát $x_i$ , ví dụ: điểm đánh giá từ 100 bát phở đã nấu. Giả sử các quan sát độc lập và cùng phân phối (i.i.d.).
Hàm hợp lý (đo độ ngon): Hàm hợp lý tính xác suất kết hợp của dữ liệu dưới mô hình:
$L(\theta | X) = \prod_{i=1}^n f(x_i | \theta)$
Vì phép nhân nhiều số nhỏ dễ gây khó khăn, ta dùng log-hàm hợp lý:
$\ell(\theta | X) = \log L(\theta | X) = \sum_{i=1}^n \log f(x_i | \theta)$
Tối ưu (tìm công thức ngon nhất): Tìm $\hat{\theta}$ để tối đa hóa $L(\theta | X)$ hoặc $\ell(\theta | X)$ . Cách làm:

Lấy đạo hàm: $\frac{\partial \ell}{\partial \theta} = 0$ .
Giải phương trình để tìm $\hat{\theta}$ .
Kiểm tra cực đại (dùng đạo hàm bậc hai nếu cần).

Tính chất của MLE

Nhất quán: Khi số lượng dữ liệu $n \to \infty$ , $\hat{\theta} \to \theta$ (tiến gần giá trị thật).
Hiệu quả: MLE thường có phương sai nhỏ trong số các ước lượng không chệch.
Bất biến: Nếu $\hat{\theta}$ là MLE của $\theta$ , thì $g(\hat{\theta})$ là MLE của $g(\theta)$ .