Kernel trick là một kỹ thuật quan trọng trong SVM giúp giải quyết các bài toán phân loại phức tạp khi dữ liệu không tuyến tính trong không gian gốc.
🔎 Ý tưởng chính
- SVM ban đầu tìm siêu phẳng phân cách tuyến tính trong không gian đặc trưng.
- Nhưng nhiều dữ liệu không thể phân tách tuyến tính (ví dụ: hình tròn, xoắn ốc).
- Kernel trick cho phép ánh xạ dữ liệu sang không gian chiều cao hơn mà không cần tính toán trực tiếp tọa độ trong không gian đó.
- Thay vì tính
(hàm ánh xạ), ta chỉ cần tính tích trong kernel:![\[ K(x_i, x_j) = \langle \phi(x_i), \phi(x_j) \rangle\]](https://vi.ksml4.com/wp-content/ql-cache/quicklatex.com-ba80fe90ec0c33d45d61a8e2fc89ba39_l3.png "Rendered by QuickLaTeX.com")
⚙️ Các loại Kernel phổ biến
Linear Kernel:
![\[ K(x_i, x_j) = x_i^T x_j \]](https://vi.ksml4.com/wp-content/ql-cache/quicklatex.com-74ca825f955b6ef1f8d744b730d0afda_l3.png "Rendered by QuickLaTeX.com")
Dùng khi dữ liệu gần tuyến tính.
Polynomial Kernel:
![\[ K(x_i, x_j) = (x_i^T x_j + c)^d \]](https://vi.ksml4.com/wp-content/ql-cache/quicklatex.com-83c8ec26c90d1855d4403f05458d167f_l3.png "Rendered by QuickLaTeX.com")
Cho phép mô hình hóa quan hệ phi tuyến bằng đa thức.
RBF (Radial Basis Function / Gaussian Kernel):
![\[ K(x_i, x_j) = \exp\left(-\frac{\|x_i - x_j\|^2}{2\sigma^2}\right) \]](https://vi.ksml4.com/wp-content/ql-cache/quicklatex.com-ed4819a0ad370a22868932cdf5eaf675_l3.png "Rendered by QuickLaTeX.com")
Rất phổ biến, mạnh mẽ cho dữ liệu phi tuyến.
Sigmoid Kernel:
![\[ K(x_i, x_j) = \tanh(\alpha x_i^T x_j + c) \]](https://vi.ksml4.com/wp-content/ql-cache/quicklatex.com-a90b22543a719c896143b5bb19f36fbc_l3.png "Rendered by QuickLaTeX.com")
Liên quan đến mạng nơ-ron.
🌍 Ứng dụng Kernel Trick
Nhận diện chữ viết tay: dữ liệu hình ảnh thường phi tuyến.
Phân loại văn bản: ánh xạ từ vector từ vựng sang không gian đặc trưng phi tuyến.
Sinh học: phân loại chuỗi DNA, protein.
Thị giác máy tính: nhận diện khuôn mặt, vật thể.
📌 Tóm lại
Thủ thuật kernel giúp SVM giải quyết bài toán phân loại phi tuyến bằng cách thay thế tích trong không gian gốc bằng hàm kernel, từ đó mở rộng khả năng phân loại mà không cần tính toán trực tiếp trong không gian chiều cao.