Cải thiện dữ liệu mất cân bằng trong học máy bằng phương pháp trọng số lớp

Trong lĩnh vực học máy, vấn đề dữ liệu mất cân bằng là một thách thức phổ biến và nghiêm trọng, thường xuyên xuất hiện trong các bộ dữ liệu thực tế. Tình trạng này xảy ra khi số lượng mẫu dữ liệu của mỗi lớp có sự khác biệt lớn, với một hoặc nhiều lớp (lớp đa số) có số lượng mẫu áp đảo so với các lớp còn lại (lớp thiểu số). Nguyên nhân cốt lõi của sự mất cân bằng này thường bắt nguồn từ đặc thù của bài toán; ví dụ, việc thu thập đủ lượng dữ liệu cần thiết cho các lớp thiểu số có thể rất khó khăn, tốn kém, hoặc thậm chí không thể thực hiện được trong một khoảng thời gian hợp lý.

Sự mất cân bằng dữ liệu ảnh hưởng đáng kể đến kết quả dự đoán của các mô hình phân loại. Khi huấn luyện trên một tập dữ liệu không đồng đều, các mô hình học máy có xu hướng thiên vị lớp đa số, dẫn đến việc dự đoán kết quả nghiêng về lớp có nhiều dữ liệu hơn. Điều này làm cho mô hình hoạt động kém hiệu quả trên lớp thiểu số, dù có thể đạt được độ chính xác tổng thể cao. Chẳng hạn, trong bài toán phân loại email, nếu chỉ có 500 email spam trong số 10.000 email, mô hình có thể dễ dàng đạt độ chính xác cao bằng cách luôn dự đoán “không phải spam” nhưng lại bỏ sót phần lớn email spam thực sự. Tương tự, trong các ứng dụng quan trọng như phát hiện gian lận, nơi chỉ khoảng 0.172% giao dịch là gian lận, hoặc chẩn đoán bệnh hiếm, nơi một bệnh có thể chỉ ảnh hưởng đến 1 trong 10.000 người, việc bỏ qua lớp thiểu số có thể dẫn đến những hậu quả nghiêm trọng về tài chính hoặc sức khỏe. Vấn đề thực sự không chỉ nằm ở độ chính xác bị lệch; đó là sự thất bại cơ bản của mô hình trong việc học các mẫu quan trọng của lớp thiểu số, vốn thường mang lại hậu quả lớn hơn trong thế giới thực. Sự thiên vị này phát sinh vì các hàm tối ưu hóa tiêu chuẩn thường nhằm mục đích giảm thiểu lỗi tổng thể, và trong các tập dữ liệu mất cân bằng, việc phân loại chính xác lớp đa số đóng góp không cân xứng vào việc giảm thiểu này. Điều này dẫn đến các mô hình “tốt” trên lý thuyết (độ chính xác cao) nhưng “kém” trong thực tế (bỏ lỡ các sự kiện hiếm hoi quan trọng).

Giới thiệu về Trọng số lớp (Class Weights)

Để giải quyết vấn đề dữ liệu mất cân bằng mà không cần thay đổi cấu trúc dữ liệu gốc, một kỹ thuật hiệu quả là sử dụng trọng số lớp. Trọng số lớp là các giá trị số được gán cho mỗi lớp trong một bài toán phân loại, nhằm chỉ ra tầm quan trọng tương đối của chúng trong quá trình huấn luyện mô hình. Mục đích chính của việc này là điều chỉnh hàm mất mát của mô hình, để nó ưu tiên hơn cho lớp thiểu số và ít hơn cho lớp đa số.

Về bản chất, việc sử dụng trọng số lớp là một hình thức của học tập nhạy cảm với chi phí (Cost-Sensitive Learning). Nó trực tiếp thao túng mục tiêu học tập để phản ánh tầm quan trọng hoặc chi phí khác biệt của việc phân loại sai giữa các lớp. Điều này làm tăng hình phạt cho các lỗi phân loại sai đối với các mẫu thuộc lớp thiểu số, buộc mô hình phải chú ý hơn đến việc học và dự đoán chính xác các trường hợp hiếm gặp. Đây là một điểm khác biệt quan trọng so với các kỹ thuật lấy mẫu lại (resampling) ở cấp độ dữ liệu, vì trọng số lớp hoạt động ở cấp độ thuật toán, ảnh hưởng đến cách mô hình học từ dữ liệu hiện có thay vì thay đổi phân phối dữ liệu đó. Phương pháp này đặc biệt có giá trị khi chi phí thực tế của việc phân loại sai cho lớp thiểu số cao hơn đáng kể.

Các chiến lược gán trọng số lớp

Việc gán trọng số lớp không chỉ đơn thuần là một phương pháp mà còn bao gồm nhiều chiến lược khác nhau, mỗi chiến lược có cách tiếp cận riêng để điều chỉnh tầm quan trọng của các lớp trong quá trình huấn luyện.

Trọng số tỷ lệ nghịch với tần suất lớp (Inverse Frequency Weighting)

Đây là một trong những chiến lược phổ biến và thường được sử dụng làm mặc định để tính toán trọng số lớp. Ý tưởng cơ bản là gán trọng số cao hơn cho các lớp có ít mẫu hơn (lớp thiểu số) và trọng số thấp hơn cho các lớp có nhiều mẫu hơn (lớp đa số). Điều này đảm bảo rằng mỗi lớp, bất kể kích thước của nó, đóng góp một cách công bằng vào tổng lỗi của hàm mất mát.

Công thức tính trọng số cho mỗi lớp j thường là:

w_j = n_samples / (n_classes * n_samples_j).

Trong đó:

n_samples là tổng số mẫu trong tập dữ liệu.
n_classes là tổng số lớp duy nhất.
n_samples_j là số lượng mẫu trong lớp j.

Ví dụ, nếu có một tập dữ liệu với 43400 mẫu, trong đó lớp 0 có 42617 mẫu và lớp 1 có 783 mẫu, thì trọng số cho lớp 0 sẽ là 0.509 và trọng số cho lớp 1 sẽ là 27.713. Trọng số tỷ lệ nghịch này là một phương pháp phỏng đoán phổ biến, đơn giản nhưng hiệu quả. Bằng cách điều chỉnh trọng số tỷ lệ nghịch với tần suất lớp, nó tự động buộc mô hình phải chú ý hơn đến các sự kiện hiếm gặp. Cách tiếp cận này dựa trên ý tưởng cân bằng “ảnh hưởng” của mỗi mẫu lên hàm mất mát, đảm bảo rằng mỗi lớp đóng góp gần như bằng nhau vào các cập nhật gradient, ngăn chặn lớp đa số chi phối quá trình học.

Học tập nhạy cảm với chi phí (Cost-Sensitive Learning – CSL)

Học tập nhạy cảm với chi phí là một khuôn khổ rộng hơn, trong đó trọng số lớp là một biểu hiện cụ thể. CSL giải quyết các bài toán phân loại mà ở đó các loại lỗi phân loại sai khác nhau có chi phí khác nhau. Điều này có nghĩa là một số lỗi được coi là nghiêm trọng hơn hoặc “tệ hơn” so với những lỗi khác.

Vấn đề này thường được hình thức hóa bằng cách sử dụng một ma trận chi phí C kích thước KxK, trong đó mỗi mục C(y, k) đại diện cho chi phí khi dự đoán một mẫu thuộc lớp y là lớp k. Đương nhiên, chi phí phân loại chính xác một mẫu, C(y, y), bằng 0. Mục tiêu của phân loại nhạy cảm với chi phí là huấn luyện một bộ phân loại g sao cho chi phí dự kiến C(y, g(x)) trên các mẫu thử nghiệm được giảm thiểu.

Trọng số lớp là một hình thức trực tiếp của CSL, trong đó chi phí sai lầm của lớp thiểu số được tăng lên. Ý tưởng cốt lõi là nhúng các hậu quả trong thế giới thực (chi phí) trực tiếp vào quá trình tối ưu hóa. Điều này vượt ra ngoài việc cân bằng thống kê đơn thuần để trở thành một phương pháp tối ưu hóa nhận biết miền, nơi hiệu suất của mô hình không chỉ là về độ chính xác mà còn là về việc giảm thiểu tác động thực tế của các lỗi. Điều này đặc biệt phù hợp trong các ứng dụng có rủi ro cao như chẩn đoán y tế hoặc phát hiện gian lận, nơi các lỗi âm tính giả có thể gây ra hậu quả tài chính hoặc sức khỏe thảm khốc.

Tối ưu hóa trọng số thích ứng (Adaptive Weight Optimization – AWO)

AWO là một cách tiếp cận tinh vi hơn, dựa trên dữ liệu để gán trọng số. Phương pháp này điều chỉnh động trọng số lớp để tính đến sự khác biệt giữa tập huấn luyện và tập kiểm tra. Không giống như việc gán trọng số tỷ lệ nghịch cố định, AWO nhận ra rằng các trọng số tối ưu có thể không tĩnh và có thể thay đổi dựa trên các đặc điểm dữ liệu cụ thể hoặc thậm chí là bản chất phát triển của vấn đề.

AWO thường sử dụng các thuật toán tiến hóa để tối ưu hóa cấu hình trọng số. Các nghiên cứu đã chỉ ra rằng phương pháp gán trọng số thích ứng có thể vượt trội hơn các phương pháp gán trọng số cố định, đặc biệt khi mức độ mất cân bằng dữ liệu là cực đoan. Khả năng điều chỉnh động này cho phép tăng cường tính mạnh mẽ và có khả năng mang lại hiệu suất vượt trội trong các kịch bản thực tế phức tạp, nơi phân phối dữ liệu có thể thay đổi hoặc nơi một trọng số tỷ lệ nghịch đơn giản có thể không nắm bắt được chi phí thực sự một cách hiệu quả.

Tích hợp trọng số lớp vào các thuật toán học máy phổ biến

Trọng số lớp là một kỹ thuật linh hoạt, có thể được tích hợp vào nhiều thuật toán học máy khác nhau và được hỗ trợ rộng rãi trong các thư viện phổ biến.

Tổng quan

Nhiều thuật toán học máy và thư viện phổ biến đã tích hợp sẵn khả năng sử dụng trọng số lớp thông qua các tham số cụ thể hoặc bằng cách sửa đổi hàm mất mát của chúng. Điều này làm cho việc áp dụng trọng số lớp trở nên dễ dàng hơn cho các nhà khoa học dữ liệu.

Hồi quy Logistic và Cây quyết định (Scikit-learn)

Trong thư viện Scikit-learn, các thuật toán như Hồi quy Logistic và Cây quyết định cung cấp tham số class_weight để xử lý dữ liệu mất cân bằng. Tham số này có thể được cấu hình theo hai cách chính:

'balanced': Chế độ này tự động tính toán trọng số lớp tỷ lệ nghịch với tần suất lớp trong dữ liệu đầu vào. Công thức được sử dụng là n_samples / (n_classes * np.bincount(y)), đảm bảo rằng các lớp thiểu số nhận được trọng số cao hơn một cách tự động.
Dictionary thủ công: Người dùng có thể cung cấp một dictionary để gán trọng số thủ công cho từng lớp, ví dụ: {0: trọng_số_lớp_0, 1: trọng_số_lớp_1}. Điều này cho phép kiểm soát chi tiết hơn nếu có kiến thức chuyên môn về chi phí sai lầm cụ thể.

Sự phổ biến của tham số class_weight, đặc biệt là tùy chọn 'balanced', trong các thư viện phổ biến như Scikit-learn cho các thuật toán nền tảng như Hồi quy Logistic và Cây quyết định, giúp giảm đáng kể rào cản gia nhập cho các nhà thực hành. Việc tiêu chuẩn hóa này thúc đẩy việc áp dụng trọng số lớp như một biện pháp phòng vệ đầu tiên chống lại sự mất cân bằng, biến nó thành một thực hành tốt phổ biến và dễ tiếp cận trong nhiều quy trình học máy.

Rừng ngẫu nhiên (Random Forests)

Rừng ngẫu nhiên, một thuật toán dựa trên cây, cũng có thể được điều chỉnh để nhạy cảm với trọng số lớp. Trọng số lớp được tích hợp vào thuật toán Rừng ngẫu nhiên ở hai vị trí quan trọng:

Tiêu chí Gini: Trong quá trình xây dựng từng cây quyết định trong rừng, trọng số lớp được sử dụng để trọng số hóa tiêu chí Gini (hoặc các tiêu chí phân chia khác) khi tìm các điểm chia tốt nhất cho các nút. Điều này có nghĩa là việc phân chia sẽ ưu tiên tạo ra các nút con thuần khiết hơn cho các lớp có trọng số cao hơn.
Bỏ phiếu đa số có trọng số: Khi dự đoán lớp cho một mẫu mới, dự đoán lớp của mỗi nút cuối trong từng cây được xác định bằng một “bỏ phiếu đa số có trọng số”. Trọng số của một lớp trong nút cuối là trọng số cho lớp đó nhân với số lượng trường hợp của lớp đó tại nút cuối. Dự đoán cuối cùng của Rừng ngẫu nhiên sau đó được xác định bằng cách tổng hợp các phiếu bầu có trọng số từ mỗi cây riêng lẻ.

Cách trọng số lớp được tích hợp vào Rừng ngẫu nhiên (sửa đổi độ tinh khiết Gini và bỏ phiếu có trọng số) cho thấy cách các cơ chế thuật toán có thể được điều chỉnh để trở nên nhạy cảm với chi phí. Đây không chỉ là một điều chỉnh sau mà là một sửa đổi nội tại của quá trình xây dựng cây, đảm bảo rằng mỗi cây riêng lẻ trong tập hợp được huấn luyện với nhận thức về tầm quan trọng của lớp. Sự tích hợp sâu sắc này góp phần vào tính mạnh mẽ của Rừng ngẫu nhiên có trọng số trong việc xử lý dữ liệu mất cân bằng.

Máy vector hỗ trợ (Support Vector Machines – SVM)

Trong thuật toán Máy vector hỗ trợ (SVM), tham số C đóng vai trò là một thuật ngữ phạt, kiểm soát mức độ chấp nhận các điểm bị phân loại sai trong quá trình tìm kiếm siêu phẳng quyết định. Mặc định, mỗi lớp được gán cùng một trọng số C, dẫn đến biên phân tách có độ mềm đối xứng. Tuy nhiên, trong các tập dữ liệu mất cân bằng, trọng số mặc định này khiến biên mềm và siêu phẳng quyết định thiên vị lớp đa số, vì việc tập trung vào lớp đa số mang lại sự cân bằng tốt hơn giữa lỗi phân loại và tối đa hóa biên, thường là phải trả giá bằng lớp thiểu số.

Để khắc phục điều này, SVM có thể được sửa đổi để sử dụng trọng số lớp, tức là gán các giá trị C khác nhau cho từng mẫu trong tập huấn luyện. Sự sửa đổi có trọng số ở cấp độ thể hiện này cho phép giá trị C cho mỗi mẫu (C_i) được tính toán như một trọng số của giá trị C toàn cục, trong đó trọng số tỷ lệ thuận với phân phối lớp:

Trọng số lớn hơn cho lớp thiểu số: Việc áp dụng trọng số lớn hơn cho lớp thiểu số làm tăng giá trị C cho các mẫu lớp thiểu số, dẫn đến hình phạt nhỏ hơn cho các lỗi phân loại sai từ lớp đó. Điều này cho phép biên “mềm” hơn cho lớp thiểu số, nghĩa là mô hình khoan dung hơn với các lỗi phân loại của các mẫu lớp đa số sang phía lớp thiểu số nếu cần.
Trọng số nhỏ hơn cho lớp đa số: Ngược lại, trọng số nhỏ hơn có thể được sử dụng cho lớp đa số. Điều này làm giảm giá trị C cho các mẫu lớp đa số, dẫn đến hình phạt lớn hơn cho việc phân loại sai của chúng. Điều này buộc biên phải “cứng” hơn cho lớp đa số, ngăn chặn các mẫu bị phân loại sai từ lớp đó.

Tác động của trọng số lớp lên SVM, bằng cách thao tác hiệu quả tham số C, cho thấy một cơ chế tinh vi: nó không chỉ là về việc phạt lỗi nhiều hơn mà còn là về việc định hình lại ranh giới quyết định. Bằng cách làm cho biên “mềm” hơn cho lớp thiểu số, SVM được khuyến khích tìm một siêu phẳng phân tách lớp thiểu số tốt hơn, ngay cả khi điều đó có nghĩa là tăng nhẹ các lỗi phân loại cho lớp đa số. Ảnh hưởng trực tiếp này đến sự phân tách hình học của các lớp là một khía cạnh mạnh mẽ của SVM có trọng số.

Mạng nơ-ron (Deep Learning Frameworks)

Các khuôn khổ học sâu hiện đại như TensorFlow và PyTorch cũng cung cấp các cơ chế mạnh mẽ để tích hợp trọng số lớp, cho phép các mạng nơ-ron xử lý hiệu quả dữ liệu mất cân bằng.

TensorFlow

Trong TensorFlow, việc triển khai trọng số lớp thường liên quan đến việc sử dụng các tiện ích từ Scikit-learn để tính toán trọng số, sau đó truyền chúng vào quá trình huấn luyện mô hình. Cụ thể, sklearn.utils.class_weight.compute_class_weight được sử dụng để tính toán trọng số tỷ lệ nghịch với tần suất lớp. Các trọng số này sau đó được chuyển đổi thành một dictionary và cung cấp cho tham số class_weight trong phương thức model.fit() của Keras.

Ví dụ điển hình:

Python

#... (tải và tiền xử lý dữ liệu, ví dụ: X_train, y_train)
from sklearn.utils import class_weight
import numpy as np

weights = class_weight.compute_class_weight('balanced', classes=np.unique(y_train), y=y_train)
class_weights = dict(enumerate(weights))

#... (xây dựng mô hình TensorFlow Keras)
model.fit(X_train_scaled, y_train, epochs=100, class_weight=class_weights, validation_data=(X_test_scaled, y_test), batch_size=32)

Cách tiếp cận của TensorFlow, thường tận dụng sklearn.utils.class_weight.compute_class_weight để tính toán trọng số và sau đó truyền chúng vào phương thức model.fit(), làm nổi bật khả năng tương tác trong hệ sinh thái học máy Python. Sự tích hợp liền mạch này có nghĩa là ngay cả đối với các mạng nơ-ron sâu phức tạp, nguyên tắc cơ bản của việc trọng số hóa hàm mất mát vẫn nhất quán và dễ áp dụng. Nó cho thấy rằng trọng số lớp không chỉ giới hạn ở các thuật toán học máy truyền thống mà còn là một kỹ thuật mạnh mẽ có thể thích ứng với các kiến trúc học sâu hiện đại, cho phép chúng giải quyết hiệu quả sự mất cân bằng lớp trong dữ liệu đa chiều và phức tạp.

PyTorch

PyTorch, nổi tiếng với tính linh hoạt và khả năng kiểm soát trực tiếp các đồ thị tính toán, cung cấp các tham số trọng số trực tiếp trong các hàm mất mát tích hợp sẵn của nó để xử lý dữ liệu mất cân bằng.

nn.CrossEntropyLoss (Phân loại đa lớp): Đối với các bài toán phân loại đa lớp, CrossEntropyLoss cho phép sử dụng tham số weight. Tham số này là một Tensor 1D, trong đó mỗi phần tử tương ứng với trọng số của một lớp cụ thể. Chiều dài của tensor này phải bằng số lượng lớp trong bài toán. Ví dụ: weights = torch.tensor([1.0, 1.0, 2.0]) và criterion = nn.CrossEntropyLoss(weight=weights) sẽ làm cho lỗi của lớp thứ ba quan trọng gấp đôi.
nn.BCEWithLogitsLoss (Phân loại nhị phân): Đối với các bài toán phân loại nhị phân, BCEWithLogitsLoss cung cấp tham số pos_weight. Đây là một scalar gán trọng số cho lớp dương (lớp thiểu số). Ví dụ: pos_weight = torch.tensor([2.0]) sẽ làm cho lỗi của lớp dương quan trọng gấp đôi.
Điều quan trọng cần lưu ý là nếu cả weight và pos_weight được chỉ định, tham số pos_weight sẽ được ưu tiên cho lớp dương.

Thiết kế của PyTorch, với các tham số weight và pos_weight rõ ràng trực tiếp trong các mô-đun hàm mất mát của nó, cung cấp khả năng kiểm soát chi tiết phù hợp với triết lý “xác định theo thời gian chạy” của nó. Điều này cho phép các nhà nghiên cứu và thực hành dễ dàng thử nghiệm các lược đồ trọng số tùy chỉnh, tích hợp với các hàm mất mát phức tạp hơn, và kiểm soát chính xác cách áp dụng các hình phạt phân loại sai. Mức độ kiểm soát này đặc biệt có lợi cho nghiên cứu nâng cao và để điều chỉnh các mô hình cho các vấn đề nhạy cảm với chi phí rất cụ thể, tinh tế mà chế độ “cân bằng” đơn giản có thể không đủ.

Ưu và Nhược điểm của việc Sử dụng Trọng số Lớp

Việc sử dụng trọng số lớp mang lại nhiều lợi ích đáng kể trong việc xử lý dữ liệu mất cân bằng, nhưng cũng đi kèm với những hạn chế và điều cần cân nhắc.

Lợi ích

Cải thiện hiệu suất trên lớp thiểu số: Lợi ích chính của trọng số lớp là khả năng cải thiện đáng kể hiệu suất của mô hình trên lớp thiểu số. Bằng cách gán trọng số cao hơn cho lớp này trong hàm mất mát, mô hình được khuyến khích tập trung học hỏi các đặc trưng của các mẫu hiếm, dẫn đến cải thiện độ chính xác tổng thể và đặc biệt là các chỉ số như recall và F1-score cho lớp thiểu số.
Xử lý mất cân bằng mà không sửa đổi tập dữ liệu: Một ưu điểm nổi bật của trọng số lớp so với các kỹ thuật lấy mẫu lại (resampling) như oversampling (tăng mẫu) hoặc undersampling (giảm mẫu) là nó không yêu cầu sửa đổi tập dữ liệu gốc. Điều này có nghĩa là không cần tạo ra dữ liệu tổng hợp mới (như trong SMOTE) hay loại bỏ thông tin quan trọng từ lớp đa số (như trong undersampling), từ đó tránh được các rủi ro như overfitting do trùng lặp mẫu hoặc mất thông tin.
Dễ triển khai: Trọng số lớp tương đối dễ tích hợp vào nhiều thư viện học máy phổ biến, thường chỉ thông qua một tham số đơn giản trong hàm khởi tạo mô hình hoặc hàm mất mát.
Linh hoạt: Phương pháp này cho phép các lược đồ gán trọng số linh hoạt. Các trọng số có thể được tính toán tự động dựa trên phân phối lớp hoặc được xác định thủ công dựa trên kiến thức chuyên môn về chi phí sai lầm trong bối cảnh ứng dụng cụ thể.
Giảm thiểu sai sót loại II (False Negatives): Trong các ứng dụng có hậu quả nghiêm trọng, chẳng hạn như phát hiện gian lận hoặc chẩn đoán bệnh hiếm, việc bỏ sót lớp thiểu số (âm tính giả) có thể cực kỳ tốn kém. Trọng số lớp giúp tăng hình phạt cho các lỗi này, buộc mô hình phải nhạy cảm hơn trong việc nhận diện các trường hợp quan trọng này, từ đó giảm thiểu đáng kể số lượng âm tính giả.

Hạn chế và những điều cần cân nhắc

Mặc dù trọng số lớp có nhiều ưu điểm, nhưng việc áp dụng nó cũng đòi hỏi sự cẩn trọng và nhận thức về các hạn chế tiềm ẩn:

Nguy cơ overfitting: Nếu trọng số không được điều chỉnh đúng cách, đặc biệt là khi gán trọng số quá cao cho lớp thiểu số, mô hình có thể bị overfitting vào lớp đó. Điều này có thể làm giảm khả năng khái quát hóa tổng thể của mô hình đối với dữ liệu chưa thấy.
Khó khăn trong việc chọn trọng số tối ưu: Việc xác định các trọng số tối ưu có thể là một thách thức đáng kể. Nó thường yêu cầu tinh chỉnh siêu tham số cẩn thận, sử dụng các kỹ thuật như tìm kiếm lưới (grid search) hoặc tìm kiếm ngẫu nhiên (random search) kết hợp với kiểm định chéo (cross-validation) để đánh giá hiệu suất trên tập xác thực.
Tăng độ phức tạp của mô hình: Việc thêm trọng số vào quá trình huấn luyện làm tăng thêm một lớp phức tạp. Điều này có thể khiến việc gỡ lỗi và tinh chỉnh mô hình trở nên khó khăn hơn, đặc biệt đối với các mô hình phức tạp hoặc khi có nhiều lớp.
Có thể không hiệu quả với các tập dữ liệu mất cân bằng cực đoan: Trong một số trường hợp mất cân bằng rất cao (ví dụ, tỷ lệ 1:1000), trọng số lớp có thể không đủ để giải quyết triệt để vấn đề. Mô hình vẫn có thể gặp khó khăn trong việc học các mẫu của lớp thiểu số nếu chúng quá hiếm.
Ảnh hưởng đến xác suất dự đoán: Đối với một số thuật toán, chẳng hạn như Rừng ngẫu nhiên, việc sử dụng trọng số lớp có thể làm cho hàm predict_proba trả về các xác suất không chính xác, tức là các giá trị xác suất có thể không phản ánh đúng mức độ tin cậy của mô hình. Điều này cần được xem xét nếu ứng dụng yêu cầu các ước tính xác suất được hiệu chuẩn tốt.

Những lợi thế của việc trọng số hóa lớp (không xâm lấn, cải thiện có mục tiêu) được cân bằng bởi nhu cầu quan trọng là tinh chỉnh siêu tham số cẩn thận để ngăn chặn overfitting. Điều này làm nổi bật một sự đánh đổi cơ bản: việc tối ưu hóa quá mức cho lớp thiểu số đôi khi có thể làm giảm khả năng khái quát hóa tổng thể của mô hình hoặc thậm chí làm sai lệch ước tính xác suất của nó. Điều quan trọng là phải nhấn mạnh rằng trọng số lớp thường không phải là một giải pháp độc lập mà là một công cụ trong một kho vũ khí rộng lớn hơn để xử lý sự mất cân bằng, thường được kết hợp tốt nhất với các kỹ thuật khác hoặc xử lý hậu kỳ cẩn thận (ví dụ: điều chỉnh ngưỡng). Quan điểm toàn diện này là rất quan trọng đối với các nhà thực hành chuyên nghiệp.

So sánh Trọng số Lớp với các Kỹ thuật Xử lý Mất Cân bằng khác

Ngoài trọng số lớp, có hai nhóm kỹ thuật chính khác được sử dụng rộng rãi để xử lý dữ liệu mất cân bằng: lấy mẫu quá mức (oversampling) và lấy mẫu dưới mức (undersampling). Mỗi nhóm có những đặc điểm, ưu và nhược điểm riêng.

Kỹ thuật lấy mẫu quá mức (Oversampling)

Lấy mẫu quá mức nhằm mục đích tăng số lượng mẫu của lớp thiểu số để cân bằng phân phối lớp. Điều này có thể được thực hiện bằng cách sao chép các mẫu hiện có hoặc tạo ra các mẫu tổng hợp mới.

SMOTE (Synthetic Minority Over-sampling Technique)

SMOTE là một trong những kỹ thuật lấy mẫu quá mức phổ biến nhất. Nó hoạt động bằng cách tạo ra các mẫu tổng hợp cho lớp thiểu số. Quá trình này bao gồm việc chọn một mẫu từ lớp thiểu số và sau đó xác định k láng giềng gần nhất của nó (cũng thuộc lớp thiểu số). Các mẫu tổng hợp mới được tạo ra bằng cách nội suy tuyến tính giữa mẫu được chọn và một trong các láng giềng của nó. Các mẫu tổng hợp này thường được tạo ra đồng đều trong không gian đặc trưng giữa các mẫu thiểu số hiện có.

Ưu điểm: SMOTE không làm mất thông tin từ lớp đa số và có thể giúp giảm overfitting so với việc sao chép ngẫu nhiên các mẫu thiểu số. Nó giúp mở rộng ranh giới quyết định của lớp thiểu số.
Nhược điểm: SMOTE có thể dẫn đến các mô hình được hiệu chuẩn kém, trong đó xác suất thuộc về lớp thiểu số bị ước tính quá cao. Nó cũng có thể tạo ra các mẫu tổng hợp trong các vùng dày đặc của không gian đặc trưng, có thể không phải lúc nào cũng tối ưu. Ngoài ra, SMOTE có thể không phù hợp với dữ liệu có chiều cao hoặc dữ liệu nhiễu, vì nó có thể khuếch đại nhiễu hoặc tạo ra các mẫu không thực tế.

Điểm mạnh của SMOTE nằm ở khả năng mở rộng biểu diễn của lớp thiểu số mà không chỉ đơn thuần sao chép các điểm hiện có, do đó có khả năng làm phong phú thêm ranh giới quyết định đã học. Tuy nhiên, việc tạo ra “đồng nhất” của nó có thể là một con dao hai lưỡi, tạo ra các mẫu tổng hợp trong các vùng có thể mơ hồ hoặc nhiễu, điều này đôi khi có thể dẫn đến các mô hình kém mạnh mẽ hơn hoặc ước tính quá cao xác suất lớp thiểu số.

ADASYN (Adaptive Synthetic Sampling)

ADASYN là một mở rộng của SMOTE, được thiết kế để giải quyết vấn đề mất cân bằng một cách thích ứng hơn. Thay vì tạo mẫu đồng đều, ADASYN tập trung vào các mẫu thiểu số khó phân loại hơn. Nó gán một trọng số khác nhau cho mỗi mẫu thiểu số dựa trên mức độ khó học của chúng, và sau đó tạo ra nhiều mẫu tổng hợp hơn cho những mẫu gần ranh giới quyết định hoặc trong các vùng khó phân loại.

Ưu điểm: ADASYN có khả năng tạo ra dữ liệu cho các mẫu khó học, giúp định hình ranh giới quyết định tốt hơn và thích ứng hơn với đặc điểm dữ liệu so với SMOTE.
Nhược điểm: Nếu các điểm khó phân loại thực sự là nhiễu hoặc ngoại lệ, ADASYN có thể vô tình tạo ra thêm nhiễu trong tập dữ liệu.

Bản chất thích ứng của ADASYN, bằng cách tập trung vào các trường hợp thiểu số “khó học”, thể hiện một cách tiếp cận thông minh hơn đối với việc lấy mẫu quá mức. Việc tạo ra mục tiêu này nhằm mục đích tinh chỉnh ranh giới quyết định hiệu quả hơn trong các khu vực thử thách, có khả năng dẫn đến khái quát hóa tốt hơn cho lớp thiểu số. Tuy nhiên, sự đánh đổi là nguy cơ khuếch đại nhiễu nếu các trường hợp “khó học” bản thân chúng là các ngoại lệ hoặc lỗi.

Kỹ thuật lấy mẫu dưới mức (Undersampling)

Lấy mẫu dưới mức là kỹ thuật giảm số lượng mẫu của lớp đa số để cân bằng phân phối lớp.

Lấy mẫu dưới mức ngẫu nhiên (Random Undersampling)

Đây là phương pháp lấy mẫu dưới mức cơ bản và đơn giản nhất. Nó hoạt động bằng cách loại bỏ ngẫu nhiên một số lượng mẫu nhất định từ lớp đa số cho đến khi đạt được tỷ lệ mong muốn giữa các lớp.

Ưu điểm: Phương pháp này rất đơn giản để triển khai và có thể giảm đáng kể thời gian huấn luyện mô hình cũng như yêu cầu bộ nhớ, đặc biệt đối với các tập dữ liệu rất lớn.
Nhược điểm: Hạn chế lớn nhất của lấy mẫu dưới mức ngẫu nhiên là nguy cơ mất thông tin quan trọng từ lớp đa số. Việc loại bỏ mẫu ngẫu nhiên có thể vô tình loại bỏ các mẫu hữu ích hoặc quan trọng, đặc biệt là những mẫu gần ranh giới quyết định. Điều này có thể dẫn đến mô hình kém mạnh mẽ hơn và tăng phương sai của bộ phân loại.

Lấy mẫu dưới mức ngẫu nhiên là kỹ thuật lấy mẫu lại đơn giản nhất, mang lại lợi ích tính toán cho các tập dữ liệu rất lớn. Tuy nhiên, việc loại bỏ các mẫu lớp đa số một cách bừa bãi của nó gây ra rủi ro đáng kể về mất thông tin, có khả năng loại bỏ thông tin ranh giới quyết định quan trọng hoặc các mẫu có giá trị trong lớp đa số. Điều này có thể dẫn đến các mô hình khái quát hóa kém đối với các trường hợp lớp đa số chưa được nhìn thấy, làm giảm hiệu suất tổng thể.

So sánh tổng thể

Việc so sánh các kỹ thuật này cho thấy chúng không loại trừ lẫn nhau mà thường bổ trợ cho nhau.

Trọng số lớp: Phương pháp này không sửa đổi dữ liệu gốc, dễ triển khai và có thể hiệu quả cho cả tập dữ liệu nhỏ và lớn. Tuy nhiên, nó yêu cầu tinh chỉnh siêu tham số cẩn thận để tránh overfitting và có thể không đủ mạnh mẽ cho các trường hợp mất cân bằng cực đoan.
Oversampling (SMOTE/ADASYN): Các kỹ thuật này tạo ra các mẫu tổng hợp, giúp tăng cường biểu diễn của lớp thiểu số mà không làm mất thông tin từ lớp đa số. Tuy nhiên, chúng có thể dẫn đến overfitting hoặc tạo ra nhiễu nếu không được sử dụng đúng cách. Các nghiên cứu cho thấy các phương pháp oversampling thường hoạt động tốt hơn undersampling ở các mức độ mất cân bằng khác nhau.
Undersampling: Giảm kích thước dữ liệu, giúp tăng tốc độ huấn luyện mô hình. Tuy nhiên, nhược điểm lớn nhất là nguy cơ mất thông tin quan trọng từ lớp đa số, đặc biệt nếu tập dữ liệu không đủ lớn.

Sự so sánh cho thấy rằng các kỹ thuật này không loại trừ lẫn nhau mà thường bổ trợ cho nhau. Trọng số lớp là một cách tiếp cận thuật toán không xâm lấn, trong khi các kỹ thuật lấy mẫu lại sửa đổi phân phối dữ liệu. Việc lựa chọn phụ thuộc vào vấn đề cụ thể, đặc điểm tập dữ liệu (kích thước, số chiều, nhiễu) và sự đánh đổi chấp nhận được giữa mất thông tin, chi phí tính toán và nguy cơ overfitting. Trong nhiều kịch bản thực tế, một cách tiếp cận kết hợp các phương pháp này có thể mang lại giải pháp mạnh mẽ nhất, tận dụng thế mạnh tương ứng của chúng để giảm thiểu những điểm yếu riêng lẻ.

Các ứng dụng thực tế và nghiên cứu điển hình

Trọng số lớp đã được chứng minh là một kỹ thuật hiệu quả trong nhiều ứng dụng thực tế, đặc biệt là trong các lĩnh vực mà dữ liệu mất cân bằng là phổ biến và chi phí của các lỗi phân loại sai là rất cao.

Phát hiện gian lận

Phát hiện gian lận là một trong những lĩnh vực ứng dụng điển hình nhất của trọng số lớp.

Đặc điểm: Trong các tập dữ liệu giao dịch tài chính, tỷ lệ giao dịch gian lận cực kỳ thấp so với giao dịch hợp lệ. Ví dụ, trong một tập dữ liệu thẻ tín dụng, chỉ có khoảng 0.172% giao dịch là gian lận trong tổng số 284.807 giao dịch.
Thách thức: Thách thức lớn nhất là việc phân loại sai một giao dịch gian lận thành hợp lệ (âm tính giả). Điều này có thể dẫn đến những hậu quả tài chính nghiêm trọng cho các tổ chức.
Giải pháp: Trọng số lớp được sử dụng để tăng hình phạt cho các lỗi âm tính giả, đảm bảo rằng mô hình tập trung hơn vào việc xác định các trường hợp gian lận, ngay cả khi chúng rất hiếm.
Nghiên cứu điển hình: Một nghiên cứu đã đánh giá các thuật toán học máy như Hồi quy Logistic và Rừng ngẫu nhiên trong phát hiện gian lận. Để đối phó với sự mất cân bằng, tùy chọn class_weight='balanced' đã được sử dụng, điều chỉnh hàm mất mát để phạt nặng hơn việc phân loại sai các trường hợp thiểu số. Mục tiêu là tối đa hóa F1-score trên tập xác thực, một chỉ số phù hợp hơn độ chính xác trong các bài toán mất cân bằng. Ngoài ra, SVM có trọng số cũng được áp dụng, sử dụng số dư giao dịch làm trọng số cho các giao dịch gian lận để cải thiện khả năng phát hiện.

Phát hiện gian lận là một ví dụ điển hình về một vấn đề phân loại mất cân bằng có rủi ro cao. Hậu quả tài chính nghiêm trọng của các lỗi âm tính giả thúc đẩy nhu cầu về các kỹ thuật như trọng số lớp, vốn trực tiếp giải quyết chi phí không đối xứng của các lỗi. Việc sử dụng F1-score làm chỉ số đánh giá chính, thay vì độ chính xác, càng nhấn mạnh sự tập trung vào việc cân bằng độ chính xác và recall cho lớp thiểu số, phản ánh một tối ưu hóa thực tế, dựa trên kinh doanh.

Chẩn đoán bệnh (đặc biệt là bệnh hiếm)

Trong lĩnh vực y tế, đặc biệt là chẩn đoán các bệnh hiếm, dữ liệu thường bị mất cân bằng nghiêm trọng.

Đặc điểm: Số lượng bệnh nhân mắc bệnh hiếm ít hơn rất nhiều so với người khỏe mạnh hoặc mắc bệnh phổ biến.
Thách thức: Việc bỏ sót chẩn đoán bệnh hiếm (âm tính giả) có thể gây ra hậu quả nghiêm trọng đến sức khỏe và tính mạng bệnh nhân.
Giải pháp: Trọng số lớp giúp mô hình ưu tiên nhận diện các trường hợp bệnh hiếm, giảm thiểu âm tính giả và đảm bảo rằng các trường hợp quan trọng này không bị bỏ qua.
Nghiên cứu điển hình: Các mô hình mạng nơ-ron tích chập (CNN) đã được tối ưu hóa bằng cách sử dụng trọng số lớp trong hàm mất mát để cải thiện hiệu suất phân loại đa lớp không cân bằng. Ví dụ, trong phân tích lá cọ dầu để xác định thiếu hụt dinh dưỡng, việc áp dụng trọng số lớp đã cải thiện đáng kể độ chính xác phân loại. Ngoài ra, việc kết hợp trọng số lớp với các hàm mất mát tiên tiến như Focal Loss trong PyTorch cũng là một phương pháp hiệu quả để xử lý dữ liệu mất cân bằng trong các bài toán chẩn đoán y tế, giúp mô hình tập trung hơn vào các mẫu khó học của lớp thiểu số.

Chẩn đoán y tế, đặc biệt đối với các bệnh hiếm, minh họa sự cần thiết về mặt đạo đức và xã hội đối với việc phát hiện lớp thiểu số mạnh mẽ. Ở đây, “chi phí” của một lỗi âm tính giả là tính mạng con người hoặc sự suy giảm sức khỏe nghiêm trọng. Trọng số lớp, đặc biệt khi kết hợp với các hàm mất mát tiên tiến như Focal Loss, trở thành một công cụ quan trọng để buộc mô hình phải học các mẫu tinh vi của các tình trạng hiếm gặp, đảm bảo rằng sức mạnh dự đoán của mô hình phù hợp với tác động thực tế của các quyết định của nó.

Khuyến nghị

Để tối đa hóa hiệu quả của việc sử dụng trọng số lớp và đảm bảo tính mạnh mẽ của mô hình, các khuyến nghị sau đây cần được xem xét:

Tinh chỉnh siêu tham số cẩn thận: Việc xác định trọng số tối ưu là rất quan trọng. Luôn sử dụng các kỹ thuật tinh chỉnh siêu tham số có hệ thống như tìm kiếm lưới (grid search) hoặc tìm kiếm ngẫu nhiên (random search) kết hợp với kiểm định chéo (cross-validation). Điều này giúp tìm ra cấu hình trọng số mang lại hiệu suất tốt nhất trên dữ liệu chưa thấy, tránh tình trạng overfitting vào lớp thiểu số.
Sử dụng các chỉ số đánh giá phù hợp: Độ chính xác (accuracy) có thể gây hiểu lầm trong các bài toán mất cân bằng. Thay vào đó, hãy tập trung vào các chỉ số đánh giá nhạy cảm hơn với sự mất cân bằng và phản ánh đúng mục tiêu nghiệp vụ, như F1-score, Diện tích dưới đường cong ROC (AUC-ROC), và Diện tích dưới đường cong Precision-Recall (AUC-PR).
Kết hợp với các kỹ thuật khác: Trọng số lớp thường hoạt động hiệu quả nhất khi được kết hợp với các phương pháp xử lý mất cân bằng khác. Ví dụ, kết hợp với các kỹ thuật lấy mẫu quá mức như SMOTE hoặc ADASYN có thể cung cấp một tập dữ liệu cân bằng hơn, hoặc điều chỉnh ngưỡng quyết định (decision threshold calibration) sau khi huấn luyện có thể tối ưu hóa sự cân bằng giữa precision và recall.
Hiểu rõ chi phí nghiệp vụ: Việc gán trọng số không chỉ dựa trên phân phối thống kê mà còn phải dựa trên sự hiểu biết sâu sắc về chi phí thực tế của các loại lỗi khác nhau trong bối cảnh ứng dụng cụ thể. Ví dụ, chi phí của một lỗi âm tính giả trong chẩn đoán y tế có thể cao hơn rất nhiều so với một lỗi dương tính giả.
Theo dõi hiệu suất liên tục: Sau khi triển khai, điều quan trọng là phải liên tục giám sát hiệu suất của mô hình trên cả lớp đa số và thiểu số trên tập xác thực và dữ liệu thực tế. Điều này giúp phát hiện sớm bất kỳ sự thiên vị nào của mô hình hoặc sự suy giảm khả năng khái quát hóa theo thời gian, cho phép điều chỉnh trọng số khi cần thiết.