Generalization

Nhớ một ví dụ khác với học một quy luật

Ta tạm thu bài toán xuống một feature $x$ trong khoảng 0–1: vị trí của một buổi trong lịch hoạt động. Mức tham gia đã chuẩn hóa là

$\sin$ tạo một xu hướng lên rồi xuống để nhìn được bằng hình. $\varepsilon$ là nhiễu, ở đây sinh ngẫu nhiên với trung bình 0 và độ lệch chuẩn 0.25. Các giá trị âm có nghĩa là thấp hơn mức tham gia chuẩn, không phải số người âm. Dạng sóng này do ta tự đặt ra để thí nghiệm, nhờ đó biết chính xác đâu là quy luật, đâu là nhiễu. Học được là nhờ có quy luật: nếu nhãn hoàn toàn ngẫu nhiên như kết quả xổ số thì không mô hình nào đoán được, dù dữ liệu nhiều đến đâu.

Mô hình trong hình là k-Nearest Neighbors regression, viết ngắn là kNN. Để đoán tại $x$, nó tìm $k$ điểm train gần nhất rồi lấy trung bình nhãn của chúng. Bài 2.4 sẽ học thuật toán kỹ hơn; hôm nay chỉ dùng đặc tính: $k$ nhỏ cho đường linh hoạt hơn, $k$ lớn cho đường trơn hơn.

Với $k=1$, tại một điểm train, hàng xóm gần nhất chính là nó, nên mô hình trả đúng nhãn đã quan sát. Điều ấy bao gồm cả phần nhiễu của riêng điểm đó. Với $k$ bằng toàn bộ số mẫu train, mọi vị trí nhận cùng một giá trị trung bình, dù xu hướng thật lên xuống rõ rệt.

Viết rõ đang đo lỗi ở đâu

Giả sử có $n$ mẫu train. Sai số train với MSE là

Ví dụ ba mẫu có nhãn thật $(1, 3, 5)$ và dự đoán $(2, 3, 4)$ cho MSE $= (1 + 0 + 1)/3 = 2/3$.

Nhưng điều ta thật sự cần là lỗi trên các mẫu mới, tức trung bình lỗi nếu đem model dùng cho rất nhiều buổi sau này:

$\mathbb E$ là kỳ vọng (bài 0.7), lấy trên mọi mẫu có thể gặp lúc dùng thật. Ta không có các mẫu đó, nên dùng tập validation để ước lượng $R(f)$. Muốn ước lượng đúng, validation phải giống dữ liệu lúc dùng thật; chia sai thì điểm có thể đẹp mà không nói lên điều ta cần. Khả năng đoán tốt trên mẫu chưa gặp lúc học gọi là tổng quát hóa, hay khái quát hóa (generalization); đó là thứ ta cần, không phải điểm trên train.

Trong thí nghiệm này, train và validation được sinh riêng từ cùng một công thức, nên validation giống hệt dữ liệu mới. Code tạo 80 mẫu train và 160 mẫu validation, rồi so ba giá trị $k$.

import numpy as np
from sklearn.neighbors import KNeighborsRegressor
from sklearn.metrics import mean_squared_error

rng = np.random.default_rng(12)

def make_data(n):
    X = rng.uniform(0, 1, size=(n, 1))
    y = np.sin(2 * np.pi * X[:, 0]) + rng.normal(0, 0.25, size=n)
    return X, y

X_train, y_train = make_data(80)
X_valid, y_valid = make_data(160)
print(X_train.shape, y_train.shape)
for k in [80, 10, 1]:
    model = KNeighborsRegressor(n_neighbors=k).fit(X_train, y_train)
    train_mse = mean_squared_error(y_train, model.predict(X_train))
    valid_mse = mean_squared_error(y_valid, model.predict(X_valid))
    print(f"k={k:2d}: train={train_mse:.4f}, valid={valid_mse:.4f}")

Kết quả(80, 1) (80,)
k=80: train=0.5861, valid=0.5654
k=10: train=0.0574, valid=0.0820
k= 1: train=0.0000, valid=0.1011

Đọc cả hai cột. Khi $k=80$, train và validation cùng có lỗi lớn: mô hình quá đơn giản để giữ xu hướng. Khi $k=1$, train có lỗi bằng 0, nhưng validation không vì thế thấp nhất. $k=10$ lấy trung bình cục bộ, giảm tác động của nhiễu mà còn giữ được dạng sóng.

Không chọn mô hình từ cột train. Cũng không biến ví dụ thành quy tắc “luôn dùng $k=10$”: số mẫu, mật độ điểm, độ nhiễu và số chiều thay đổi thì $k$ phù hợp cũng đổi.

Underfit và overfit là chẩn đoán có điều kiện

Underfitting (học chưa đủ): model quá đơn giản, không bắt được quy luật. Ví dụ $k = 80$ san phẳng cả đường cong. Dấu hiệu: lỗi train và lỗi validation cùng cao và gần nhau. Thêm dữ liệu cùng loại không giúp, vì model còn chưa khớp nổi train; cần model linh hoạt hơn hoặc thêm đặc trưng tốt hơn.

Overfitting (học quá sát): model học thuộc cả nhiễu của train. Ví dụ $k = 1$: đổi một nhãn nhiễu là cả một đoạn dự đoán đổi theo. Dấu hiệu: lỗi train thấp mà lỗi validation cao hơn hẳn. Cách chữa: giảm độ linh hoạt (ở đây là tăng $k$), dùng regularization (chương 2), hoặc thêm dữ liệu.

Overfitting dễ xảy ra khi model có rất nhiều tham số mà dữ liệu ít, hay số đặc trưng nhiều hơn số mẫu, như 100 chỉ số xét nghiệm cho 50 bệnh nhân. Một mạng neural đủ lớn còn học thuộc được cả nhãn bị xáo ngẫu nhiên, đúng 100% trên train; vì vậy điểm train cao không chứng minh model đã học được quy luật.

Tuy vậy, hai dấu hiệu trên chỉ là gợi ý. Train tốt mà validation kém cũng có thể do dữ liệu đổi theo thời gian, một cột bị sai đơn vị, hay hai tập được xử lý khác nhau. Train và validation cùng kém cũng có thể do nhãn bị lệch hàng hay metric viết sai. Trước khi sửa model, nên kiểm lại dữ liệu và tính tay một ví dụ nhỏ.

Learning curve: thêm dữ liệu có đáng làm không?

Câu hỏi thực tế: có nên thu thêm dữ liệu không? Learning curve trả lời câu đó: giữ $k = 10$, tăng dần số mẫu train, và đo lỗi train cùng lỗi validation ở mỗi mức. Trục ngang là số mẫu train. (Đừng nhầm với đường loss theo số bước huấn luyện, sẽ gặp ở chương 3.)

Hàm learning_curve của scikit-learn làm việc này. Ở mỗi kích thước, nó chia dữ liệu thành 4 phần (gọi là 4 fold), lần lượt giữ một phần để chấm và học trên phần còn lại, rồi lấy trung bình; bài 1.3 sẽ học kỹ cách chia này.

from sklearn.model_selection import KFold, learning_curve

X_curve, y_curve = make_data(400)
cv = KFold(n_splits=4, shuffle=True, random_state=12)
sizes, train_scores, valid_scores = learning_curve(
    KNeighborsRegressor(n_neighbors=10),
    X_curve, y_curve, cv=cv,
    train_sizes=[20, 60, 140, 300],
    scoring="neg_mean_squared_error",
    shuffle=True, random_state=12, n_jobs=1,
)
for size, train_score, valid_score in zip(
    sizes, train_scores.mean(axis=1), valid_scores.mean(axis=1)
):
    print(f"n={size:3d}: train MSE={-train_score:.4f}, valid MSE={-valid_score:.4f}")

Kết quản= 20: train MSE=0.2133, valid MSE=0.2187
n= 60: train MSE=0.0701, valid MSE=0.0974
n=140: train MSE=0.0602, valid MSE=0.0761
n=300: train MSE=0.0610, valid MSE=0.0748

Các score có dấu âm vì công cụ chọn mô hình của scikit-learn quy ước “lớn hơn là tốt hơn”, nên MSE được đổi dấu thành neg-MSE; ta đổi dấu lại để đọc. Mỗi hàng là trung bình của bốn fold.

Với 20 mẫu, mười hàng xóm phủ một vùng rộng nên đường dự đoán bị san phẳng, cả hai lỗi đều cao. Thêm mẫu thì vùng ấy hẹp lại, đường giữ được dạng sóng, và lỗi validation giảm. Từ 140 lên 300 mẫu, lỗi validation gần như không giảm nữa.

Cách đọc một learning curve:

• Hai đường sát nhau và cùng đi ngang ở mức lỗi cao: underfitting. Thêm dữ liệu không giúp; cần model mạnh hơn hoặc đặc trưng tốt hơn.
• Hai đường cách xa, đường validation còn đang giảm: thêm dữ liệu còn có ích.
• Hai đường cách xa, đường validation đã đi ngang: overfitting; nên giảm độ phức tạp hoặc thêm regularization.

Đổi tỉ lệ chia, chẳng hạn từ 70% train và 30% test sang 90% và 10%, cũng theo cách đọc này: train nhiều hơn thường giúp nhưng không chắc, còn tập chấm nhỏ đi thì con số đo được dao động nhiều hơn.

Còn một mốc để so: kể cả khi biết chính xác $\sin(2\pi x)$, lỗi vẫn còn bằng phương sai của nhiễu, $0.25^2 = 0.0625$, vì không model nào đoán được nhiễu. Validation MSE 0.0748 ở 300 mẫu đã khá gần mốc ấy, nên không còn cải thiện được bao nhiêu. Với dữ liệu thật ta không biết mức nhiễu; người ta thường lấy kết quả tốt nhất mà con người làm được, như một nhóm bác sĩ hội chẩn, làm ước lượng cho mức lỗi thấp nhất có thể, gọi là sai số Bayes.

Trở lại câu chuyện câu lạc bộ

Model học trên các buổi trong năm học rồi đem dùng vào dịp hè có thể đoán kém, vì số đăng ký, lịch học và thói quen tham gia đều đổi. Hiện tượng dữ liệu lúc dùng khác dữ liệu lúc học gọi là distribution shift (thay đổi phân phối). Model chỉ đáng tin trong vùng dữ liệu đã học. Vài ví dụ:

• Học giá nhà 40–120 m² rồi đoán căn 600 m²: đoán ra ngoài vùng đã học (ngoại suy).
• Nhận diện khuôn mặt học trên người lớn, dùng cho trẻ em.
• Học trên ảnh chụp ban ngày, dùng cho ảnh ban đêm.
• Học trên dữ liệu năm 2023, dùng cho năm 2025.

Cách sửa gốc là đưa đúng loại dữ liệu sẽ gặp lúc dùng vào train, và chấm trên dữ liệu gần thời điểm dùng nhất. Vì vậy “model tổng quát hóa tốt” luôn phải nói rõ: tốt cho trường hợp nào. Đoán các buổi sau của cùng câu lạc bộ khác với đoán cho câu lạc bộ ở một trường mới; bài 1.3 sẽ chia dữ liệu theo thời gian và theo nhóm để đo từng trường hợp.