Xác suất và thống kê

Xác suất là tỉ lệ khi lặp lại nhiều lần

Xác suất của một biến cố là một số từ 0 đến 1. Khi mọi kết quả đều khả năng như nhau, xác suất là số kết quả thuận lợi chia cho tổng số kết quả. Xúc xắc cân đối ra mặt 5 hoặc 6 có xác suất $2/6 = 1/3$. Xác suất biến cố không xảy ra là $1$ trừ xác suất nó xảy ra.

Cách hiểu thứ hai hữu ích hơn khi lập trình: xác suất là tỉ lệ biến cố xảy ra nếu lặp lại phép thử rất nhiều lần. Cho máy tung xúc xắc một trăm nghìn lần rồi đếm:

import numpy as np

rng = np.random.default_rng(0)
rolls = rng.integers(1, 7, size=100_000)       # số nguyên từ 1 đến 6
print(round((rolls >= 5).mean(), 4), round(1 / 3, 4))
print(round(rolls.mean(), 3))

Kết quả0.3326 0.3333
3.498

Tỉ lệ đếm được khớp $1/3$ tới hai chữ số thập phân. Dòng thứ hai là trung bình các mặt, gần 3.5; mục kỳ vọng sẽ giải thích con số này. Một biểu thức so sánh như rolls >= 5 cho mảng True/False, và .mean() của nó chính là tỉ lệ True, mẹo đã dùng ở bài 0.3.

Xác suất có điều kiện và độc lập

Một lớp 40 học sinh: 25 bạn làm bài tập đều, trong đó 20 bạn đạt; 15 bạn không làm đều, trong đó 6 bạn đạt. Chọn ngẫu nhiên một bạn. Xác suất bạn ấy đạt là $26/40 = 0.65$. Nhưng nếu đã biết bạn ấy làm bài tập đều, ta chỉ đếm trong nhóm 25 bạn ấy: $20/25 = 0.8$.

Đó là xác suất có điều kiện, viết $P(A \mid B)$, đọc “xác suất của $A$ khi đã biết $B$”:

$A \cap B$ là “cả $A$ lẫn $B$ cùng xảy ra”. Ở ví dụ, $P(\text{đạt} \cap \text{làm đều}) = 20/40$ và $P(\text{làm đều}) = 25/40$, chia ra được $0.8$. Mẫu số đổi từ cả lớp sang nhóm điều kiện.

Hai biến cố độc lập khi biết cái này không đổi xác suất của cái kia: $P(A \mid B) = P(A)$, tương đương

Ở lớp trên, $0.8 \ne 0.65$, nên đạt và làm bài tập đều không độc lập. Hai lần tung xúc xắc thì độc lập: xác suất cả hai lần ra 6 là $1/6 \cdot 1/6 = 1/36$. Chỉ được nhân hai xác suất khi đã có lý do để tin chúng độc lập.

pass_ = np.array([1] * 20 + [0] * 5 + [1] * 6 + [0] * 9)      # đạt hay không
homework = np.array([1] * 25 + [0] * 15)                    # làm bài tập đều hay không
p_pass = pass_.mean()
p_pass_given_hw = pass_[homework == 1].mean()
p_both = (pass_ & homework).mean()
print(p_pass, p_pass_given_hw, p_both / homework.mean())

Kết quả0.65 0.8 0.8

pass_[homework == 1] lọc đúng nhóm điều kiện rồi lấy tỉ lệ, cách viết thẳng theo nghĩa “chỉ đếm trong nhóm”. Cột cuối tính theo công thức và ra cùng số.

Bayes: đảo chiều điều kiện

Một xét nghiệm phát hiện được 95% người có bệnh, và báo nhầm 5% người khỏe. Bệnh này chỉ 1% dân số mắc. Một người xét nghiệm dương tính. Xác suất người ấy có bệnh là bao nhiêu?

Nhiều người trả lời 95%. Con số ấy là $P(\text{dương} \mid \text{bệnh})$, còn câu hỏi là $P(\text{bệnh} \mid \text{dương})$, điều kiện nằm ở phía ngược lại. Cách dễ nhất là đếm trên 10 000 người. 100 người có bệnh, 95 người trong số đó dương tính. 9900 người khỏe, 5% của họ là 495 người dương tính nhầm. Tổng cộng 590 người dương tính, chỉ 95 người thật sự có bệnh: $95/590 \approx 0.16$.

Viết thành công thức, đó là định lý Bayes:

Ở đây $B$ là “có bệnh”, $D$ là “dương tính”, $\neg B$ là “không có bệnh”. Tử số $0.95 \cdot 0.01 = 0.0095$; mẫu số $0.0095 + 0.05 \cdot 0.99 = 0.059$. Chia ra được $0.161$, khớp phép đếm.

Chuyện này cũng xảy ra với model. Khi trường hợp cần tìm rất hiếm, một model bắt được gần hết ca thật và ít báo nhầm vẫn có thể có phần lớn cảnh báo là nhầm, vì nhóm bình thường quá đông. Bài 1.5 sẽ đo điều này bằng precision.

p_b = 0.01             # tỉ lệ mắc bệnh
p_d_b = 0.95           # dương tính khi có bệnh
p_d_not_b = 0.05       # dương tính nhầm khi khỏe
p_d = p_d_b * p_b + p_d_not_b * (1 - p_b)
print(round(p_d, 4), round(p_d_b * p_b / p_d, 4))

sick = rng.random(1_000_000) < p_b
positive = np.where(sick, rng.random(1_000_000) < p_d_b, rng.random(1_000_000) < p_d_not_b)
print(round(sick[positive].mean(), 4))

Kết quả0.059 0.161
0.1609

Mô phỏng một triệu người cho tỉ lệ bệnh thật trong nhóm dương tính khoảng 0.161, khớp công thức tới hai chữ số. np.where(điều kiện, a, b) chọn phần tử của a ở chỗ điều kiện đúng và của b ở chỗ sai.

Kỳ vọng và trung bình

Kỳ vọng của một đại lượng ngẫu nhiên là trung bình các giá trị, mỗi giá trị nhân với xác suất của nó:

Xúc xắc cân đối: $\E[X] = (1 + 2 + \dots + 6)/6 = 3.5$, khớp con số 3.498 ở mục đầu. Kỳ vọng không nhất thiết là một giá trị có thể xảy ra; không lần tung nào ra 3.5. Nó là trung bình về lâu dài.

Một vé số giá 10 000 đồng, trúng 1 000 000 đồng với xác suất $0.005$. Tiền lời kỳ vọng mỗi vé là $0.005 \cdot 1\,000\,000 - 10\,000 = -5000$ đồng: mua càng nhiều, càng gần chắc chắn lỗ.

Kỳ vọng có tính tuyến tính: $\E[aX + bY] = a\E[X] + b\E[Y]$, kể cả khi $X$ và $Y$ không độc lập. Tung hai xúc xắc, kỳ vọng tổng là $3.5 + 3.5 = 7$ mà không cần liệt kê 36 trường hợp.

Trên dữ liệu thật, ta không biết xác suất, chỉ có các giá trị đã quan sát. Trung bình mẫu $\bar{x} = \frac{1}{n}\sum x_i$ là ước lượng của kỳ vọng. Median là giá trị đứng giữa khi sắp xếp; nó ít bị kéo bởi một vài giá trị cực lớn, như bài 0.3 đã thấy với giờ tự học lệch phải.

Phương sai và độ lệch chuẩn

Hai nhóm học sinh có điểm $[6, 7, 7, 8, 7]$ và $[4, 9, 5, 10, 7]$. Trung bình đều bằng 7, nhưng nhóm sau phân tán hơn nhiều. Đo độ phân tán bằng phương sai: trung bình bình phương khoảng cách tới trung bình,

$\sigma$ là độ lệch chuẩn (standard deviation), cùng đơn vị với dữ liệu nên dễ đọc hơn phương sai. Nhóm đầu có độ lệch $-1, 0, 0, 1, 0$, bình phương có trung bình $2/5 = 0.4$, nên $\sigma \approx 0.63$. Nhóm sau có phương sai $26/5 = 5.2$, $\sigma \approx 2.28$.

z-score của một giá trị cho biết nó cách trung bình bao nhiêu lần độ lệch chuẩn: $z = (x - \mu)/\sigma$. Điểm 10 ở nhóm sau có $z = 3/2.28 \approx 1.32$; ở nhóm đầu, điểm 10 có $z \approx 4.7$, tức là bất thường hơn nhiều. Chuẩn hóa dữ liệu ở bài 1.4 làm đúng phép này cho từng cột.

a = np.array([6, 7, 7, 8, 7], dtype=float)
b = np.array([4, 9, 5, 10, 7], dtype=float)
for g in (a, b):
    print(g.mean(), round(g.var(), 2), round(g.std(), 2), round((10 - g.mean()) / g.std(), 2))
print(np.var(a, ddof=1))

Kết quả7.0 0.4 0.63 4.74
7.0 5.2 2.28 1.32
0.5

NumPy mặc định chia cho $n$. Dòng cuối dùng ddof=1 để chia cho $n - 1$, ra $2/4 = 0.5$; pandas mặc định tính std() theo cách này. Chia cho $n - 1$ cho kết quả sát hơn khi dùng một mẫu nhỏ để đoán độ phân tán của cả tổng thể. Khi $n$ lớn, hai cách gần như bằng nhau; chỉ cần nhớ để không ngạc nhiên khi NumPy và pandas in hai số khác nhau.

Phân phối chuẩn

Chiều cao, sai số đo, điểm thi của nhiều người thường có histogram hình chuông: dày ở giữa, mỏng dần hai bên, đối xứng. Hình chuông ấy là phân phối chuẩn (normal distribution), xác định bởi hai số: trung bình $\mu$ và độ lệch chuẩn $\sigma$.

Quy tắc dễ nhớ nhất là 68–95–99.7: khoảng 68% giá trị nằm trong $\mu \pm \sigma$, 95% trong $\mu \pm 2\sigma$, 99.7% trong $\mu \pm 3\sigma$. Một giá trị có $|z| > 3$ là hiếm, đáng kiểm xem có phải lỗi nhập liệu không.

Phân phối chuẩn xuất hiện nhiều vì một lý do sâu hơn: trung bình của nhiều đại lượng ngẫu nhiên độc lập có phân phối gần chuẩn, dù từng đại lượng có phân phối gì. Đó là định lý giới hạn trung tâm. Ngay cả trung bình của 30 lần tung xúc xắc, vốn có phân phối đều, cũng cho histogram hình chuông. Mục tiếp theo dùng đúng kết quả này cho accuracy.

z = rng.normal(0, 1, size=100_000)
print(round((np.abs(z) < 1).mean(), 3), round((np.abs(z) < 2).mean(), 3))
means = rng.integers(1, 7, size=(100_000, 30)).mean(axis=1)
print(round(means.mean(), 3), round(means.std(), 3), round(np.sqrt(35 / 12 / 30), 3))
print(round((np.abs(means - 3.5) < means.std()).mean(), 3))

Kết quả0.682 0.954
3.5 0.311 0.312
0.691

Dòng đầu: 68.2% và 95.4% số ngẫu nhiên chuẩn nằm trong một và hai độ lệch chuẩn. Dòng hai: một trăm nghìn lần lấy trung bình 30 mặt xúc xắc; trung bình của chúng quanh 3.5, độ lệch chuẩn 0.311, gần đúng bằng $\sigma/\sqrt{30} \approx 0.312$ với $\sigma^2 = 35/12$ là phương sai một xúc xắc. Dòng ba: khoảng 69% các trung bình nằm trong một độ lệch chuẩn, gần 68% của phân phối chuẩn. Phần lệch nhỏ đến từ việc trung bình 30 mặt chỉ nhận một số giá trị rời rạc.

Sai số chuẩn: điểm validation dao động bao nhiêu

Quay lại câu hỏi đầu bài. Một model có accuracy thật $p = 0.85$ trên toàn bộ ảnh có thể gặp. Ta chỉ chấm trên $n = 200$ ảnh rút ngẫu nhiên. Mỗi ảnh đúng hay sai giống một lần tung đồng xu lệch, nên accuracy đo được là trung bình của 200 biến 0/1. Theo mục trước, nó có phân phối gần chuẩn quanh $p$, với độ lệch chuẩn

Độ lệch chuẩn của một con số ước lượng gọi là sai số chuẩn (standard error). Với $p = 0.85$, $n = 200$: $\text{SE} = \sqrt{0.1275 / 200} \approx 0.025$. Theo quy tắc 95%, accuracy đo được thường nằm trong khoảng $0.85 \pm 0.05$, tức từ 0.80 tới 0.90. Hai model chênh 2 điểm phần trăm trên 200 ảnh là chênh lệch nằm gọn trong nhiễu.

Muốn SE nhỏ hơn thì cần $n$ lớn hơn, nhưng SE chỉ giảm theo $\sqrt{n}$: gấp 10 lần dữ liệu thì SE chỉ còn khoảng một phần ba.

p_true = 0.85
for n in [200, 2000]:
    acc = rng.binomial(n, p_true, size=10_000) / n       # 10 000 bộ validation, mỗi bộ n ảnh
    lo, hi = np.percentile(acc, [2.5, 97.5])
    print(n, round(acc.std(), 4), round(np.sqrt(p_true * (1 - p_true) / n), 4), lo, hi)

Kết quả200 0.025 0.0252 0.8 0.895
2000 0.008 0.008 0.8345 0.866

rng.binomial(n, p) đếm số lần thành công trong $n$ lần thử, mỗi lần xác suất $p$; chia cho $n$ được accuracy của một bộ validation. Mười nghìn bộ cho thấy với 200 ảnh, 95% số đo nằm từ 0.80 tới 0.895, rộng gần 10 điểm phần trăm. Với 2000 ảnh, khoảng ấy chỉ còn từ 0.8345 tới 0.866.

Hai cách giảm nhiễu khi so model: dùng validation lớn hơn hoặc cross-validation (bài 1.3); và so hai model trên cùng các ảnh, đếm những ảnh mà hai model trả lời khác nhau, thay vì so hai con số tổng.

Tương quan: Pearson, Spearman và nhân quả

Hệ số tương quan Pearson đo mức hai đại lượng cùng tăng giảm theo một đường thẳng:

$r$ nằm trong $[-1, 1]$: bằng 1 khi mọi điểm nằm trên một đường thẳng đi lên, bằng $-1$ khi đường thẳng đi xuống, gần 0 khi không có xu hướng thẳng. Tính tay theo thứ tự: hai trung bình, độ lệch của từng điểm, ba tổng ở tử và mẫu, rồi chia.

Hệ số Spearman $\rho$ là Pearson tính trên thứ hạng: thay mỗi giá trị bằng hạng của nó trong dãy (nhỏ nhất hạng 1, giá trị bằng nhau lấy hạng trung bình), rồi tính $r$ của hai dãy hạng. Nó đo quan hệ đơn điệu, tức cùng tăng dù đường cong, và ít bị một điểm ngoại lai kéo lệch.

def pearson(x, y):
    dx, dy = x - x.mean(), y - y.mean()
    return (dx * dy).sum() / np.sqrt((dx ** 2).sum() * (dy ** 2).sum())

def ranks(v):
    return np.array([(v < a).sum() + ((v == a).sum() + 1) / 2 for a in v])

x = np.arange(-3, 4, dtype=float)
for name, y in [("2x + 1", 2 * x + 1), ("x^3", x ** 3), ("x^2", x ** 2)]:
    print(f"y = {name:6s} Pearson {pearson(x, y):.2f}  Spearman {pearson(ranks(x), ranks(y)):.2f}")

Kết quảy = 2x + 1 Pearson 1.00  Spearman 1.00
y = x^3    Pearson 0.93  Spearman 1.00
y = x^2    Pearson 0.00  Spearman 0.00

Dòng thứ hai: $x^3$ tăng đơn điệu nên thứ hạng của $x$ và $y$ trùng nhau, Spearman bằng 1, nhưng đường cong nên Pearson chỉ 0.93. Dòng thứ ba: $y$ được tính hoàn toàn từ $x$ mà cả hai hệ số đều bằng 0, vì nửa trái đi xuống, nửa phải đi lên. Hệ số tương quan gần 0 không có nghĩa là hai đại lượng không liên quan; luôn vẽ biểu đồ trước khi kết luận.

Tương quan cũng không phải nhân quả. Số kem bán ra và số vụ đuối nước cùng tăng vào mùa hè, nhưng ăn kem không gây đuối nước: cả hai cùng do trời nóng. Một biến như vậy gọi là biến gây nhiễu (confounder). Trong học máy, một feature tương quan mạnh với nhãn chưa chắc là nguyên nhân của nhãn. Khi dữ liệu đổi, chẳng hạn ảnh chụp ở bệnh viện khác, mối tương quan ấy có thể mất (bài 8.2).