Mục lục bài họcĐang ở d04-b2
Bivariate data: scatter diagrams, regression and correlation
What $r$ measures, and what it does not
Pearson's product-moment correlation coefficient $r$ lies in $[-1,1]$ and measures the strength of a linear relationship only. A perfect parabola through the origin can have $r$ near zero; $r$ small therefore means "not linear", not "no relationship".
The coefficient of determination is $r^{2}$: it is the proportion of the variation in $y$ explained by the regression on $x$. With $r=0.966$, the model explains $r^{2}=0.933$, i.e. $93.3\%$ — not $96.6\%$.
The least-squares line
The line $y=ax+b$ minimises the sum of squared vertical residuals $\sum(y_{i}-\hat y_{i})^{2}$. Two consequences are examined directly: the line always passes through $(\bar x,\bar y)$, and the residual at a point is $\text{observed}-\text{predicted}$, so a negative residual means the model overestimates.
The line of $y$ on $x$ is for predicting $y$ from $x$. The line of $x$ on $y$ is a different line, and using the wrong one is a standard exam trap.
Interpolation and extrapolation
Predicting inside the range of the data is interpolation and is supported by the evidence. Predicting outside it is extrapolation and assumes the linear pattern continues where nothing was measured.
Spearman's rank
$$r_{s}=1-\frac{6\sum d^{2}}{n(n^{2}-1)}$$Ranks are used instead of values, so $r_{s}$ detects any monotonic relationship, not just a linear one, and is far less affected by outliers.
Correlation is not causation
A strong $r$ between two quantities may arise from a third, confounding variable acting on both.
Hệ số $r$ đo gì, và không đo gì. Hệ số tương quan Pearson nằm trong $[-1,1]$ và chỉ đo độ mạnh của quan hệ tuyến tính. Một parabol hoàn hảo có thể cho $r$ gần $0$; vậy $r$ nhỏ nghĩa là “không tuyến tính”, không có nghĩa là “không có quan hệ”. Trước khi bình luận về $r$ phải nhìn biểu đồ tán xạ.
Hệ số xác định là $r^{2}$: tỉ lệ biến thiên của $y$ được mô hình giải thích. Với $r=0{,}966$ thì $r^{2}=0{,}933$, tức $93{,}3\%$ — không phải $96{,}6\%$. Đây là chỗ mất điểm đều đặn nhất của cả chương, vì hai con số gần nhau nên đáp án sai vẫn trông có lý.
Đường bình phương tối thiểu. Đường $y=ax+b$ làm nhỏ nhất tổng bình phương phần dư theo phương thẳng đứng, tức $\sum(y_{i}-\hat y_{i})^{2}$, chứ không phải khoảng cách vuông góc tới đường thẳng. Hai hệ quả bị hỏi trực tiếp: đường luôn đi qua điểm $(\bar x,\bar y)$, và phần dư tại một điểm bằng quan sát trừ dự đoán, nên phần dư âm nghĩa là mô hình dự đoán cao hơn thực tế.
Đường hồi quy $y$ theo $x$ dùng để dự đoán $y$ từ $x$. Đường $x$ theo $y$ là một đường khác, và dùng nhầm là bẫy kinh điển: muốn dự đoán nhiệt độ từ doanh thu thì phải chạy lại hồi quy chứ không được giải ngược phương trình cũ.
Nội suy và ngoại suy. Dự đoán bên trong khoảng số liệu là nội suy, có bằng chứng đỡ. Dự đoán ngoài khoảng là ngoại suy, và nó giả định quy luật tuyến tính còn đúng ở nơi chưa hề đo. Câu trả lời được điểm luôn nêu rõ khoảng số liệu gốc rồi mới kết luận.
Tương quan hạng Spearman. $r_{s}=1-\dfrac{6\sum d^{2}}{n(n^{2}-1)}$, dùng hạng thay cho giá trị. Nhờ đó nó phát hiện mọi quan hệ đơn điệu chứ không riêng tuyến tính, và ít bị ngoại lai làm lệch hơn hẳn Pearson.
Tương quan không phải nhân quả. Một hệ số $r$ lớn giữa hai đại lượng có thể sinh ra từ một biến thứ ba tác động lên cả hai — biến gây nhiễu. Đề AI hầu như luôn kết bài bằng một câu hỏi kiểu này, và đáp án phải nêu được một biến thứ ba cụ thể chứ không nói chung chung.
Một quán kem ghi lại nhiệt độ trưa và doanh thu buổi chiều (triệu VND) trong tám ngày.
| Nhiệt độ $x$ (°C) | $18$ | $20$ | $22$ | $25$ | $27$ | $29$ | $31$ | $33$ |
|---|---|---|---|---|---|---|---|---|
| Doanh thu $y$ | $45$ | $52$ | $48$ | $64$ | $70$ | $68$ | $82$ | $90$ |
Tìm đường hồi quy $y$ theo $x$ và hệ số $r$. Diễn giải hệ số góc. Dự đoán doanh thu ở $24$°C và ở $40$°C, rồi bình luận độ tin cậy của từng dự đoán.
Bước 1 — chạy hồi quy trên GDC. Nhập hai danh sách, chọn LinReg:
$$y=2{,}905x-9{,}564,\qquad r=0{,}966,\qquad r^{2}=0{,}933$$Bước 2 — diễn giải hệ số góc bằng một câu có đơn vị. Mỗi khi nhiệt độ tăng $1$°C, doanh thu buổi chiều tăng trung bình khoảng $2{,}905$ triệu VND. Cụm “trung bình” không phải chữ đệm — mô hình không nói ngày nào cũng tăng đúng chừng ấy.
Hệ số chặn $-9{,}564$ thì không diễn giải được: nó ứng với $x=0$°C, nằm rất xa mọi số liệu đã đo, và doanh thu âm là vô nghĩa. Nói được điều này là một ý điểm riêng trong đề thật.
Bước 3 — hai dự đoán.
$$x=24:\quad y=2{,}905(24)-9{,}564=60{,}2\ \text{triệu VND}$$$$x=40:\quad y=2{,}905(40)-9{,}564=106{,}6\ \text{triệu VND}$$Bước 4 — bình luận, và đây mới là phần được điểm. Số liệu trải từ $18$°C tới $33$°C. Giá trị $24$°C nằm trong khoảng ấy nên là nội suy: với $r=0{,}966$, dự đoán $60{,}2$ triệu đáng tin.
Giá trị $40$°C nằm ngoài khoảng nên là ngoại suy. Ngoài chuyện chưa có bằng chứng nào ở vùng đó, còn có lý do thực tế: ở $40$°C người ta ở nhà chứ không ra đường mua kem, nên quan hệ tuyến tính nhiều khả năng gãy. Dự đoán $106{,}6$ triệu không tin được.
Kiểm nhanh cả bài: thay $\bar x=25{,}625$ vào phương trình cho $2{,}905(25{,}625)-9{,}564=64{,}9=\bar y$. Đường hồi quy bắt buộc đi qua điểm trung bình, nên phép thử này bắt được mọi lỗi nhập số vào máy.
Tám thí sinh được hai giám khảo xếp hạng từ $1$ tới $8$. Tổng bình phương chênh lệch hạng là $\sum d^{2}=36$.
(a) Tính $r_{s}$. (b) Một trong tám cặp điểm là ngoại lai rõ rệt về giá trị; giải thích vì sao điều đó ảnh hưởng tới $r$ của Pearson nhiều hơn tới $r_{s}$. (c) Nghiên cứu khác tìm ra $r=0{,}88$ giữa số hiệu sách trong một quận và số vụ trộm. Bình luận.
(a) Với $n=8$:
$$r_{s}=1-\frac{6\sum d^{2}}{n(n^{2}-1)}=1-\frac{6(36)}{8(64-1)}=1-\frac{216}{504}=1-0{,}4286=0{,}571$$Giá trị dương và ở mức trung bình: hai giám khảo có xu hướng xếp hạng giống nhau, nhưng khác biệt còn đáng kể.
(b) Pearson dùng chính giá trị, nên một điểm cực đoan đóng góp một số hạng rất lớn vào tổng bình phương và kéo cả hệ số đi. Spearman thay giá trị bằng hạng: dù thí sinh đó được $98$ hay $980$ điểm, hạng của họ vẫn chỉ là $1$. Ngoại lai vì thế bị nén lại thành một bậc hạng, và ảnh hưởng gần như biến mất.
Hệ quả thực dụng: khi biểu đồ tán xạ cho thấy quan hệ đơn điệu nhưng cong, hoặc có một hai điểm lạc, $r_{s}$ mô tả tình hình trung thực hơn $r$.
(c) Hệ số $r=0{,}88$ là tương quan mạnh, nhưng không kết luận được rằng hiệu sách gây ra trộm cắp hay ngược lại. Nhiều khả năng có một biến thứ ba tác động lên cả hai: dân số của quận. Quận đông dân có nhiều hiệu sách hơn và cũng nhiều vụ trộm hơn, và chỉ riêng điều đó đã sinh ra tương quan mà không cần bất kỳ liên hệ trực tiếp nào.
Cách kiểm được nêu trong đề AI: chia cả hai đại lượng cho dân số để lấy tỉ suất trên mười nghìn dân rồi tính lại $r$. Nếu tương quan biến mất thì dân số đúng là biến gây nhiễu. Câu trả lời chỉ viết “tương quan không phải nhân quả” mà không nêu được biến thứ ba cụ thể thường chỉ được nửa số điểm.
Đọc xong rồi — làm thử ngay
Bài tập của chương Statistics and Probability gồm 14 câu trắc nghiệm và 6 đề tự luận. Đáp án hiện ngay khi chọn, miễn phí.