Mục lục bài họcĐang ở d01-b4
Correlation, Causation and the Meaning of Statistical Significance
What a correlation coefficient says. The coefficient r runs from −1 to +1. Its sign gives the direction and its magnitude gives the strength; r = −0.8 describes a relationship just as strong as r = +0.8. Squaring it gives the proportion of variance shared: r = 0.6 yields r² = 0.36, so the two variables share only 36 per cent of their variation and 64 per cent is determined by something else. Reporting r² alongside r is a quick way to keep an impressive-sounding correlation in proportion.
Three reasons correlation does not establish causation. First, a third variable may cause both: anxiety can produce both poor sleep and poor grades, so the two are correlated without either causing the other. Second, the direction may be reversed: poor grades may cause the stress that disturbs sleep. Third, with enough variables tested, some correlations arise by chance alone. Only an experiment that manipulates an independent variable and allocates participants randomly to conditions supports a causal claim, because random allocation is what distributes unknown third variables evenly across groups.
What p < 0.05 actually means. It means that if the null hypothesis were true, the probability of obtaining a result at least this extreme is below five per cent. It does not mean there is a 95 per cent chance the researcher's hypothesis is true, and it says nothing about how large or important the effect is. These two misreadings appear constantly and are penalised whenever a question asks what a significant result shows.
Significance versus effect size. The p-value depends on both the size of the effect and the size of the sample. With fifty thousand participants, a difference of 0.3 points on a hundred-point scale will be statistically significant and practically meaningless. This is why effect size must be reported alongside significance, and why the sentence the difference was significant is incomplete on its own — significant tells you the effect is probably not zero, not that it matters.
The replication crisis and what follows from it. Many well-known findings have failed to replicate. The causes are structural rather than dishonest: publication bias, since journals prefer positive results, so the published literature over-represents them; p-hacking, running analyses until one crosses the threshold; and hypothesising after the results are known, presenting an exploratory finding as if it had been predicted. The responses now standard are preregistration of hypotheses and analysis plans, registered reports that are accepted before results exist, larger samples, open data, and direct replication. A candidate who can name a mechanism and its remedy is writing about research methods rather than merely listing them.
Hệ số tương quan nói lên điều gì. Hệ số r chạy từ −1 tới +1. Dấu cho biết chiều và độ lớn cho biết mức mạnh; r = −0,8 mô tả một quan hệ mạnh đúng bằng r = +0,8. Bình phương nó cho tỷ lệ phương sai chung: r = 0,6 cho r² = 0,36, tức hai biến chỉ chia nhau 36 phần trăm biến thiên còn 64 phần trăm do thứ khác quyết định. Báo cáo r² bên cạnh r là cách nhanh để giữ cho một tương quan nghe có vẻ ấn tượng ở đúng tầm của nó.
Ba lý do tương quan không thiết lập được nhân quả. Thứ nhất, một biến thứ ba có thể gây ra cả hai: lo âu có thể vừa làm ngủ kém vừa làm điểm thấp, nên hai biến đó tương quan với nhau mà không cái nào gây ra cái nào. Thứ hai, chiều nhân quả có thể ngược lại: điểm kém có thể gây ra căng thẳng làm rối loạn giấc ngủ. Thứ ba, khi kiểm định đủ nhiều biến thì một số tương quan xuất hiện hoàn toàn do ngẫu nhiên. Chỉ một thí nghiệm có thao tác biến độc lập và phân bổ người tham gia ngẫu nhiên vào các điều kiện mới cho phép kết luận nhân quả, vì chính việc phân bổ ngẫu nhiên mới rải đều các biến thứ ba chưa biết giữa các nhóm.
p < 0,05 thực sự nghĩa là gì. Nó nghĩa là nếu giả thuyết không đúng, xác suất thu được một kết quả mạnh ít nhất tới mức này là dưới năm phần trăm. Nó không nghĩa là có 95 phần trăm khả năng giả thuyết của nhà nghiên cứu đúng, và nó không nói gì về việc hiệu ứng lớn hay quan trọng tới đâu. Hai cách hiểu sai này xuất hiện liên tục và bị trừ điểm mỗi khi đề hỏi một kết quả có ý nghĩa thống kê cho thấy điều gì.
Mức ý nghĩa và độ lớn hiệu ứng. Giá trị p phụ thuộc vào cả độ lớn hiệu ứng lẫn cỡ mẫu. Với năm mươi nghìn người tham gia, một chênh lệch 0,3 điểm trên thang một trăm điểm sẽ có ý nghĩa thống kê và vô nghĩa về thực tiễn. Đó là lý do độ lớn hiệu ứng phải được báo cáo bên cạnh mức ý nghĩa, và là lý do câu khác biệt có ý nghĩa thống kê tự nó chưa đầy đủ — có ý nghĩa chỉ cho biết hiệu ứng có lẽ khác không, chứ không cho biết nó có đáng kể hay không.
Khủng hoảng lặp lại và hệ quả của nó. Nhiều phát hiện nổi tiếng đã không lặp lại được. Nguyên nhân mang tính cấu trúc chứ không phải gian dối: chọn lọc công bố, vì tạp chí ưa kết quả dương tính nên tài liệu đã công bố phóng đại tỷ lệ đó; mò ngưỡng p, chạy phân tích cho tới khi có một kết quả vượt ngưỡng; và đặt giả thuyết sau khi đã biết kết quả, trình bày một phát hiện khám phá như thể nó đã được dự đoán trước. Các biện pháp nay đã thành chuẩn gồm đăng ký trước giả thuyết và kế hoạch phân tích, báo cáo được chấp nhận trước khi có kết quả, cỡ mẫu lớn hơn, dữ liệu mở, và lặp lại trực tiếp. Thí sinh gọi được tên một cơ chế và biện pháp tương ứng là đang viết VỀ phương pháp nghiên cứu chứ không chỉ liệt kê chúng.
Một nghiên cứu trên 900 học sinh tìm thấy tương quan giữa số giờ ngủ và điểm trung bình là r = +0,42, có ý nghĩa thống kê ở mức p nhỏ hơn 0,001. Báo chí đưa tin Ngủ nhiều hơn làm tăng điểm số. (a) Tính và diễn giải r². (b) Nêu ba lý do không được kết luận nhân quả. (c) Kết quả p rất nhỏ chứng minh điều gì. (d) Thiết kế nào mới cho phép kết luận nhân quả.
(a) Phương sai chung. r² = 0,42² = 0,176, tức khoảng 17,6%. Diễn giải: số giờ ngủ và điểm trung bình chỉ chia nhau khoảng một phần sáu biến thiên; hơn 82% khác biệt về điểm số giữa các học sinh do những yếu tố khác quyết định. Con số này lập tức làm dịu tiêu đề báo chí.
(b) Ba lý do không được kết luận nhân quả. Biến thứ ba: lo âu, hoàn cảnh gia đình hoặc mức độ tận tâm có thể vừa làm giảm giờ ngủ vừa làm giảm điểm — hai biến đi cùng nhau mà không cái nào gây ra cái nào. Đảo chiều nhân quả: học sinh học kém có thể lo lắng và thức khuya để bù, nên chính điểm kém gây ra ngủ ít chứ không phải ngược lại. Ngẫu nhiên: nếu nghiên cứu kiểm định hàng chục biến thì một vài tương quan sẽ xuất hiện chỉ do may rủi — dù với n = 900 và p nhỏ hơn 0,001 thì lý do này ít khả năng nhất trong ba lý do.
(c) p nhỏ hơn 0,001 chứng minh điều gì. Chỉ chứng minh rằng, nếu thực sự không có mối liên hệ nào, thì việc quan sát được một tương quan mạnh tới mức này ở 900 người là cực kỳ khó xảy ra. Nó nói rằng mối liên hệ này gần như chắc chắn không phải bằng không. Nó KHÔNG nói mối liên hệ đó mạnh — độ mạnh nằm ở r và r², và r² = 17,6% cho thấy nó ở mức trung bình. Nó cũng KHÔNG nói gì về chiều nhân quả.
(d) Thiết kế cho phép kết luận nhân quả. Một thí nghiệm có phân bổ ngẫu nhiên: chia học sinh ngẫu nhiên vào nhóm được can thiệp kéo dài giờ ngủ và nhóm đối chứng, giữ mọi điều kiện khác như nhau, rồi so kết quả học tập. Lý do phân bổ ngẫu nhiên là chìa khoá: nó rải đều mọi biến thứ ba chưa biết giữa hai nhóm, nên khác biệt còn lại quy được cho biến độc lập. Cần nêu thêm giới hạn thực tế: can thiệp vào giấc ngủ của học sinh trong nhiều tháng có ràng buộc đạo đức và rất khó kiểm soát, nên trên thực tế loại câu hỏi này thường phải dựa vào nghiên cứu theo dõi dài hạn có kiểm soát biến gây nhiễu — mạnh hơn tương quan cắt ngang nhưng vẫn yếu hơn thí nghiệm.
Một công ty công nghệ giáo dục thử ứng dụng mới trên 50 000 học sinh. Nhóm dùng ứng dụng đạt trung bình 72,3 điểm; nhóm đối chứng đạt 72,0 điểm. Khác biệt có ý nghĩa thống kê ở mức p nhỏ hơn 0,01. Công ty quảng cáo đã được chứng minh là cải thiện kết quả học tập. Hãy đánh giá.
Bước 1 — tuyên bố đó đúng về mặt kỹ thuật. Khác biệt thật sự đạt ngưỡng ý nghĩa thống kê, nên không thể nói công ty bịa. Đây là điểm phải thừa nhận trước, vì bài đánh giá bác bỏ ngay sẽ thiếu công bằng.
Bước 2 — nhưng nó gây hiểu lầm, và cơ chế là cỡ mẫu. Giá trị p phụ thuộc vào cả độ lớn hiệu ứng lẫn cỡ mẫu. Với n = 50 000, ngay cả một chênh lệch cực nhỏ cũng vượt ngưỡng, vì sai số chuẩn của trung bình co lại theo căn bậc hai của cỡ mẫu. Nói cách khác, ý nghĩa thống kê ở đây chủ yếu phản ánh quy mô nghiên cứu chứ không phản ánh sức mạnh của ứng dụng.
Bước 3 — độ lớn hiệu ứng mới là con số cần hỏi. Chênh lệch là 0,3 điểm trên thang 100, tức khoảng 0,4% kết quả. Nếu độ lệch chuẩn của điểm số là khoảng 12 điểm — mức thông thường — thì độ lớn hiệu ứng chuẩn hoá chỉ vào khoảng 0,3 chia 12, tức 0,025 độ lệch chuẩn. Đây là mức được xếp vào loại không đáng kể theo mọi quy ước diễn giải thông dụng.
Bước 4 — quy về quyết định thực tế. Câu hỏi đúng không phải hiệu ứng có khác không hay không mà có đáng bỏ tiền và thời gian không. Nếu ứng dụng tốn phí bản quyền và chiếm hai mươi phút mỗi ngày của học sinh, thì 0,3 điểm là một khoản đổi rất tệ — thời gian đó gần như chắc chắn tạo ra nhiều hơn nếu dùng cho việc khác.
Cách viết câu kết luận cho chuẩn. Khác biệt có ý nghĩa thống kê nhưng độ lớn hiệu ứng không đáng kể; với cỡ mẫu 50 000, mức ý nghĩa phản ánh quy mô nghiên cứu hơn là hiệu quả của can thiệp. Không có bằng chứng cho thấy ứng dụng tạo ra cải thiện có giá trị thực tiễn. Đây cũng là lý do các tạp chí nay yêu cầu báo cáo độ lớn hiệu ứng cùng khoảng tin cậy chứ không chỉ báo cáo giá trị p.
Bẫy 2 — coi có ý nghĩa thống kê là có hiệu ứng lớn. Cỡ mẫu lớn làm mọi hiệu ứng tí hon đạt ngưỡng; phải báo ĐỘ LỚN HIỆU ỨNG.
Bẫy 3 — rút kết luận nhân quả từ tương quan. Phải nêu đủ ba khả năng thay thế là biến thứ ba, đảo chiều nhân quả và ngẫu nhiên; chỉ phân bổ NGẪU NHIÊN mới cho phép kết luận nhân quả.
Đọc xong rồi — làm thử ngay
Bài tập của chương Research Methodology and Ethics gồm 14 câu trắc nghiệm và 5 đề tự luận. Đáp án hiện ngay khi chọn, miễn phí.