Mục lục bài họcĐang ở d04-b1
Sampling, summary statistics and outliers
Sampling
Five techniques appear in AI, and each is defined by how the list is used, not by how large the sample is. Simple random: every subset of the given size is equally likely. Systematic: choose a random start, then take every $k$-th item, with $k=\dfrac{N}{n}$. Stratified: split into strata and sample each in proportion to its size. Quota: fill fixed counts per category, but choose non-randomly within them. Convenience: take whoever is available.
Only the first three are random. Quota and convenience samples carry bias that no sample size can remove.
Summary statistics from a frequency table
$$\bar x=\frac{\sum f x}{\sum f},\qquad \sigma=\sqrt{\frac{\sum f(x-\bar x)^{2}}{\sum f}}$$For grouped data, $x$ is the midpoint of the class. The answer is an estimate, because the original values inside each class are no longer known.
Quartiles, IQR and outliers
$\text{IQR}=Q_{3}-Q_{1}$. A value is an outlier if it lies below $Q_{1}-1.5\,\text{IQR}$ or above $Q_{3}+1.5\,\text{IQR}$. On a box plot an outlier is drawn as a separate point and the whisker stops at the most extreme value that is not an outlier.
Linear transformations
If $y=ax+b$ then $\bar y=a\bar x+b$ and $\sigma_{y}=|a|\sigma_{x}$. Adding a constant shifts the centre but leaves every measure of spread unchanged — the whole data set moves together.
Năm cách lấy mẫu. Phân biệt chúng bằng cách dùng danh sách, không phải bằng cỡ mẫu. Ngẫu nhiên đơn giản: mọi tập con cùng cỡ đều có khả năng như nhau. Hệ thống: chọn ngẫu nhiên điểm bắt đầu rồi lấy cách đều mỗi $k$ phần tử, với $k=\dfrac{N}{n}$. Phân tầng: chia tổng thể thành tầng rồi lấy mỗi tầng theo đúng tỉ lệ. Định mức (quota): ấn định số lượng cho từng nhóm nhưng chọn người trong nhóm một cách không ngẫu nhiên. Thuận tiện: lấy ai có mặt.
Chỉ ba cách đầu là ngẫu nhiên. Mẫu định mức và mẫu thuận tiện mang sẵn thiên lệch mà tăng cỡ mẫu không chữa được — đây là ý mà đề AI hỏi đi hỏi lại dưới dạng “bình luận về tính đại diện”.
Riêng lấy mẫu hệ thống có một điểm yếu ít ai nhắc: nếu danh sách gốc có tính chu kỳ trùng với bước nhảy $k$ thì mẫu thu được lệch hẳn. Danh sách xếp theo phòng ban, mỗi phòng đúng $k$ người, mà lấy mỗi $k$ người một lần thì có thể chỉ chọn toàn trưởng phòng.
Thống kê từ bảng tần số. $\bar x=\dfrac{\sum f x}{\sum f}$ và $\sigma=\sqrt{\dfrac{\sum f(x-\bar x)^{2}}{\sum f}}$. Với số liệu ghép nhóm, $x$ là trung điểm của lớp, và kết quả chỉ là ước lượng vì các giá trị gốc trong mỗi lớp đã mất. Dùng cận dưới hay cận trên thay cho trung điểm là lỗi làm lệch cả bài, và nó không tự lộ ra.
Tứ phân vị và ngoại lai. $\text{IQR}=Q_{3}-Q_{1}$. Một giá trị là ngoại lai nếu nhỏ hơn $Q_{1}-1{,}5\,\text{IQR}$ hoặc lớn hơn $Q_{3}+1{,}5\,\text{IQR}$. Trên biểu đồ hộp, ngoại lai vẽ thành điểm riêng, và râu dừng ở giá trị cực trị không phải ngoại lai — vẽ râu chạm tới ngoại lai là vẽ sai.
Phép biến đổi tuyến tính. Nếu $y=ax+b$ thì $\bar y=a\bar x+b$ và $\sigma_{y}=|a|\sigma_{x}$. Cộng thêm hằng số làm dịch tâm nhưng không đổi bất kỳ thước đo độ phân tán nào, vì cả bộ số liệu dịch cùng nhau.
Thời gian tự học mỗi tuần (giờ) của $50$ học viên được ghi lại như sau.
| Thời gian | $0\le t<10$ | $10\le t<20$ | $20\le t<30$ | $30\le t<40$ | $40\le t<50$ |
|---|---|---|---|---|---|
| Số học viên | $4$ | $11$ | $18$ | $9$ | $8$ |
Ước lượng trung bình và độ lệch chuẩn, rồi xác định lớp chứa trung vị.
Bước 1 — lấy trung điểm mỗi lớp. Đây là bước quyết định, và cũng là bước duy nhất có thể làm sai mà kết quả vẫn trông hợp lý.
$$x=5,\ 15,\ 25,\ 35,\ 45$$Bước 2 — trung bình.
$$\bar t=\frac{4(5)+11(15)+18(25)+9(35)+8(45)}{50}=\frac{20+165+450+315+360}{50}=\frac{1310}{50}=26{,}2\ \text{giờ}$$Bước 3 — độ lệch chuẩn. Nhập bảng vào GDC dưới dạng danh sách giá trị và danh sách tần số rồi đọc $\sigma_{x}$:
$$\sigma=11{,}6\ \text{giờ}$$Bước 4 — lớp chứa trung vị. Tần số tích luỹ là $4,\ 15,\ 33,\ 42,\ 50$. Trung vị đứng ở vị trí thứ $25{,}5$, mà vị trí thứ $16$ tới thứ $33$ đều nằm trong lớp $20\le t<30$. Vậy trung vị nằm trong lớp $20\le t<30$.
Vì sao đây chỉ là ước lượng. Bảng ghép nhóm đã vứt bỏ giá trị gốc; ta giả định mọi học viên trong một lớp đều nằm đúng ở trung điểm. Nếu thực tế $18$ học viên của lớp giữa dồn hết về $21$ giờ thì trung bình thật sẽ thấp hơn $26{,}2$ đáng kể, mà bảng không cho biết điều đó.
Hai lỗi hay gặp, cả hai đều cho số hợp lý: dùng cận dưới $0,10,20,30,40$ thay trung điểm cho $\bar t=21{,}2$ — thấp hơn đúng $5$ giờ, bằng nửa độ rộng lớp; dùng cận trên cho $31{,}2$ — cao hơn đúng $5$ giờ. Hễ đáp số của bạn lệch đáp án $5$ giờ thì gần như chắc chắn đã mắc một trong hai lỗi này.
Điểm kiểm tra của $10$ học viên: $12,\ 15,\ 15,\ 18,\ 21,\ 22,\ 24,\ 27,\ 29,\ 48$.
Tính $Q_{1}$, trung vị, $Q_{3}$ và IQR. Xác định mọi giá trị ngoại lai theo quy tắc $1{,}5\times\text{IQR}$, rồi so sánh trung bình với trung vị và giải thích chênh lệch.
Bước 1 — tứ phân vị. Số liệu đã sắp thứ tự, $n=10$ nên trung vị là trung bình của hai giá trị giữa:
$$\text{trung vị}=\frac{21+22}{2}=21{,}5$$Nửa dưới là $12,15,15,18,21$ với trung vị $Q_{1}=15$; nửa trên là $22,24,27,29,48$ với trung vị $Q_{3}=27$.
$$\text{IQR}=27-15=12$$Bước 2 — hai cận.
$$Q_{1}-1{,}5(12)=15-18=-3,\qquad Q_{3}+1{,}5(12)=27+18=45$$Giá trị $48$ vượt cận trên $45$ nên là ngoại lai. Không giá trị nào nhỏ hơn $-3$, nên không có ngoại lai phía dưới.
Bước 3 — trung bình so với trung vị.
$$\bar x=\frac{12+15+15+18+21+22+24+27+29+48}{10}=\frac{231}{10}=23{,}1$$Trung bình $23{,}1$ cao hơn trung vị $21{,}5$. Toàn bộ chênh lệch $1{,}6$ điểm ấy do một giá trị $48$: bỏ nó ra thì trung bình của $9$ số còn lại là $\dfrac{183}{9}=20{,}3$, tức tụt $2{,}8$ điểm, trong khi trung vị chỉ chuyển từ $21{,}5$ xuống $21$.
Bài học đo được bằng số: trung vị bền với ngoại lai, trung bình thì không. Đó là lý do báo cáo về thu nhập, giá nhà hay thời gian chờ luôn dùng trung vị — chỉ một giá trị cực đoan là đủ kéo trung bình đi mà không nói gì về đa số.
Chú ý một điểm kỹ thuật hay gây tranh cãi: nếu giá trị lớn nhất là $45$ đúng bằng cận thì nó không phải ngoại lai, vì quy tắc dùng dấu ngặt “lớn hơn”. Đề IB thường tránh trường hợp biên này, nhưng gặp thì phải viết rõ lập luận.
Đọc xong rồi — làm thử ngay
Bài tập của chương Statistics and Probability gồm 14 câu trắc nghiệm và 6 đề tự luận. Đáp án hiện ngay khi chọn, miễn phí.