P-Hacking: Vì Sao Con Số Thống Kê Vẫn Có Thể Đánh Lừa Bạn?

TÓM TẮT HỌC THUẬT (EXECUTIVE ABSTRACT)

Trong tâm thức cộng đồng và giới học thuật, các con số thống kê và giá trị xác suất (p-value < .05) từ lâu đã được tôn sùng như "chứng chỉ vàng" bảo chứng cho sự thật khách quan. Người ta tin rằng một khi phát hiện đã vượt qua bài kiểm định thống kê và xuất hiện trên tạp chí bình duyệt, nó hiển nhiên là chân lý. Tuy nhiên, một phát hiện chấn động của khoa học phương pháp luận hiện đại đã lật tẩy một thực tế nghiệt ngã: Tương tự như câu ngạn ngữ nổi tiếng của nhà kinh tế học Ronald Coase — "Nếu bạn tra tấn dữ liệu đủ lâu, nó sẽ thú nhận bất cứ điều gì", các nhà nghiên cứu có thể biến một hiện tượng hoàn toàn không có thật thành một phát hiện "có ý nghĩa thống kê cao" thông qua tập hợp các thủ thuật mang tên p-hacking (Sự tự do của nhà nghiên cứu – Researcher Degrees of Freedom) và HARKing (Hypothesizing After the Results are Known).

Hiện tượng này lần đầu tiên bị vạch trần một cách châm biếm và thuyết phục qua công trình thực nghiệm kinh điển của Simmons, Nelson và Simonsohn (2011) trên tạp chí Psychological Science, chứng minh rằng việc nghe một bài hát thiếu nhi có thể làm con người "trẻ lại 1.5 tuổi" về mặt sinh học thuần túy nhờ thao túng thống kê. Căn nguyên của vấn đề bắt nguồn từ 4 kỹ thuật tra tấn số liệu phổ biến trong phòng thí nghiệm: Lén kiểm tra dữ liệu để dừng mẫu tùy tiện (Data Peeking), lọc biến ngoại lai có định kiến (Selective Outlier Trimming), kiểm định đa biến số nhưng chỉ chọn lọc báo cáo kết quả có lợi (Multiple Endpoint Testing) và ngụy tạo giả thuyết sau khi đã biết trước kết quả (HARKing theo Kerr, 1998). Dưới áp lực khắc nghiệt của văn hóa học thuật "Xuất bản hay là chết" (Publish or Perish), ranh giới giữa việc khám phá quy luật tự nhiên và việc tự lừa dối bằng toán học ngày càng bị xóa nhòa.

Hậu quả của p-hacking không dừng lại ở viện hàn lâm mà trực tiếp xói mòn niềm tin xã hội đối với y học chứng cứ, châm ngòi cho cuộc khủng hoảng tái lập quy mô lớn và tạo đất diễn cho những thông tin sai lệch giật gân trên truyền thông. Để giải phóng khoa học khỏi những ảo ảnh thống kê, Cuộc cách mạng Khoa học Mở hiện nay đang thiết lập các chuẩn mực bắt buộc mới: Đăng ký trước đề cương nghiên cứu (Preregistration), áp dụng định dạng Báo cáo đăng ký (Registered Reports theo Nosek & Lakens, 2024), đồng thời chuyển dịch tư duy từ ngưỡng nhị phân p < .05 sang thống kê suy luận Bayes và yêu cầu biện minh cỡ mẫu thực chất (Lakens, 2022).

1. NGUỒN GỐC LỊCH SỬ VÀ THỰC NGHIỆM "NGHE NHẠC TRẺ LẠI 1.5 TUỔI"

Năm 2011, một bài báo khoa học xuất hiện trên tạp chí uy tín bậc nhất thế giới về tâm lý học — Psychological Science — đã làm rúng động toàn bộ cộng đồng khoa học quốc tế. Ba nhà nghiên cứu Joseph Simmons, Leif Nelson và Uri Simonsohn công bố một phát hiện thực nghiệm giật gân: Những sinh viên nghe bài hát thiếu nhi "When I'm Sixty-Four" của The Beatles thực sự đã trở nên trẻ hơn 1.5 tuổi so với nhóm đối chứng nghe bài hát khác. Kết quả này đạt mức ý nghĩa thống kê hoàn hảo: p = .040.

Tất nhiên, các tác giả hoàn toàn không phát minh ra cỗ máy thời gian, và không có định luật sinh học nào bị bẻ gãy. Đây là một bài báo châm biếm có chủ đích mang tên "False-Positive Psychology" (Simmons et al., 2011). Nhóm tác giả muốn chứng minh một sự thật đau đớn: Bằng cách áp dụng các thủ thuật xử lý số liệu tưởng chừng như vô hại nhưng phổ biến khắp các trường đại học, một nhà nghiên cứu có thể biến một điều hoàn toàn phi lý và bất khả thi thành một phát hiện "được khoa học chứng minh" với p < .05.

Hiện tượng này được các tác giả gọi là p-hacking (hack chỉ số p-value). Chỉ số p (p-value) trong thống kê kiểm định giả thuyết vô hiệu (NHST) vốn là thước đo xác suất: Giả sử không có mối liên hệ nào trong thực tế, xác suất ta tình cờ thu được dữ liệu kỳ lạ như vậy là bao nhiêu? Quy ước vàng của khoa học quy định nếu p < .05 (xác suất ngẫu nhiên dưới 5%), ta được quyền bác bỏ giả thuyết vô hiệu và công bố rằng phát hiện "có ý nghĩa thống kê".

Thế nhưng, chính cái ngưỡng nhân tạo .05 này đã biến thành một thị trường đen của phương pháp luận: Các nhà nghiên cứu bị cám dỗ nhào nặn, cắt tỉa, thêm bớt dữ liệu bằng mọi giá để con số .054 biến thành .049 — chiếc vé thông hành duy nhất để bài báo được chấp nhận xuất bản.

2. BỐN KỸ THUẬT "TRA TẤN" SỐ LIỆU PHỔ BIẾN TRONG PHÒNG THÍ NGHIỆM

Làm thế nào mà dữ liệu ngẫu nhiên lại có thể bị ép phải nói dối? Khoa học phương pháp luận đã vạch trần 4 mức độ tự do mà các nhà nghiên cứu thường lạm dụng (Simmons et al., 2011; Fraser et al., 2020):

1. Lén Kiểm Tra Dữ Liệu Và Dừng Mẫu Tùy Tiện (Data Peeking)

Thay vì xác định cỡ mẫu cố định từ trước dựa trên phân tích lực thống kê (Power Analysis), nhà nghiên cứu thu thập trước 20 đối tượng và chạy kiểm định t-test. Nếu p = .08, họ thu thập thêm 5 người nữa rồi chạy lại. Đến người thứ 28, khi p tình cờ chạm mức .048, họ lập tức hô to "Đạt rồi!" và dừng thu thập mẫu. Về mặt toán học xác suất, việc liên tục kiểm tra dữ liệu và dừng lại tại thời điểm có lợi làm gia tăng tỷ lệ dương tính giả (False Positive) từ 5% lên hơn 30%.

Theo công trình của Pizzagalli (2022) trên American Journal of Psychiatry, ở những bệnh nhân mắc anhedonia, mật độ và tính nhạy cảm của các thụ thể Dopamine D2 và D3 tại thể vân bị suy thoái nghiêm trọng. Dòng chảy dopamine bị nghẽn mạch khiến nhân lục không thể khuếch đại tín hiệu tưởng thưởng. Hậu quả là người bệnh mất khả năng gán "nhãn giá trị" (Incentive Salience) cho các hoạt động thường ngày; họ rơi vào trạng thái trơ lỳ tâm thần vận động (Psychomotor Apathy), cảm thấy một việc đơn giản như đánh răng hay trả lời tin nhắn cũng đòi hỏi một ý chí nặng tựa ngàn cân.

2. Loại Trừ Biến Ngoại Lai Có Định Kiến (Selective Outlier Trimming)

Khi một vài đối tượng tham gia có kết quả đi ngược lại giả thuyết mong đợi, nhà nghiên cứu bắt đầu tìm lý do để gạt họ ra khỏi tập dữ liệu: "Người này có vẻ trả lời quá nhanh", "Đối tượng này có dấu hiệu thiếu tập trung". Ngược lại, nếu một đối tượng có kết quả cực đoan nhưng hoàn toàn ủng hộ giả thuyết, họ lại được giữ lại và xem là "bằng chứng sống động".

3. Kiểm Định Đa Biến Số Nhưng Chỉ Báo Cáo Biến Có Ý Nghĩa (Multiple Endpoint Hacking)

Trong một cuộc khảo sát, nhà nghiên cứu đo lường 20 biến số khác nhau (mức độ lo âu, nhịp tim, sự tự tin, độ hài lòng, sự tập trung…). Theo lý thuyết xác suất, khi kiểm định 20 biến số độc lập ngẫu nhiên ở ngưỡng alpha .05, xác suất có ít nhất một biến số tình cờ đạt ý nghĩa thống kê là: 1 – (1 – 0.05)^20 ≈ 64%. Nhà nghiên cứu chỉ việc viết báo cáo tập trung duy nhất vào biến số ngẫu nhiên đó và hoàn toàn giấu nhẹm 19 biến số thất bại còn lại.

4. Đặt Giả Thuyết Hồi Tố (HARKing – Hypothesizing After Results are Known)

Được định danh bởi nhà tâm lý học Norbert L. Kerr (1998), HARKing là hành vi khi nhà nghiên cứu sau khi chạy số liệu và nhìn thấy một tương quan kỳ quặc ngoài dự kiến, đã quay trở lại viết lại phần Mở bài (Introduction) và giả vờ như bản thân đã xây dựng giả thuyết thông thái đó ngay từ ban đầu. Hành vi này biến một dữ liệu mang tính khám phá ngẫu nhiên (Exploratory) thành một kết luận kiểm định xác nhận (Confirmatory), đánh lừa độc giả về độ tin cậy của lý thuyết.

3. ĐỐI CHIẾU THỰC CHỨNG: NGHIÊN CỨU CHUẨN MỰC VS THỰC HÀNH NGHIÊN CỨU ĐÁNG NGỜ (QRPs)

Sự khác biệt giữa một công trình khoa học trung thực và một sản phẩm của p-hacking được phân định rõ ràng qua ma trận so sánh trên.

4. HỆ LỤY XÃ HỘI: KHIN HỮNG CON SỐ DỐI TRÁ THAO TÚNG NIỀM TIN

Hậu quả của p-hacking không giới hạn trong các bức tường viện hàn lâm; nó trực tiếp làm ô nhiễm dòng chảy tri thức của toàn xã hội.

Tổng quan thực nghiệm của Head et al. (2015) trên tạp chí PLOS Biology khảo sát hàng triệu bài báo khoa học đã khẳng định: P-hacking hiện diện phổ biến ở hầu hết mọi ngành khoa học hành vi và y sinh học. Khi các kết quả dương tính giả này được truyền thông đại chúng diễn giải giật gân, công chúng phải tiếp nhận hàng loạt lời khuyên mâu thuẫn: Tuần này cà phê giúp kéo dài tuổi thọ, tuần sau cà phê lại gây ung thư; tháng này tư thế siêu nhân giúp tăng thu nhập, tháng sau lại bị bóc trần là ảo tưởng.

Sự xói mòn này giải thích nguồn gốc căn bản của Khủng hoảng tái lập, đồng thời liên hệ mật thiết với hiểm họa từ Đại dịch tự dán nhãn tâm bệnh: Khi người đọc tiếp nhận các con số thống kê đã bị "nhào nặn" từ những bài test thiếu độ tin cậy để tự dán nhãn cho bản thân, họ đang vô tình xây dựng bản sắc của mình trên những ảo ảnh toán học.

5. CUỘC CÁCH MẠNG KHOA HỌC MỜ: CHẤM DỨT THỜI KỲ TRA TẤN DỮ LIỆU

Để cứu vãn tính chính trực của khoa học, cộng đồng học thuật quốc tế đang chuyển dịch mạnh mẽ sang các tiêu chuẩn mới (Nosek & Lakens, 2024 trên Nature Reviews Methods Primers):

• 1. Đăng Ký Trước Đề Cương (Preregistration): Trước khi thu thập dữ liệu đầu tiên, nhà nghiên cứu phải nộp đề cương chi tiết (giả thuyết, số lượng mẫu, kế hoạch phân tích thống kê) lên các nền tảng mở như Open Science Framework (OSF). Điều này triệt tiêu hoàn toàn khả năng lén dừng mẫu hay đặt giả thuyết hồi tố (HARKing).
• 2. Báo Cáo Đăng Ký (Registered Reports): Tạp chí chấp nhận xuất bản bài báo ngay từ khi đọc đề cương phương pháp luận, trước cả khi có số liệu thực tế. Dù kết quả sau đó là dương tính (có ý nghĩa) hay âm tính (không có ý nghĩa), bài báo vẫn chắc chắn được đăng tải. Thể thức này xóa bỏ tận gốc thiên kiến xuất bản và áp lực p-hacking.
• 3. Chuyển dịch sang Khoảng Tin Cậy (Confidence Intervals) và Thống Kê Bayes: Thay vì bám chấp mù quáng vào ranh giới nhị phân p < .05, khoa học hiện đại chú trọng vào Kích thước Hiệu ứng thực tế (Effect Size) và Hệ số Bayes (Bayes Factors) để đo lường mức độ ủng hộ của dữ liệu đối với lý thuyết.

KẾT LUẬN

Toán học và số liệu thống kê không bao giờ biết nói dối; chỉ có con người, dưới áp lực của tham vọng, danh tiếng và sự định kiến vô thức, mới dùng các con số để nhào nặn ra những điều họ muốn tin. Sự tồn tại của p-hacking không chứng minh khoa học là giả tạo; ngược lại, việc chính các nhà khoa học dũng cảm đứng lên vạch trần các lỗ hổng phương pháp luận và thiết lập nên Cuộc cách mạng Khoa học Mở chính là minh chứng hùng hồn nhất cho sức mạnh tự sửa sai của tri thức nhân loại.

Đối với mỗi người chúng ta trong đời sống thường nhật, bài học sâu sắc nhất từ p-hacking là việc rèn luyện sự hoài nghi lành mạnh: Đừng bao giờ vội vã tin vào một kết luận chỉ vì nó đi kèm với cụm từ "nghiên cứu khoa học đã chứng minh". Hãy luôn nhìn vào kích thước mẫu, tính minh bạch của phương pháp và khả năng tái lập độc lập. Sự thật không nằm ở những tiêu đề hào nhoáng; sự thật chỉ thuộc về những ai kiên nhẫn kiếm tìm tính chính trực đằng sau những con số.

TÀI LIỆU THAM KHẢO

1. Fraser, H., Bush, M., & Fidler, F. (2020). Questionable research practices in ecology and evolution. PLOS ONE, 15(4), e0230068. https://doi.org/10.1371/journal.pone.0230068
2. Head, M. L., Holman, L., Lanfear, R., Kahn, A. T., & Jennions, M. D. (2015). The extent and consequences of p-hacking in science. PLOS Biology, 13(3), e1002106. https://doi.org/10.1371/journal.pbio.1002106
3. Kerr, N. L. (1998). HARKing: Hypothesizing after the results are known. Personality and Social Psychology Review, 2(3), 196–217. https://doi.org/10.1207/s15327957pspr0203_4
4. Lakens, D. (2022). Sample size justification. Collabra: Psychology, 8(1), 33267. https://doi.org/10.1525/collabra.33267
5. Nosek, B. A., & Lakens, D. (2024). Registered reports: A method to increase the credibility of published research. Nature Reviews Methods Primers, 4(1), 12. https://doi.org/10.1038/s43586-024-00295-8
6. Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological Science, 22(11), 1359–1366. https://doi.org/10.1177/0956797611417632