Làm đẹp số liệu nghiên cứu, lằn ranh giữa xử lý hợp lệ và sai phạm nằm ở đâu? Xử lý dữ liệu là hợp lệ khi quy tắc được đặt ra trước khi thấy kết quả, được áp dụng nhất quán, và được báo cáo minh bạch, như loại những phiếu trả lời không hợp lệ theo tiêu chí đã định. Nó thành sai phạm khi bạn chọn cách xử lý sau khi thấy kết quả để kết quả đẹp hơn, giấu những phân tích không như ý, hoặc tệ nhất là sửa số hay bịa số.
Chào bạn, đây là Nhà Học Giả. Rất ít người bắt đầu làm nghiên cứu với ý định gian lận. Nhưng áp lực thời hạn, áp lực công bố, và một kết quả suýt soát đạt ý nghĩa thống kê có thể đẩy người ta từng bước nhỏ vào vùng xám. Tập này giúp bạn nhận ra những bước nhỏ đó.
Ba mức vi phạm nghiêm trọng nhất
Các quy định liêm chính nghiên cứu trên thế giới thường nhắc tới ba hành vi nghiêm trọng nhất: bịa đặt, xuyên tạc và đạo văn. Tập này nói về hai cái đầu, liên quan trực tiếp tới dữ liệu.
Bịa đặt là tạo ra dữ liệu hay kết quả không có thật: điền phiếu khảo sát thay người trả lời, ghi kết quả của thí nghiệm chưa làm, tạo ra người tham gia không tồn tại.
Xuyên tạc là thao túng dữ liệu, quy trình hay cách trình bày để kết quả không còn phản ánh đúng thực tế: sửa số, bỏ dữ liệu bất lợi mà không có lý do chính đáng, chỉnh sửa hình ảnh làm thay đổi ý nghĩa.
Hai hành vi này là lằn ranh đỏ, không có vùng xám. Hậu quả có thể là rút bài báo, thu hồi văn bằng, mất việc, và trong một số trường hợp là trách nhiệm pháp lý.
Vùng xám: những bước nhỏ dễ trượt
Vùng xám nguy hiểm hơn vì nó không cảm thấy như gian lận. Ví dụ: bạn chạy phân tích, kết quả chưa đạt ý nghĩa thống kê. Bạn thử loại vài trường hợp ngoại lai, thử thêm một biến kiểm soát, thử đổi cách đo. Tới lần thử thứ năm, kết quả đẹp. Bạn chỉ báo cáo lần thứ năm.
Mỗi bước đơn lẻ có thể có lý do nghe hợp lý. Nhưng chọn bước nào dựa trên kết quả nào ra đẹp, và chỉ báo cáo cái đẹp, là một dạng xuyên tạc. Giới nghiên cứu gọi đây là câu cá kết quả hay tra tấn dữ liệu cho tới khi nó khai.
Một dạng khác là đặt giả thuyết sau khi thấy kết quả, rồi viết như thể đã dự đoán từ trước.
Một dạng nữa là chỉ công bố những nghiên cứu có kết quả như mong đợi, bỏ vào ngăn kéo những nghiên cứu có kết quả trái ngược. Mỗi cá nhân có thể không thấy mình sai, nhưng cộng lại, cả ngành bị méo.
Loại mẫu, ngoại lai và dữ liệu thiếu: làm sao cho đúng?
Loại bỏ dữ liệu không phải lúc nào cũng sai. Phiếu khảo sát bỏ trống quá nửa, người trả lời chọn cùng một mức cho mọi câu, mẫu thí nghiệm bị nhiễm rõ ràng, đều có lý do chính đáng để loại.
Điều quan trọng là đặt tiêu chí loại trước khi nhìn vào kết quả phân tích chính. Nếu được, ghi tiêu chí đó trong đề cương. Áp dụng nhất quán cho mọi trường hợp, không chỉ cho những trường hợp làm kết quả xấu đi.
Báo cáo minh bạch: đã loại bao nhiêu trường hợp, vì lý do gì. Nhiều nhà nghiên cứu còn báo cáo kết quả cả khi có và không loại, để người đọc thấy kết luận có vững không.
Với dữ liệu thiếu, có những phương pháp xử lý chuẩn. Chọn một phương pháp phù hợp, giải thích lý do, và đừng đổi phương pháp chỉ vì kết quả của phương pháp kia đẹp hơn.
Hình ảnh và biểu đồ: chỉnh sửa tới đâu là được?
Trong các ngành có dữ liệu hình ảnh như sinh học, y học, vật liệu, chỉnh sửa hình là một vùng rủi ro lớn. Điều chỉnh độ sáng, độ tương phản cho toàn bộ hình để dễ nhìn thường được chấp nhận. Chỉnh riêng một vùng, xoá chi tiết, ghép hình từ nhiều thí nghiệm mà không nói rõ, dùng lại một hình cho hai thí nghiệm khác nhau là vi phạm.
Nhiều tạp chí có hướng dẫn cụ thể về xử lý hình ảnh, và có công cụ phát hiện hình bị chỉnh sửa hay dùng lại. Đã có rất nhiều bài bị rút vì hình ảnh có dấu hiệu bất thường.
Với biểu đồ, cẩn thận với những lựa chọn làm méo cảm nhận: trục tung không bắt đầu từ không làm khác biệt nhỏ trông lớn, chọn khoảng thời gian có lợi, bỏ thanh sai số.
Nguyên tắc chung: hình ảnh và biểu đồ phải giúp người đọc hiểu đúng dữ liệu, không phải thuyết phục họ tin một điều mà dữ liệu không nói.
Giữ trung thực khi áp lực đè nặng
Lưu giữ dữ liệu gốc và mọi bước xử lý. Viết lại các bước phân tích thành quy trình, hay dùng tệp lệnh phân tích, để bạn hoặc người khác có thể làm lại. Đây là cách bảo vệ chính bạn khi có ai đó đặt câu hỏi.
Viết kế hoạch phân tích trước khi phân tích, ít nhất cho các câu hỏi chính. Một số ngành còn khuyến khích đăng ký trước kế hoạch này công khai.
Chấp nhận kết quả không như mong đợi. Một kết quả không có ý nghĩa thống kê, được báo cáo trung thực, vẫn là đóng góp cho hiểu biết. Nhiều tạp chí và hội đồng ngày càng đánh giá cao những kết quả như vậy.
Và nếu người hướng dẫn hay đồng nghiệp gợi ý làm đẹp số liệu, hãy từ chối và tìm tới người có trách nhiệm nếu cần. Nghề nghiên cứu dựa trên niềm tin rằng những gì được công bố là thật. Mỗi người làm nghiên cứu là một người giữ niềm tin đó.
Câu hỏi thường gặp
Loại bỏ ngoại lai có phải là làm đẹp số liệu không?
Không, nếu tiêu chí loại được đặt trước, có lý do chính đáng, áp dụng nhất quán và báo cáo minh bạch. Nó thành vấn đề khi bạn loại chỉ những điểm làm kết quả xấu đi.
Kết quả không có ý nghĩa thống kê thì có công bố được không?
Có. Nhiều tạp chí chấp nhận kết quả không có ý nghĩa thống kê nếu nghiên cứu được thiết kế tốt. Những kết quả này giúp ngành tránh thiên lệch chỉ công bố kết quả đẹp.
Làm lại phân tích nhiều cách có sai không?
Thử nhiều cách để kiểm tra độ vững là thực hành tốt, miễn bạn báo cáo minh bạch các cách đã thử. Sai là khi chỉ báo cáo cách cho kết quả đẹp nhất mà giấu các cách còn lại.
Phát hiện lỗi trong dữ liệu sau khi đã công bố thì làm gì?
Liên hệ tạp chí sớm để đính chính hoặc, nếu lỗi làm thay đổi kết luận, xin rút bài. Chủ động sửa lỗi được cộng đồng khoa học tôn trọng, khác hẳn với bị phát hiện.
Dữ liệu gốc nên lưu bao lâu?
Tuỳ quy định của cơ sở, nhà tài trợ và tạp chí, thường là nhiều năm sau khi công bố. Hãy lưu ở nơi an toàn, có sao lưu, và tuân thủ quy định bảo mật với dữ liệu về con người.
