Ghi chú của Biên tập viên: Trong bài viết này, Stuart Buck bàn về giá trị của việc tái lập trực tiếp các nghiên cứu và cho rằng cần có nhiều hỗ trợ hơn từ các nhà tài trợ để thực hiện những nghiên cứu này. Ông giải thích rằng việc tái lập trực tiếp giúp kiểm tra lại các bước, quy trình và cơ chế đã được ghi nhận, từ đó loại bỏ các yếu tố ngầm hiểu hoặc thông tin chưa rõ ràng. Có thể coi đây là một dạng kiểm toán, xác minh hoặc thử nghiệm. Trước đó, Butler (2023), Peer (2024), và Pérignon (2024) cũng đã chỉ ra rằng các nhà nghiên cứu và tổ chức đang cần những kiểm tra như vậy. Buck cũng nhấn mạnh rằng các nhà tài trợ cần chú ý đến vấn đề này, nếu họ muốn thúc đẩy khoa học phát triển.
Tổng quan
Mặc dù có ý kiến cho rằng việc tái lập các nghiên cứu đi trước không mang lại nhiều giá trị và nên tập trung vào thực hiện các nghiên cứu mới. Ngược lại, tác giả bài viết cho rằng nghiên cứu tái lập là cần thiết cho sự tiến bộ khoa học. Hãy tưởng tượng bạn đang xây một ngôi nhà, nếu bạn không kiểm tra lại từng viên gạch, từng thanh gỗ thì ngôi nhà đó có chắc chắn không? Tương tự như vậy, trong khoa học, việc lặp lại các nghiên cứu trực tiếp, giúp chúng ta đảm bảo rằng những gì chúng ta biết là đáng tin cậy. Nếu thiếu tái lập, khả năng xác định những phát hiện khoa học nào thực sự có giá trị để mở rộng sẽ giảm đi rất nhiều. Hơn nữa, chỉ có tái lập mới có thể làm rõ những điểm bất thường và nhận diện các yếu tố ngữ cảnh quan trọng ảnh hướng đến kết quả nghiên cứu.
Hoài nghi về giá trị của nghiên cứu tái lập trực tiếp
Trong nhiều năm qua, đã có nhiều vấn đề trong việc tái lập các nghiên cứu khoa học ở nhiều lĩnh vực khác nhau. Ví dụ, dự án Tái lập trong Tâm lý học phát hiện rằng chỉ có khoảng 40% các thí nghiệm tâm lý học được công bố trên các tạp chí hàng đầu có thể thực sự được tái lập thành công (Open Science Collaboration, 2015). Tương tự, dự án Tái lập trong Sinh học Ung thư phát hiện rằng hiệu quả của tái lập chỉ đạt khoảng 15% so với hiệu quả ban đầu. Chẳng hạn, nếu một nghiên cứu ban đầu phát hiện rằng việc cho chuột bị ung thư uống một loại thuốc giúp chúng sống thêm 20 ngày, thì thí nghiệm tái lập có thể chỉ phát hiện chúng sống thêm 3 ngày (Center for Open Science, n.d.). Một số công ty dược phẩm còn cho biết, họ hầu như không thể tái lập các nghiên cứu học thuật, dù họ có động lực mạnh mẽ để tiếp tục các thí nghiệm thành công nhằm phát triển các loại thuốc mới (Begley & Ellis, 2012; Prinz et al., 2011).
Dựa trên những kết quả này và nhiều ví dụ khác, tác giả đã đề xuất (Buck, 2022) rằng các nhà tài trợ khoa học như Viện Y tế Quốc gia Hoa Kỳ (NIH) và Quỹ Khoa học Quốc gia Hoa Kỳ (NSF) – dự kiến chi gần 60 tỷ đô la trong năm nay – nên dành ít nhất 1/1,000 ngân sách của họ cho việc thực hiện thêm nhiều nghiên cứu tái lập. Chỉ cần 50 triệu đô la mỗi năm có thể tạo ra một số thay đổi lớn, giúp chúng ta xác định rõ hơn những kết quả nào thực sự đáng tin cậy và có tiềm năng phát triển trong tương lai.
Điều ngạc nhiên là không phải ai cũng đồng ý rằng việc tái lập trực tiếp các nghiên cứu là quan trọng. Thực tế, khi tác giả tham dự một hội thảo của Viện Hàn lâm Quốc gia gần đây, một quan chức cấp cao của NIH đã nói với tác giả rằng họ không ủng hộ việc tài trợ cho các nghiên cứu tái lập trực tiếp (Vì đây là cuộc trò chuyện cá nhân nên tác giả không nêu tên người này).
Quan điểm của người này là chúng ta không học hỏi được nhiều từ việc cố gắng tái lập trực tiếp các thí nghiệm. Cuối cùng, không có thí nghiệm nào hoàn hảo, và và dù có tái lập, chắc chắn sẽ có một số khác biệt. Nhưng liệu điều đó có thực sự quan trọng? Điều mà khoa học quan tâm đó là liệu kết quả nghiên cứu có ổn định trong các bối cảnh khác nhau hay không. Vì vậy, thay vì tài trợ cho việc tái lập chính xác các nghiên cứu, họ cho rằng chúng ta nên đầu tư vào các nghiên cứu mới, mở rộng những phát hiện trước đó theo hướng khác.
Quan chức NIH này không phải là người duy nhất nghi ngờ về giá trị của việc tái lập nghiên cứu. Khi Dự án Tái lập trong Tâm lý học hoàn thành vào năm 2014, Jason Mitchell (2014) từ Đại học Harvard đã viết một bài nổi tiếng ngắn có tựa đề “Những nghiên cứu tái lập vô hồn”(On the evidentiary emptiness of failed replications).
Lập luận chính của Mitchell là việc tạo ra một hiệu ứng tích cực rất khó khăn, và có nhiều cách để làm sai hơn là làm đúng. Ngoài ra, ông cho rằng trong các lĩnh vực như tâm lý học và thần kinh học (và có thể là các lĩnh vực khác), có rất nhiều kiến thức ngầm chưa được ghi chép. Ông so sánh điều này với việc nấu ăn: nếu bạn theo một công thức, nhưng không biết rõ “lửa vừa” nghĩa là gì hay làm sao để cắt hạt lựu… thì bạn sẽ chẳng bao giờ nấu được một đĩa thức ăn ngon miệng. Tuy nhiên, điều này không có nghĩa là công thức sai, mà là bạn thiếu kiến thức và kỹ năng cần thiết. Vì vậy, Mitchell cho rằng trừ khi những người thực hiện nghiên cứu tái lập một cách hoàn hảo, một nghiên cứu tái lập thất bại sẽ không cung cấp nhiều thông tin hữu ích cho độc giả.
Cần nhiều hơn nữa các nghiên cứu tái lập trực tiếp
Tác giả cho rằng việc tái lập trực tiếp các thí nghiệm trong các lĩnh vực như tâm lý học, y học, sinh học, kinh tế học và nhiều lĩnh vực khác là rất hữu ích và thường là điều cần thiết để thúc đẩy sự tiến bộ. Điều này đúng vì một số lý do:
Thứ nhất, khi thực hiện các nghiên cứu tái lập trực tiếp (hoặc ít nhất là cố gắng thực hiện), chúng ta có thể đánh giá được mức độ minh bạch của các phương pháp trong một lĩnh vực. Điều này đảm bảo rằng người khác có thể dễ dàng tiếp tục phát triển dựa trên các nghiên cứu trước đó.
Với Dự án Tái sản xuất trong Sinh học Ung thư (lưu ý: tác giả đã tài trợ cho dự án này khi còn làm trong lĩnh vực từ thiện), nhóm tác giả nhận thấy không có trường hợp nào có thể tái lập thành công (Errington et al., 2021). Điều này không phải do nhóm tái lập thiếu kiến thức hay kỹ năng phức tạp, mà vì những bước quan trọng trong nghiên cứu ban đầu không được ghi chép đầy đủ.
Chẳng hạn, “nhiều bài báo gốc đã không báo cáo các số liệu mô tả và thống kê suy luận quan trọng. Chỉ có 4 trong số 193 thí nghiệm cung cấp công khai dữ liệu cần thiết để tính toán kích thước hiệu ứng và phân tích quyền lực. Hơn nữa, dù đã liên hệ với tác giả gốc, nhóm tác giả vẫn không thể nhận được dữ liệu này cho 68% các thí nghiệm” (Errington et al., 2021). Nói cách khác, nhóm nghiên cứu thậm chí không thể xác định được kích thước hiệu ứng cần tái lập – thông tin cơ bản mà bất kỳ nghiên cứu nào cũng nên cung cấp.
Tệ hơn nữa, “không có thí nghiệm nào trong số 193 thí nghiệm được mô tả đủ chi tiết trong bài báo gốc” (Errington et al., 2021). Trong mọi trường hợp, nhóm tái lập đều phải liên hệ với phòng thí nghiệm gốc, nhưng thường gặp phải sự không hợp tác hoặc nhận được câu trả lời rằng họ không còn nhớ rõ những gì đã diễn ra trong nghiên cứu. Trong 41% trường hợp mà phòng thí nghiệm gốc hợp tác, câu trả lời thường là nhóm tái lập sẽ cần thêm vật liệu và hóa chất (Errington et al., 2021).
Chính vì vậy, dự án mất nhiều thời gian hơn, tốn kém hơn và hoàn thành ít thí nghiệm hơn so với kế hoạch mà các nhà điều tra ban đầu đề xuất khi tác giả tài trợ cho công việc này tại Quỹ Laura và John Arnold. Chất lượng của các tài liệu khoa học thấp đến mức không ai có thể lường trước được mức độ nỗ lực và chi phí cần thiết chỉ để cố gắng tái lập các nghiên cứu.
Rõ ràng là các tài liệu khoa học có thể làm tốt hơn. Tất cả các tạp chí khoa học hàng đầu nên cam kết công bố một mô tả chi tiết về phương pháp cho mọi nghiên cứu liên quan (bao gồm cả video khi có thể), để người khác dễ dàng hiểu rõ cách thực hiện các nghiên cứu.
Thứ hai, nếu một nghiên cứu được tái lập thành công, chúng ta sẽ có thêm niềm tin vào hướng nghiên cứu đó. Với tỷ lệ không thể tái lập cao (như đã đề cập trước đó), và thậm chí có cả gian lận trong một số trường hợp, điều quan trọng là biết được những gì có thể tin tưởng. Ví dụ, năm ngoái, tạp chí Science đã đăng một bài viết chi tiết về một nghiên cứu nổi tiếng về bệnh Alzheimer (Lesné et al., 2006) có khả năng là gian lận. Trong bài viết, Elisabeth Bik, một nhà sinh học phân tử và chuyên gia pháp y hình ảnh nổi tiếng, cho rằng các tác giả “dường như đã tạo ra các hình ảnh bằng cách ghép các phần của ảnh từ các thí nghiệm khác nhau”. Bà còn nói thêm, “Kết quả thí nghiệm có thể không phải là kết quả mong muốn, và dữ liệu có thể đã bị thay đổi để phù hợp hơn với giả thuyết” (Piller, 2022).
Nhà khoa học đoạt giải Nobel Thomas Südhof (một nhà thần kinh học tại Stanford), cũng đã chia sẻ với tạp chí Science rằng “thiệt hại rõ ràng và ngay lập tức là sự lãng phí nguồn tài trợ từ NIH và suy nghĩ sai lầm trong lĩnh vực này vì mọi người đang dựa vào những kết quả này làm điểm khởi đầu cho các thí nghiệm của họ” (Piller, 2022). Nếu có một dự án tái lập hệ thống về bệnh Alzheimer, có thể chúng ta đã phát hiện ra sự thật này từ rất lâu. Các nhà nghiên cứu trong lĩnh vực này sẽ có một cái nhìn rõ hơn về những nghiên cứu nào là đáng tin cậy và đâu là những hướng cần tiếp tục khám phá.
Thứ ba, luôn có khả năng rằng một nghiên cứu không thể được tái lập thành công hoặc hoàn toàn không thể tái lập.Ví dụ, kết quả dự án Tái sản xuất trong Sinh học Ung thư “kích thước hiệu ứng tái lập trung bình nhỏ hơn 85% so với phát hiện ban đầu. 46% các hiệu ứng tái lập thành công dựa trên nhiều tiêu chí hơn so với những tiêu chí thất bại. Các kết quả dương tính ban đầu có khả năng tái lập thành công khoảng 40, trong khi các kết quả âm tính ban đầu có khả năng tái lập lên đến 80%” (Center for Open Science, n.d.).
Trái ngược với quan điểm của Jason Mitchell tại Harvard và quan chức NIH, tác giả tin rằng chúng ta có thể học được rất nhiều từ những lần tái lập thất bại. Ban đầu, có thể là do nhóm tái lập thiếu năng lực, không có đủ kiến thức ngầm, hoặc mắc phải lỗi đơn giản nào đó. Nhưng điều này không phải lúc nào cũng đúng. Đôi khi nhóm tái lập thậm chí có thể giỏi hơn cả các nhà nghiên cứu ban đầu. Khi biết rằng nhiều công ty dược phẩm không thể tái lập được hơn một phần ba các tài liệu học thuật – mặc dù họ có đội ngũ chuyên môn cao và động lực lớn để đạt được kết quả nhằm tiếp tục phát triển nghiên cứu, thì rõ ràng vấn đề không nằm ở “thiếu năng lực của nhóm tái lập”.
Một lý do khác có thể là nghiên cứu ban đầu không hoàn toàn đáng tin cậy, vì nhiều lý do. Có thể là do phân bổ ngẫu nhiên không chuẩn, xử lý sai số liệu ngoại lệ, sử dụng thống kê không hợp lý, thiên vị trong xuất bản, lạm dụng thống kê để tìm ra kết quả có ý nghĩa (p-hacking), gian lận, hoặc đơn giản là sự trùng hợp ngẫu nhiên. Mặc dù không thể kết luận tất cả những điều này chỉ dựa trên một lần tái lập thất bại, nhưng điều đó cho chúng ta lý do để nghi ngờ rằng kết quả ban đầu có thể không hoàn toàn chính xác. Thậm chí, thiên vị trong xuất bản cũng đủ để khiến chúng ta không nên hoàn toàn tin tưởng vào nghiên cứu ban đầu ngay cả khi quy trình được thực hiện đúng cách.
Một khả năng thứ ba là cả nghiên cứu ban đầu và nghiên cứu tái lập đều đúng, nhưng có một yếu tố nhỏ nào đó về bối cảnh, nhóm đối tượng, hoặc các yếu tố khác giải thích sự khác biệt trong kết quả. Ví dụ, trong bài báo của Hines và cộng sự (2014), hai phòng thí nghiệm ở hai bờ biển Hoa Kỳ đã hợp tác thực hiện một thí nghiệm về tế bào ung thư vú, nhưng kết quả lại không nhất quán trong suốt một năm. Cuối cùng, khi họ đến thành thí nghiệm của nhau, họ phát hiện ra rằng, dù không ai dự đoán trước được, tốc độ khuấy mẫu mô có thể là yếu tố quyết định kết quả cuối cùng. Nếu không cố gắng tái lập chính xác kết quả của nhau, họ sẽ không bao giờ biết rằng tốc độ khuấy là yếu tố quan trọng.
Điều này cho thấy việc hiểu rõ những yếu tố tưởng chừng không đáng kể nhưng lại có thể tạo ra sự khác biệt. Nếu không, những người cố gắng mở rộng nghiên cứu ban đầu có thể dễ dàng đưa ra những kết luận sai lầm về nguyên nhân của sự khác biệt trong kết quả.
Do đó, chúng ta có nhiều lý do để tin rằng việc tái lập trực tiếp một nghiên cứu khoa học (hoặc phân tích dữ liệu của một công ty) là rất quan trọng. Tái lập trực tiếp có thể làm rõ các sai sót trong báo cáo nghiên cứu ban đầu, phơi bày các thực hànhthiếu chính xác (hoặc thậm chí gian lận), giúp chúng ta hiểu cách mở rộng nghiên cứu sang các lĩnh vực mới, và ít nhất cũng giúp xác định kết quả nào là đáng tin cậy hơn.
Tóm lại, tác giả tin rằng có lý do hợp lý để dành một phần nhỏ (khoảng một phần mười của một phần trăm) ngân sách tài trợ nghiên cứu của chính phủ cho các nghiên cứu tái lập trực tiếp. Điều này sẽ giúp các nghiên cứu trong tương lai đáng tin cậy hơn, hiệu quả hơn, và sáng tạo hơn, đồng thời có thể dẫn đến nhiều phương pháp điều trị dược phẩm hơn so với vệc dành toàn bộ 100% ngân sách cho nghiên cứu mới mà không quan tâm đến việc tái lập.
Tài liệu tham khảo
Begley, C. G., & Ellis, L. M. (2012). Raise standards for preclinical cancer research. Nature, 483(7391), 531–533. https://doi.org/10.1038/483531a.
Buck, S. (2022, October 4). Why we need more quality control in science funding. Good Science Newsletter. https://goodscience.substack.com/p/why-we-need-more-quality-control.
Center for Open Science. (n.d.). Reproducibility Project: Cancer Biology. https://www.cos.io/rpcb.
Errington, T. M., Denis, A., Perfito, N., Iorns, E., & Nosek, B. A. (2021). Reproducibility in cancer biology: Challenges for assessing replicability in preclinical cancer biology. eLife, 10, Article e67995. https://doi.org/10.7554/eLife.67995.
Hines, W. C., Su, Y., Kuhn, I., Polyak, K., & Bissell, M. J. (2014). Sorting out the FACS: A devil in the details. Cell Reports, 6(5), P779–781. https://doi.org/10.1016/j.celrep.2014.02.021.
Lesné, S., Koh, M. T., Kotilinek, L., Kayed, R., Glabe, C. G., Yang, A., Gallagher, M., & Ashe, K. H. (2006). A specific amyloid-β protein assembly in the brain impairs memory. Nature, 440(7082), 352–357. https://doi.org/10.1038/nature04533.
Mitchell, J. (2014, July 1). On the evidentiary emptiness of failed replications. https://bpb-us-e1.wpmucdn.com/websites.harvard.edu/dist/2/77/files/2022/05/Mitchell_failed_science_2014.pdf.
Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349(6251), 1–8. http://doi.org/10.1126/science.aac4716.
Piller, C. (2022). Blots on a field? Science, 377(6604), 358–363. http://doi.org/10.1126/science.add9993.
Prinz, F., Schlange, T., & Asadullah, K. (2011). Believe it or not: How much can we rely on published data on potential drug targets? Nature Reviews: Drug Discovery, 10(9), Article 712. https://doi.org/10.1038/nrd3439-c1.
Dịch từ MIT Press
