3 Cách nhận biết một bài nghiên cứu kém chất lượng

Những chỉ dẫn dưới đây có thể giúp bạn xác định xem một khám phá khoa học xã hội gần đây có thực sự hữu ích bạn hay không.

Chúng ta đang sống và làm việc trong thời đại khoa học xã hội (KHXH) phát triển vô cùng mạnh mẽ. Trong nhiều thập kỉ qua, những khám phá mới thuộc các lĩnh vực như tâm lý xã hội và kinh tế học hành vi đã giúp giải mã nhiều bí ẩn xoay quay cuộc sống con người.  Các học giả, nhà báo lẫn độc giả đại chúng đều ngày càng có nhiều hứng thú với lĩnh vực này. Ví dụ, thí nghiệm nhà tù Stanford cho thấy những người hiền lành, tốt bụng cũng có thể trở nên hung ác và tàn bạo khi được tùy ý thi hành quyền lực độc đoán lên người khác đã trở thành một thí nghiệm nổi tiếng với cả những người không làm nghiên cứu. . 

Tuy nhiên, thế giới KHXH đã dần sa lầy trong những cuộc tranh cãi không hồi kết. Nhiều thí nghiệm nổi tiếng bị bác bỏ, hay không thể thực hiện những thí nghiệm tương tự để kiểm chứng, điển chính hình là thí nghiệm nhà tù Stanford. Theo nghiên cứu được công bố trên tạp chí Science năm 2015, trong số 100 thí nghiệm từng được mô phỏng lại và công bố trên ba tạp chí tâm lý học uy tín, chỉ 36% cho kết quả nhất quán với những kết quả ban đầu. 

Hay tệ hơn, đã xuất hiện nhiều cáo buộc với đủ bằng chứng chứng minh cho hành vi thiếu đạo đức trong việc xử lý dữ liệu. Hành vi sai trái này bao gồm p-hacking – sử dụng những dữ liệu tương quan giả – nhưng lại được công bố như một dữ liệu chính thống, và thậm chí là thao túng số liệu thống kê cho phù hợp với giả thuyết ban đầu trong nghiên cứu của mình.

Những người ngoài ngành hẳn nhiên sẽ có các ngờ vực về mức độ đáng tin cậy của những nghiên cứu thực nghiệm hành vi. Tuy vậy điều đó không đồng nghĩa với việc toàn bộ công trình nghiên cứu là không có giá trị.. Trong bài viết này, Arthur C. Brooks -…- cung cấp cho người đọc một góc nhìn về “chuyện bếp núc” của nghiên cứu KHXH để độc giả đại chúng  có thể hiểu được phần nào cách một nghiên cứu hoàn thành, tại sao lại xảy ra sai sót, cách đọc nghiên cứu và nên tin tưởng hay bác bỏ điều gì. 

KHXH không phải là lĩnh vực duy nhất tồn tại các nghiên cứu chứa đầy những ngụy biện, phía khoa học tự nhiên thực chất cũng gặp phải những khó khăn tương tự. Theo John Ioannidis, nhà nghiên cứu y khoa của Đại học Stanford, vấn đề này là hệ quả của một loạt những sai sót trong quá trình nghiên cứu như quy mô thí nghiệm quá nhỏ nên chưa đủ uy tín, một vài trường hợp thì cho ra kết quả đẹp dựa trên các mánh khóe toán học nhưng trên thực tế lại vô nghĩa, kế hoạch tổng quan cho thí nghiệm chưa hợp lý và cuối cùng là do các thiên kiến học thuật do các nhà nghiên cứu cố gắng tạo ra các kết quả phù hợp với cơ chế khuyến khích, khen thưởng.. 

Tại những trường đại học hàng đầu, một nghiên cứu chỉ được thực hiện chỉn chu thôi là chưa đủ. Chủ đề phải thật thông minh và các phát hiện cần phải thật đột phá. Trên thực tế, cũng chẳng nhiều người mảy may quan tâm đến việc ai đó bị chó tấn công, nhưng một thực nghiệm mà được thực hiện tỉ mỉ và đưa ra bằng chứng rằng tỉ lệ người cắn chó là 73.4% thì quả là “chuyện thời sự” đấy.

Và không có gì đáng ngạc nhiên khi xu hướng tập trung vào điều khác thường này lại đặt ra nhiều vấn đề. Một bài báo được đăng trên tạp chí Research Policy năm 2019 với tựa đề “Gian lận hay Bị bài trừ”, đã xem xét và tổng hợp lại những động cơ thúc đẩy việc gian lận nhằm giảm thiểu hoặc phanh phui việc gian lận trắng trợn. Các tác giả đã chỉ ra rằng mặc dù những quyền lợi nhận được có thể thúc đẩy năng suất và chất lượng công việc cao hơn thì nỗi sợ trước những sự trừng phạt sẽ phần nào răn đe sai sót hoặc các hành vi sai trái. Các học giả cũng nhận định rằng các sai sót và hành vi gian lận trong nghiên cứu cũng rất khó để tra cứu và nó dẫn đến việc điều tra kém hiệu quả hơn. Điều này có thể hiểu là cán cân đang nghiêng về phía quyền lợi nhận được từ việc gian lận thay vì nỗi sợ bị phát hiện và nhận phạt, và nó ảnh hưởng rất lớn đến tính chính trực của bài nghiên cứu.

Và nguy cơ làm giả trở nên trầm trọng hơn trong thời đại mà các nhà khoa học hành vi có thể trở thành siêu sao bên ngoài giới học thuật, được mời tham gia giảng dạy và bán sách nhờ những kết quả độc đáo đầy hấp dẫn của họ.

Dưới đây là 3 quy tắc cơ bản để độc giả đại chúng nhận biết một nghiên cứu có vẻ là có vấn đề:

1. Kết quả đẹp quá thì thường không thực

Ba nhà khoa học xã hội là Uri Simonsohn, Leif Nelson và Joseph Simmons. đã nổi tiếng trong những năm gần đây nhờ các cuộc điều tra về những kết quả nghiên cứu sai lệch hoặc làm giả số liệu. Để chứng minh cho độ thiếu uy tín của nhiều kết quả trông thì “rất hợp lý”, họ đã không ngừng thao tác với một bộ số liệu cụ thể cho đến khi nó đưa ra kết quả hoàn toàn vô lý rằng bài hát “When I’m Sixty-Four” của nhóm nhạc Beatles sẽ giúp người nghe trẻ hóa theo đúng nghĩa đen. 

Vì vậy, nếu một bài nghiên cứu hành vi cho ra kết quả có phần khác lạ và trái với lẽ thường, nguy cơ đó là một kết quả sai lệch là vô cùng lớn. Brooks gợi ý độc giả thực hiện “bài kiểm tra ông bà”: Hãy thử tưởng tượng bạn đang phải giải thích kết quả cho ông bà của mình – những người đã đúc kết kinh nghiệm và sự thông thái cả đời họ – và nhận lại phản hồi của họ mà xem.

(“Bà ơi, con mới tìm được một nghiên cứu mới thú vị chứng minh rằng sự việc không chung thủy sẽ giúp cho hôn nhân thêm phần hạnh phúc hơn. Bà nghĩ sao?”)

2. Hãy để ý tưởng thêm chín muồi.

Một nghiên cứu được công bố từ 20 năm trước sẽ có phần lỗi thời để phản ánh hoàn cảnh xã hội hiện tại, ngược lại thì những phát hiện chỉ mới có gần đây chưa chắc đã được dò xét nội dung một cách kỹ lưỡng, và do đó cũng không được các học giả khác thử nghiệm lại hay bác bỏ. Tuy nhiên, đôi khi cũng có những nghiên cứu còn mới song được tác giả trình bày và hoàn thiện vô cùng chỉnh chu và hợp lý, điều này tạo cho ông nhiều ấn tượng tốt, ông cũng cho rằng chúng rất đáng để trích dẫn trong các bài nghiên cứu của mình. Và quả thực tác giả đã làm vậy. Nhìn chung, ông rất cởi mở với những bài nghiên cứu mới, nhưng những nghiên cứu cho ra kết quả có thể áp dụng vào đa dạng phạm trù trong lĩnh vực mà ông đang hướng đến thì sẽ phù hợp hơn. Tác giả đã tự tổng hợp một tệp thông tin của những nghiên cứu tiềm năng gần đây, tuy nhiên ông vẫn để cho chúng có thêm thời gian. Thông thường thì tôi sẽ lưu giữ những nghiên cứu mới được công bố mà tôi thấy hữu ích trong một tập tin riêng, hay còn được tôi coi như “hầm rượu quý” của riêng, để chúng ấp ủ thêm và chờ đến ngày được tôi sử dụng.

3. Tính hữu dụng vẫn được đề cao.

Những động lực thúc đẩy sai lệch cũng không nằm ngoài phạm vị học thuật khi hiện nay có rất nhiều tờ báo khoa học trọng dụng sự mới lạ, độc đáo hơn là tính thiết thực của nó. Minh chứng là khi ai đó cố gắng để tái tạo bất kỳ cuộc thí nghiệm nào đã có trước đây thì thường là đều thất bại cả. Ngoài ra, điều này dẫn đến sự nhầm lẫn và hiểu lầm về mục tiêu của khoa học hành vi, đó không phải là kiến thức nhằm giải trí mà là đem lại cái nhìn sâu sắc để có thể cải thiện sự phát triển của con người.

Rất hiếm khi mà tác giả đặt bút viết chỉ vì vừa đọc được một bài nghiên cứu hấp dẫn, thay vào đó, ông sẽ thường viết về những chủ đề hay suy nghĩ thú vị khi bất chợt nảy ra trong đầu. Tiếp sau đó thì phát triển ý tưởng của mình dựa trên hàng loạt các nghiên cứu và bằng chứng khác nhau, và chính những điều này càng khiến tác giả có thêm thiên kiến trọng dụng những nghiên cứu hiệu ích hơn là những bài nghiên cứu hay.

Ngoài việc kiểm tra các phương pháp, dữ liệu và thiết kế của nghiên cứu, ba nguyên tắc hướng dẫn trên có thể được áp dụng khá hiệu quả trong một môi trường nghiên cứu chưa thực sự hoàn hảo. Trên thực tế, chúng không chỉ ảnh hưởng đến cách tác giả làm việc mà còn giúp ông định hướng cuộc sống của mình.

Trong cuộc sống chúng ta vẫn luôn quẩn quanh những xu hướng nhất thời và các kiểu tiếp cận mới – những phương pháp mới để hành động, suy nghĩ và tồn tại, những lối tắt giúp ta đạt được nguyện vọng. Dù là trong lĩnh vực chính trị, tình yêu, đức tin hay sức khỏe thì những xu hướng, những phát hiện mới vẫn luôn phần nào thúc giục chúng ta cần phải chấp nhận thích nghi với chúng và bỏ lại đằng sau những cách làm, cách tư duy cũ.

Tôi luôn đặt niềm tin vào sự phát triển của cá nhân, đó cũng là lý do mà tôi ngồi đây và viết những nội dung này, tôi muốn tin rằng mình đã đóng góp một phần cho cuộc sống. Nhưng tôi cũng tự nhận thức được đầy rẫy những ý tưởng tệ và thông tin sai lệch xung quanh mình trong thời đại, nền văn hóa chỉ coi trọng sự độc đáo và công nghệ vượt trội chứ không phải tính thực tiễn. Và đổi lại với những thiên kiến này, những gì chúng ta nhận được là những kết quả sử dụng dữ liệu tương quan giả, sai phạm và những gian lận trắng trợn để thu lợi cá nhân. 

Chính vì vậy, dù là trong công việc hay cuộc sống thường ngày, mỗi khi thấy bất kì một trào lưu nào, tôi sẽ thường tự hỏi Liệu điều này có thực sự đáng tin hay không? Sau đó tôi sẽ dành một khoảng thời gian để tìm hiểu tính chính thống để phân loại thông tin: hữu dụng hay đơn giản chỉ đem lại cảm giác mới lạ. Có thể sự ngập ngừng trước mỗi thông tin này thỉnh thoảng làm cho tôi có đôi phần khó chịu, nhưng đổi lại kết quả hiếm khi làm tôi phải thất vọng. 

Dịch từ The Atlantic

--- Bài viết này có hữu ích không? ---

Nhấn sao để đánh giá!

Đánh giá trung bình 0 / 5. Số đánh giá: 0

Chưa có đánh giá.

Có thể bạn quan tâm

Tin Hot

Tin đang nổi

Theo dõi

Tin ảnh