Tạp chí đóng vai trò quan trọng trong việc đánh giá chất lượng nghiên cứu khoa học. Chất lượng này thường được đánh giá dựa trên các chỉ số như hệ số ảnh hưởng của tạp chí (impact factor). Tuy nhiên, những chỉ số này thường che khuất chất lượng tổng thể của các bài báo nghiên cứu trong một tạp chí khoa học. Trong bài viết này, Margit Osterloh và Bruno Frey lập luận rằng chất lượng và tính độc đáo tổng thể của nghiên cứu khoa học được công bố có thể được cải thiện bằng cách đưa yếu tố ngẫu nhiên vào quá trình bình duyệt.
Margit Osterloh và Bruno Frey, hai nhà nghiên cứu trong lĩnh vực kinh tế và quản trị, đã lên tiếng cảnh báo về những hạn chế của hệ thống xuất bản khoa học hiện nay, nơi đặc trưng bởi “sự độc tôn của các tạp chí hàng đầu”. Họ cho rằng, quy trình bình duyệt tồn tại nhiều sai sót: đánh giá của bình duyệt viên thường thiếu nhất quán, và kết quả bình duyệt chỉ dự đoán mức ảnh hưởng trong tương lai của một công trình khoa học ở mức độ thấp. Một nghiên cứu thực nghiệm đã chỉ ra rằng việc đánh giá một bài báo được đăng trên tạp chí “tốt” là một bài báo “tốt” là sai trong khoảng hai phần ba đến ba phần tư trường hợp. Điều này là do sự phân bố trích dẫn không đồng đều, với một số bài báo chiếm phần lớn số lượng trích dẫn trong tạp chí. Hiện tượng này xảy ra cả trong khoảng thời gian ngắn và dài hạn (5 năm). Mặc dù vậy, các ấn phẩm trên tạp chí danh tiếng vẫn đóng vai trò quan trọng trong việc quyết định thăng tiến và giao biên chế.
Để chấm dứt sự ám ảnh với việc công bố trên tạp chí hàng đầu, nhóm tác giả đề xuất một phương pháp mà họ cho rằng mang tính đột phá: chọn lọc bài báo ngẫu nhiên. Theo đó, bản thảo nhận được cả chấp thuận và từ chối sẽ được chọn sẽ được chọn ngẫu nhiên để xuất bản. Tại sao vẫn chọn đăng những bản thảo mà có người bình duyệt không đồng ý? Thủ tục này giúp giảm thiểu “thiên vị bảo thủ”, tức là sự thiên vị chống lại những ý tưởng mới lạ. Khi còn nghi ngờ về chất lượng của một bài báo, các trọng tài thường thiếu bằng chứng để đưa ra những đánh giá chính xác. Tuy nhiên, những ý tưởng mới lạ có thể mang lại lợi ích lớn trong tương lai. Trong những trường hợp này, việc lựa chọn ngẫu nhiên giữa các bài báo độc đáo là có lợi.
Nhóm tác giả thừa nhận rằng, một nhược điểm của phương pháp này là không thể tránh khỏi việc một số bài báo kém chất lượng có thể được chấp nhận. Tuy nhiên, nếu những bài báo đột phá có giá trị lớn hơn nhiều lần so với những bài báo kém chất lượng, thì việc ngẫu nhiên hóa sẽ dẫn đến lợi ích ròng. Trên thực tế, lợi ích tiềm năng có thể đủ lớn để những tổn thất trở nên ít quan trọng. Những cân nhắc này được xác nhận bởi các kiểm định thống kê liên quan đến hai loại lỗi: lỗi loại I (“lỗi bác bỏ “) ngụ ý rằng một giả thuyết đúng bị bác bỏ, và lỗi loại 2 ngụ ý rằng một giả thuyết sai được chấp nhận (“lỗi chấp nhận”). Lỗi đầu tiên quan trọng hơn lỗi thứ hai. “Lỗi bác bỏ” ngăn chặn những ý tưởng mới đầy hứa hẹn, đôi khi trong một thời gian dài, trong khi “lỗi chấp nhận” dẫn đến lãng phí tiền bạc, nhưng có thể được phát hiện sớm sau khi được công bố. Đây là lý do tại sao khó xác định “lỗi bác bỏ” hơn “lỗi chấp nhận”. Thông qua ngẫu nhiên hóa, rủi ro của “lỗi bác bỏ” được đa dạng hóa.
Margit Osterloh và Bruno Frey lập luận rằng, việc ngẫu nhiên hóa tập trung các bài báo gây tranh cãi không chỉ đa dạng hóa rủi ro bác bỏ những ý tưởng hiệu quả mà còn có tác dụng khuyến khích. Nó khuyến khích các nhà nghiên cứu gửi những ý tưởng không chính thống, điều mà thông thường sẽ khó được công bố.Việc thừa nhận yếu tố ngẫu nhiên trong quá trình lựa chọn bài báo khuyến khích sự khiêm tốn và hợp tác giữa các nhà nghiên cứu, bằng cách hạn chế khả năng của cá nhân trong việc thống trị một lĩnh vực nghiên cứu cụ thể.
Trái ngược với điều đó, nhiều tác giả cho rằng, hệ thống xuất bản hiện tại dẫn đến tình trạng mắc kẹt và hiệu ứng Matthew (“thành công sinh ra thành công”) đồng thời củng cố quy trình quản lý nghiên cứu cứng nhắc, tập trung vào quy trình, ít linh hoạt và ít sáng tạo hơn. Thật không may, hệ thống này đã giành được nhiều ảnh hưởng vì phần lớn các tác giả đều được hưởng lợi từ nó. Từ hai phần ba đến ba phần tư số bài báo bị đánh giá quá cao, do hệ thống nghiên cứu đánh giá chất lượng của một bài báo dựa trên chất lượng của một tạp chí. Do đó, kêu gọi các học giả riêng lẻ là không đủ để thay đổi thực tiễn quản lý hiệu suất hiện tại. Thay vào đó, cần có những đề xuất thay đổi ở cấp độ tổ chức.
Tác giả chỉ ra rằng ý tưởng về việc áp dụng cơ chế ngẫu nhiên trong học thuật không phải là mới. Từ thế kỷ 18, Đại học Basel đã sử dụng phương pháp bốc thăm để lựa chọn giáo sư từ ba ứng viên nhằm hạn chế ảnh hưởng của các nhóm lợi ích. Ngày nay, mục tiêu của việc này đã thay đổi. Thay vì chống lại sự độc quyền của một nhóm nhỏ người, việc sử dụng cơ chế ngẫu nhiên hướng đến việc tăng cường sự đa dạng trong giới học thuật. Điều này giúp giảm bớt sự tập trung quá mức vào một số tạp chí hàng đầu và tạo cơ hội cho nhiều tạp chí khác đóng vai trò quan trọng trong việc đánh giá chất lượng nghiên cứu.
Theo Margit Osterloh và Bruno Frey, việc áp dụng phương pháp ngẫu nhiên hóa trong đánh giá bài báo khoa học tiềm ẩn một hạn chế: khả năng phân biệt giữa bài báo chất lượng cao và thấp bị hạn chế. Do đó, cần thực hiện một vòng sàng lọc chất lượng trước khi áp dụng cơ chế ngẫu nhiên. Tuy nhiên, vòng sàng lọc càng hiệu quả, chất lượng của các bài báo còn lại càng khó phân biệt rõ ràng. Thoạt nhìn, đây có vẻ như là một bất lợi. Tuy nhiên, nó lại mang đến một lợi ích quan trọng: khi chất lượng bài báo tương đồng nhau, việc lựa chọn dựa trên sở thích cá nhân hay yếu tố ngẫu nhiên sẽ giảm thiểu, đảm bảo tính công bằng và khách quan trong quá trình đánh giá.
Thứ hai, khi biết rằng bài báo có thể được lựa chọn ngẫu nhiên, một số học giả có thể gửi đi nhiều bài báo chất lượng thấp hơn với hy vọng “đánh may” được chấp nhận. Ngoài ra, có thể có trường hợp nhiều bài báo chất lượng cao không chính thống cũng sẽ được gửi đi, vì các tác giả sẽ cảm thấy tự tin hơn so với hệ thống hiện tại.
Thứ ba, nhiều người cho rằng quyết định ngẫu nhiên là “phi lý”. Tuy nhiên, những quyết định dường như hợp lý thường bị ảnh hưởng bởi nhiều thiên vị. Hơn nữa, với việc ngẫu nhiên hóa tập trung, các học giả vẫn nắm quyền lực. Họ quyết định bài báo nào được xuất bản hoặc bị từ chối ngay lập tức, và bài báo nào tham gia vào quá trình ngẫu nhiên hóa. Ngẫu nhiên hóa tập trung giúp giảm bớt đáng kể gánh nặng cho biên tập viên trong việc xử lý độ tin cậy thấp giữa các nhà đánh giá và các đánh giá mâu thuẫn. Trái ngược với sự ngẫu nhiên không chủ ý được quy cho quá trình bình duyệt, đôi khi gần giống với một trò chơi xổ số không chủ ý, đề xuất này áp dụng sự ngẫu nhiên một cách nghiêm ngặt và hợp lý. Những đề xuất này sẽ được hưởng lợi từ các thử nghiệm thực tế, có khả năng sau một số năm sẽ cung cấp một lập luận thuyết phục để thay đổi căn bản cách các nhà nghiên cứu thực hiện bình duyệt.
Dịch từ: LSE
