Một hệ thống tìm kiếm dấu hiệu thực hành sai lệch có thể giúp loại bỏ các đầu tạp chí đáng vấn đề.
Lưu ý: Bài viết này được dịch hoàn toàn bởi ChatGPT và không thông qua khâu hiệu đính.
Ảnh này được tạo ra bởi ChatGPT
Các nhà nghiên cứu đã xác định hơn 1.000 tạp chí truy cập mở (open access) có khả năng “có vấn đề” bằng một công cụ trí tuệ nhân tạo (AI) đã sàng lọc khoảng 15.000 đầu tạp chí để tìm dấu hiệu của các thực hành xuất bản đáng ngờ.
Cách tiếp cận này có thể được dùng để đối phó với sự gia tăng của cái mà nhóm tác giả gọi là “questionable open-access journals” — những tạp chí thu phí để đăng bài nhưng không thực hiện phản biện nghiêm ngặt hoặc kiểm soát chất lượng.
Không tạp chí nào trong số các tạp chí bị công cụ gắn cờ từng nằm trong bất kỳ danh sách theo dõi nào trước đây, và một số đầu tạp chí lại thuộc sở hữu của các nhà xuất bản lớn, có uy tín. Gộp lại, các tạp chí này đã xuất bản hàng trăm nghìn bài nghiên cứu và nhận được hàng triệu lượt trích dẫn.
Nghiên cứu cho thấy “có cả một nhóm tạp chí có vấn đề ngay trước mắt ta, đang vận hành như các tạp chí được cho là có uy tín nhưng thực ra không xứng với mô tả đó”, Jennifer Byrne — một nhà điều tra liêm chính học thuật và nhà nghiên cứu ung thư tại Đại học Sydney, Úc — cho biết.
Công cụ hiện có bản beta kín trực tuyến; các tổ chức lập chỉ mục tạp chí hoặc các nhà xuất bản có thể dùng để rà soát danh mục của mình, theo đồng tác giả nghiên cứu Daniel Acuña, nhà khoa học máy tính tại Đại học Colorado Boulder. Tuy nhiên, ông nói thêm, AI đôi khi mắc lỗi và không được thiết kế để thay thế các đánh giá chi tiết về tạp chí và từng bài báo — những đánh giá có thể dẫn đến việc loại một đầu tạp chí khỏi chỉ mục. “Một chuyên gia con người cần tham gia quy trình thẩm định” trước khi thực hiện bất kỳ hành động nào, ông nhấn mạnh.
Sàng lọc tạp chí
Công cụ AI có thể phân tích lượng lớn thông tin từ website của tạp chí và các bài họ công bố, để tìm dấu hiệu cảnh báo — như thời gian phản biện–xuất bản quá ngắn và tỷ lệ tự trích dẫn cao. Công cụ cũng đánh giá việc các thành viên ban biên tập có thuộc các cơ sở nghiên cứu danh tiếng hay không, và kiểm tra mức độ minh bạch về giấy phép cũng như phí. Một số tiêu chí dùng để huấn luyện công cụ được lấy từ hướng dẫn thực hành tốt do Directory of Open Access Journals (DOAJ) — chỉ mục tạp chí truy cập mở do Quỹ DOAJ (phi lợi nhuận) ở Roskilde, Đan Mạch — phát triển.
Cenyu Shen, Phó phụ trách chất lượng biên tập của DOAJ (đặt tại Helsinki), cho biết số lượng tạp chí có vấn đề đang tăng và “chiêu thức của họ ngày càng tinh vi”. “Chúng tôi ghi nhận thêm các trường hợp nhà xuất bản đáng ngờ thâu tóm tạp chí hợp pháp, hoặc ‘xưởng bài’ mua lại tạp chí để xuất bản các công trình kém chất lượng,” bà nói thêm. (Xưởng bài là các cơ sở bán bài giả và suất đồng tác giả.)
Hoạt động kiểm tra chất lượng của DOAJ chủ yếu làm thủ công và thường chỉ khởi động khi nhận khiếu nại. Năm 2024, chỉ mục này đã điều tra 473 tạp chí — tăng 40% so với năm 2021. “Thời gian đội ngũ của chúng tôi dành cho các cuộc điều tra cũng tăng gần 30%, lên 837 giờ,” Shen cho biết.
Theo Acuña, các công cụ AI có thể giúp tăng tốc một số khâu đánh giá này. Ông và cộng sự đã huấn luyện mô hình trên 12.869 tạp chí hiện được DOAJ lập chỉ mục là hợp lệ, cũng như 2.536 tạp chí mà DOAJ từng gắn cờ vi phạm chuẩn chất lượng.
Khi nhóm yêu cầu AI đánh giá 15.191 tạp chí truy cập mở trong cơ sở dữ liệu công khai Unpaywall, công cụ đã xác định 1.437 tạp chí là đáng ngờ. Nhóm ước tính khoảng 345 trong số này bị gắn cờ nhầm: bao gồm các đầu mục đã ngừng hoạt động, bộ sách chuyên khảo và tạp chí của các hội học thuật nhỏ. Nhóm cũng phát hiện công cụ đã bỏ sót thêm 1.782 tạp chí đáng ngờ khác, dựa trên ước lượng sai số.
Nhóm còn thử công cụ ở hai mức “gắt” khác nhau. Ở thiết lập “lỏng” nhất, công cụ gắn cờ 8.800 tạp chí, bỏ sót dưới 150 đầu có vấn đề nhưng gắn nhầm 6.100. Ở thiết lập “ngặt” hơn — nhằm giảm báo động giả — công cụ chỉ gắn cờ khoảng 240 tạp chí, nhưng lại bỏ lọt 2.600 đầu có vấn đề.
Công cụ “có thể ưu tiên hoặc là quét bao quát, hoặc là nhận diện chính xác với ít nhiễu,” Acuña nói. “Trong bài báo, chúng tôi trình bày cách tiếp cận cân bằng.” Byrne nhận xét tính linh hoạt trong “tinh chỉnh” là một “điểm hấp dẫn”.
Quan ngại thiên lệch
Các tác giả nhấn mạnh công cụ vẫn đang ở dạng thử nghiệm và họ hy vọng sẽ tiếp tục tinh chỉnh. Ngoài độ chính xác, Shen lo rằng kiểm tra tự động “có thể gây bất lợi cho các tạp chí không dùng tiếng Anh; và việc xếp hạng biên tập viên theo cơ quan công tác có thể đánh giá thấp các biên tập viên đến từ các cơ sở ít được tài trợ hơn hoặc các nước đang phát triển”.
“Thách thức cốt lõi là lựa chọn các đặc trưng mà AI có thể đo lường một cách đáng tin cậy và không thiên lệch, cũng như hiểu được độ chính xác khi kết hợp chúng vào một mô hình dự đoán,” bà nói.
Dẫu vậy, các công cụ như vậy có thể giúp người thẩm định đối phó với khối lượng tạp chí cần rà soát quá lớn. “Bảo đảm tính liêm chính của xuất bản truy cập mở sau cùng vẫn đòi hỏi giám sát của con người và đánh giá nghiêm ngặt, dựa trên bằng chứng,” Shen nói. Nhưng, bà bổ sung, “nếu độ chính xác được cải thiện, AI chắc chắn có thể đóng vai trò hỗ trợ hữu ích, giúp chúng ta xử lý quy mô và giảm bớt tính thủ công nặng nề của các đợt rà soát”.
