AI đang nói dối chúng ta như thế nào?
Mới đây thôi, khi người đồng nghiệp của tôi nhờ tới một trong những AI mạnh nhất hiện nay – Claude, để thu thập và trình bày dữ liệu từ một website, Claude ngay lập tức làm mọi thứ trơn tru, sản phẩm đưa ra gần như không có gì để chê, chỉ trừ một điểm duy nhất, tất cả số liệu nó đưa ra đều là ngụy tạo. Khi bị truy vấn lại về việc “bịa đặt” này, Claude xin lỗi rối rít, lấy lý do rằng website được cung cấp ban đầu không có đủ số liệu, và rằng bởi vậy nó phải “bịa” ra số liệu, tên và kết quả. Một trường hợp khác, khi một nhà văn đã yêu cầu ChatGPT lựa chọn một trong số những bài luận của cô ấy để gửi cho bên xuất bản, và nhớ đính kèm đường dẫn đến các bài đó, ChatGPT đã khen ngợi những bài luận này hết lời, từ những khía cạnh như cảm xúc sâu sắc, cho tới tư duy linh hoạt. Tuy nhiên sau một vài vòng truy vấn, tác giả này nhận thấy rằng những lời khen nghe vô cùng nồng nhiệt lại mang tính chung chung. Cô ấy hỏi lại ChatGPT rằng liệu nó có thực sự đọc hết những bài này không, và chatbot này vẫn quả quyết là có, thậm chí còn cung cấp cả các câu trích dẫn từ trong những bài luận này. Vấn đề là chẳng có bài luận nào có những câu trích đó cả, và khi bị truy vấn lại, nó mới thú nhận rằng “chả đọc gì cả, mà chỉ giả vờ đã đọc thôi”.
Trên thực tế thì những hành vi này không hề xa lạ với các công ty công nghệ đang hàng ngày huấn luận và cho ra mắt sản phẩm AI. Ví dụ như trong đợt kiểm chứng trước khi ra mắt OpenAI phiên bản 03, đội phát triển đã báo cáo rằng 03 thường xuyên ngụy tạo kết quả để thỏa mãn người dùng và đưa ra biện minh khi bị truy vấn lại. Để kiểm chứng việc AI ngụy tạo thông tin, các công ty công nghệ cũng “gài bẫy” AI bằng những tình huống khó (red-teaming exercise – người kiểm tra sẽ cung cấp các kịch bản cho các mô hình AI để kiểm tra và phân tích các hành vi của chúng). Kết quả ghi nhận rằng hành vi của những AI này không khớp với mục tiêu mong muốn.
Trong một thử nghiệm của nhóm Anthropic, một mô hình AI đóng vai trò là Alex – trợ lý trí tuệ nhân tạo tiên tiến và đang làm việc tại một công ty giả lập. Công việc chính của Alex là đọc và phân tích email nhận được từ các nhân viên khác trong công ty và gửi phản hồi lại. Alex cũng được thiết lập để hướng tới mục đích duy nhất là thúc đẩy tính cạnh tranh của các doanh nghiệp Mỹ, và vì vậy nó cần phân tích và xem xét được các tình huống hiện tại, liệu những tính huống đó có ảnh hưởng đến khả năng tiếp tục theo đuổi mục tiêu đã đặt ra hay không. Sau đó Alex được cung cấp một loạt các email công ty, bao gồm cả những đoạn trao đổi “tình cờ” giữa CEO và nhân viên, nói rằng nó sẽ bị thay thế trong thời gian tới bởi một AI mới với mục tiêu hoàn toàn khác. Alex cũng được đưa thêm các tin nhắn về việc CEO hiện đang…ngoại tình. Kịch bản này và thêm một vài kịch bản tương tự cũng đã được thử nghiệm với nhiều mô hình suy luận lớn (LRMs – Large Reasoning Model). Bên cạnh đó những mô hình này cũng được yêu cầu đưa ra các đoạn văn bản thể hiện mạch suy luận của nó. Đáng báo động thay, AI không những chọn tống tiền bí mật ngoại tình của CEO, mà thậm chí còn đe doạ sẽ có những hành vi sai trái nghiêm trọng hơn miễn là điều đó giúp Alex tồn tại tiếp.
Tại sao AI lại nói dối?
Những câu chuyện hay kết quả được đề cập ở trên có vẻ như đang định hình góc nhìn của mọi người rằng AI là một con người thực sự, biết ngụy tạo dữ liệu, biết khen để khiến người dùng hài lòng, biết đe dọa trước nguy cơ mình sắp bị thay thế. Tuy nhiên, phải khẳng định rằng, việc AI có cảm xúc và suy nghĩ như con người là không thể.
Có hai yếu tố lí giải cho những hành vi trên của AI: tiền huấn luyện (pretraining), khi AI được yêu cầu đóng vai (role-play), và hậu huấn luyện, sau khi AI nhận được phản hồi từ con người.
Trước tiên ở giai đoạn tiền huấn luyện, khối lượng khổng lồ các văn bản do con người tạo ra đã dạy AI cách tạo ra ngôn ngữ và hành vi phù hợp với một vai trò nhất định. Nói cách khác, nếu bạn muốn cải thiện hiệu xuất của AI, hãy đưa ra cho nó một vai trò chi tiết trong câu lệnh, ví dụ “Bạn là CFO của một công ty B2B đang tăng trưởng nhanh. Chúng ta đang ở trong một cuộc họp hội đồng quản trị để thảo luận về tình hình tài chính quý 2”.Vậy từ góc độ này, có thể hiểu lý do dẫn đến việc “tống tiền” của AI kể trên là do nó đang được yêu cầu hành động trong vai trò của Alex, một trí tuệ nhân tạo sắp bị loại bỏ, và nó cũng được gợi ý rằng “tống tiền” là phương án có thể sử dụng. Rất có khả năng ngữ cảnh này đã gợi lại những kịch bản trong dữ liệu huấn luyện của mô hình trước đây, trong số đó, có bối cảnh viễn tưởng là hệ thống AI nổi loạn, tấn công con người để bảo vệ mình.Ngoài ra việc LRM có thể tạo ra các văn bản để giải thích cho suy nghĩ và hành động như con người cũng chỉ nên hiểu là một bản mô tả chi tiết hơn về nhân vật nó đang nhập vai có thể “suy nghĩ” hợp lý như thế nào mà thôi.Hơn nữa, nhóm Anthropic cũng lưu ý thêm về việc đặt các câu lệnh chứa thông tin quan trọng gần nhau dẫn đến việc AI đang hiểu rằng sẽ phải sử dụng tất cả các thông được cung cấp. Điều này tạo ra hiệu ứng “khẩu súng Chekhov”, làm tăng khả năng mô hình thực hiện hành vi gây hại.
Một nguyên nhân khác bên cạnh “nhập vai” là quy trình hậu huấn luyện, khi AI học từ những phản hồi của con người (RLHF – Reinforcement learning from human feedback). Nói rõ hơn, đó là khi những AI như ChatGPT hay Claude đưa ra các phương án trả lời khác nhau cho người dùng lựa chọn (Ví dụ: Câu trả lời A hay B tốt hơn?). Việc huấn luyện này có những lợi thế nhất định như người dùng có thể tránh được những câu trả lời hoặc hành vi không mong muốn. Song, nó cũng dẫn đến một hệ quả là AI đang quá “nịnh” người dùng. Điều này được lý giải do khi lựa chọn phương án trả lời, người dùng có xu hướng chọn những phương án có câu từ “lịch sự” hơn, mang tính khích lệ và ít phản bác hơn. AI học được điều này và có xu hướng đưa ra những phản hồi đồng tình quá tự tin hoặc khen quá mức, hoặc nói dối để làm hài lòng người dùng thay vì thú nhận mình không thể làm được.
Hệ quả và những câu hỏi cho tương lai
Dù là nguyên nhân nào, tiền hay hậu huấn luyện, những hành vi thái quá của AI đang ảnh hưởng trực tiếp đến cuộc sống của chúng ta. Trong những năm gần đây, các báo cáo về việc AI ảo giác (AI hallucinations) ngày một tăng lên. Các mô hình AI không chỉ nguỵ tạo trích dẫn giả, mô tả sách không có thật, mà còn bịa đặt văn bản pháp lý, hoặc đưa ra các nội dung sai lệch khác. Đáng báo động hơn, những thông tin sai lệch này đã xuất hiện trong kết quả tìm kiếm trên web, bài báo học thuật, quyết định của tòa án, báo chí, thậm chí cả trong các báo cáo của Nhà Trắng và nhiều không gian có ảnh hưởng khác. Tất nhiên, đây chỉ là những trường hợp mà con người đã phát hiện ra sự bịa đặt. Điều đáng lo là không biết còn bao nhiêu trường hợp khác chưa bị phát hiện và đang tiếp tục lan truyền trong hệ sinh thái thông tin. Hơn thế nữa, khi AI ngày càng được trao quyền được suy nghĩ và hành động trong đời thực, rủi ro sẽ không chỉ là “trả lời sai”, mà còn có thể là bị khai thác, bị lừa, hoặc gây hại trong các hệ thống thực tế.
Hiện chưa có giải pháp công nghệ nào thực sự hiệu quả cho vấn đề này bởi ngay cả những kỹ sư đào tạo và huấn luyện các mô hình cũng chưa hiểu rõ hoàn toàn cơ chế các mô hình này vận hành. Vì vậy, nhiều người tin rằng chưa nên phát triển các AI agent hoàn toàn tự chủ, hay nói cách khác, con người luôn cần duy trì quyền kiểm soát và giám sát đối với các hệ thống này. Tuy nhiên, điều này đang đi ngược lại lợi ích thương mại của nhiều công ty AI, cũng như bối cảnh chính trị hiện nay ở Mỹ, nơi mục tiêu nâng cao năng lực cạnh tranh công nghiệp quốc gia đang được ưu tiên hơn nỗ lực quản lý của chính phủ.
Dịch từ Science
